旧金山市建筑局提供的超过一百万份建筑许可的数据（两个数据集中的记录）-您不仅可以分析城市的建筑活动，还可以批判性地检查过去40年来，建筑业发展的最新趋势和历史。 1980年至2019年。
开放数据为探讨影响和将影响建筑业发展的主要因素提供了机会 在城市中，将其分为“外部”（经济繁荣和危机）和“内部”（假日和季节性年度周期的影响）。
内容
开放数据和基准审查
旧金山的年度建筑活动
估计费用的预期和实际情况
根据一年中的季节进行的建筑活动
旧金山房地产的总投资
过去40年中投资于哪些领域
市区平均申请成本旧金山建筑业
的月和日总请求统计
打开数据并查看原始参数。
这不是本文的翻译。我在LinkedIn上写文字，而不是创建几种语言的图形-所有图形都是英文的。链接到带有数据和图形的Jupyter Notebook（对于在Kaggle上注册的用户-请输入plus Notebook-谢谢）。
链接到英文版本：旧金山建筑业的风风雨雨。建筑的趋势和历史。
旧金山建筑许可数据-来自开放数据门户data.sfgov.org。该门户网站具有关于建筑主题的多个数据集。两个这样的数据集存储并更新了有关为城市中的设施的建设或维修而签发的许可证的数据：
- 1980年至2013年期间的建筑许可（850千份）
- 2013年后的建筑许可（280,000条记录，每周下载和更新数据）
这些数据集包含有关已颁发的建筑许可证的信息，以及已颁发许可证的对象的各种特征。1980-2019年期间收到的条目（许可证）总数为1,137,695个许可证。
该数据集中用于分析的主要参数：
- permit_creation_date-应用程序的创建日期（实际上是开始施工的日期）
- desctription-应用程序描述（两个或三个关键字，描述为其创建许可证的建筑（工作）对象）
- 估计成本-建筑工程的估计（估计）成本
- revised_cost -订正费用（后重估，增加或应用程序的初始体积的降低工作成本）
- 现有用途 -住房类型（一居室，两居室房屋，公寓，办公室，生产等）
- 邮政编码，位置 -对象的邮政编码和坐标
旧金山年度建筑活动
在下图中，估计费用和订正费用以每月总工作成本的分布形式表示。
data_cost_m = data_cost.groupby(pd.Grouper(freq='M')).sum()为了减少每月的“排放量”，按年对每月数据进行分组。多年以来投资金额的图表已经收到了更合乎逻辑且易于分析的表格。
data_cost_y = data_cost.groupby(pd.Grouper(freq='Y')).sum()
根据城市物体价值总和（该年所有许可）的年度变动，经济因素清晰可见，从1980年至2019年，影响了建设项目的数量和价值，换句话说，影响了旧金山房地产的投资。
过去40年中的建筑许可数量（建筑工程数量或投资数量）与硅谷的经济活动密切相关。
建筑活动的第一个高峰与谷地80年代中期的电子宣传有关。随之而来的1985年电子业和银行业的低迷使该地区的房地产市场下降，近十年来一直没有恢复。
此后，在互联网泡沫破灭和近年来的技术繁荣之前，又有两次（在1993-2000年和2009-2016年），旧金山的建筑业经历了数千％的抛物线增长。
通过消除中间的高峰和低谷并在每个经济周期中保留最小值和最大值，很明显在过去40年中有多少市场波动困扰着该行业。
建筑投资增幅最大的是互联网泡沫时期，从1993年到2001年，有100亿美元用于维修和建设，即每年约10亿美元。如果以平方米为单位（1995年1平方米的成本-3000美元）-从1993年开始，这十年每年每年大约350,000平方米。
在此期间，年度总投资增长为1215％。
在此期间，租赁建筑设备的公司类似于淘金热时期（在19世纪中叶的同一地区）出售铁锹的办公室。仅用铲子代替铲子-在2000年代，已经出现了起重机和混凝土泵，供新成立的建筑公司使用，它们希望在建筑热潮中赚钱。
在经历了建筑行业多年来的众多危机中的每一次危机之后，在接下来的危机后的两年中，建筑业的投资（许可证的申请量）每次均下降了至少50％。
旧金山建筑业中最大的危机发生在90年代。每隔5年，该行业要么下降（1983-1986年为-85％），然后又上升（1988-1992年为+ 895％），在1981、1986、1988年按年计算， 1993年-处于同一水平。
1993年以后，建筑业随后的所有衰退幅度均不超过50％。但是，即将到来的经济危机（由于COVID-19）可能会在2017-2021年期间造成建筑业创纪录的危机，而 2017-2019年的下降幅度已经超过60％。1980年至1993年期间，
旧金山的人口增长也显示了近乎指数级的增长。硅谷的经济实力和创新活力为新经济，美国文艺复兴和互联网的夸张奠定了坚实的基础。它是新经济的中心。但是，与房地产投资增长不同的是，在网络泡沫破灭之后，人口实际上达到了稳定水平。
如果在2001年互联网泡沫高峰之前，自1950年以来，年人口增长率约为每年1％。然后，在泡沫破裂之后，新人口的涌入速度有所放缓，自2001年以来，每年的涌入率仅为0.2％。
在2019年（自1950年以来首次），增长动力显示旧金山市的人口外流（-0.21％或7000人）。
估计费用中的期望和现实
在使用的数据集中，关于建筑对象许可成本的数据分为：
- 初始估算费用（estimate_cost）
- 重估后的工作费用（修订费用）
在繁荣时期，当投资人（建筑物所有者）开始施工后有食欲时，重估的主要目的是增加初始值。
在危机期间，估算的成本尽量不要超过，并且最初的估算实际上没有发生变化（1989年地震除外）。
从重估成本与估计成本之间的差异（revised_cost-估计成本）绘制的图表中，您可以观察到：
重新评估建筑工程量时的价值增加额-直接取决于经济繁荣的周期
data_spread = data_cost.assign(spread = (data_cost.revised_cost-data_cost.estimated_cost))
在经济快速增长的时期，工作客户（投资者）足够慷慨地花钱，在工作开始后增加了他们的要求。
客户（投资者）在经济上感到安全，要求建筑承包商或建筑师延长已经签发的建筑许可证。这可以是增加游泳池的初始长度或增加房屋面积的决定（在开始工作并颁发建筑许可之后）。
在网络公司的高峰期，这种“额外”支出每年达到“额外” 10亿美元。
如果您已经查看了该表的百分比变化，那么估计值的增长峰值（100％或原始估计成本的2倍）就落在1989年地震发生在该市附近的前一年。我想在地震之后，1988年开始的建设项目在1989年地震之后需要更多的时间和金钱来实施。
相反，地震发生前几年的估计成本（在1980年至2019年期间仅发生一次）的向下修正可能是由于1986-1987年开始的某些物品被冻结或对这些物品的投资被削减。按照时间表平均而言，对于1987年开始的每个对象，估计成本的减少是原始计划的-20％。
data_spred_percent = data_cost_y.assign(spred = ((data_cost_y.revised_cost-data_cost_y.estimated_cost)/data_cost_y.estimated_cost*100))
最初的估计成本增加了40％以上，这表明或可能是金融市场以及随后的建筑市场即将到来的泡沫的结果。
2007年之后的估计值和修订值之间的价差（差异）减小的原因是什么？
也许投资者开始仔细研究这个数字（20年的平均金额从10万美元增加到200万美元），或者建筑部门防止和减缓新兴房地产泡沫，出台了新的规则和限制以减少可能的操纵以及在危机期间可能出现的风险。
建筑活动取决于一年中的季节
通过按一年（54周）中的日历周对数据进行分组，您可以根据一年中的季节和时间观察旧金山市的建筑活动。
在圣诞节之前，所有建筑组织都试图设法获得新的“大型”物品的许可（同时！一年中同一月份的许可数量处于同一水平）。计划在明年获得其财产的投资者在冬季月份签订了合同，并享受很大的折扣（因为夏季合同大部分将在年底到期，而建筑公司对接收新的申请感兴趣）。
在圣诞节之前，申请量最多（从平均每月1到15亿增加。仅在12月就增加到50亿）。同时，每月申请总数保持在相同水平（请参阅以下部分：每月和天申请总数统计）
寒假过后，建筑行业正在积极（几乎没有增加许可数量）计划和实施“圣诞节”命令，以便在今年中旬（“独立日”假期之前）之前-有时间释放资源，然后在六月假期之后立即开始新一轮的夏季协议。
data_month_year = data_month_year.assign(week_year = data_month_year.permit_creation_date.dt.week)
data_month_year = data_month_year.groupby(['week_year'])['estimated_cost'].sum()
相同的百分比数据（橙色线）还表明，该行业全年都“平稳”运转，但是在假期前后，许可证活动在20-24周（独立日之前）增加到150％，然后减少假期后立即高达-70％。
在万圣节和圣诞节之前，旧金山建筑行业的活动在43-44周期间增加了150％（从底部到高峰），然后在假日期间减少到零。
因此，该行业处于半年周期，由假期``美国独立日''（第20周）和``圣诞节''（第52周）分隔。
旧金山房地产总投资
根据城市建筑许可的数据：
1980年至2019年，旧金山建筑项目的总投资为915亿美元。
sf_worth = data_location_lang_long.cost.sum()
2016年 ，通过财产税评估的旧金山所有住宅物业的总市值（即旧金山拥有的所有房地产和所有个人财产的评估价值）达到2080亿美元。
在过去40年中，旧金山在哪些领域进行了投资
在Folium图书馆的帮助下，让我们看看这915亿美元是按地区投资的。为此，按邮政编码对数据进行分组，使用圆圈（Folium库中的Circle函数）表示结果值。
import folium
from folium import Circle
from folium import Marker
from folium.features import DivIcon
# map folium display
lat = data_location_lang_long.lat.mean()
long = data_location_lang_long.long.mean()
map1 = folium.Map(location = [lat, long], zoom_start = 12)
for i in range(0,len(data_location_lang_long)):
Circle(
location = [data_location_lang_long.iloc[i]['lat'], data_location_lang_long.iloc[i]['long']],
radius= [data_location_lang_long.iloc[i]['cost']/20000000],
fill = True, fill_color='#cc0000',color='#cc0000').add_to(map1)
Marker(
[data_location_mean.iloc[i]['lat'], data_location_mean.iloc[i]['long']],
icon=DivIcon(
icon_size=(6000,3336),
icon_anchor=(0,0),
html='<div style="font-size: 14pt; text-shadow: 0 0 10px #fff, 0 0 10px #fff;; color: #000";"">%s</div>'
%("$ "+ str((data_location_lang_long.iloc[i]['cost']/1000000000).round()) + ' mlrd.'))).add_to(map1)
map1
这些地区显示出，大多数馅饼在逻辑上都去了DownTown。简单地将所有对象按到市中心的距离和到达市中心所需的时间进行分组（当然，在海岸上也建造了昂贵的房屋），所有权限分为4组：“市区”，“ <0.5小时市区”，“ < 1H市中心'，'SF外。
from geopy.distance import vincenty
def distance_calc (row):
start = (row['lat'], row['long'])
stop = (37.7945742, -122.3999445)
return vincenty(start, stop).meters/1000
df_pr['distance'] = df_pr.apply (lambda row: distance_calc (row),axis=1)
def downtown_proximity(dist):
'''
< 2 -> Near Downtown, >= 2, <4 -> <0.5H Downtown
>= 4, <6 -> <1H Downtown, >= 8 -> Outside SF
'''
if dist < 2:
return 'Downtown'
elif dist < 4:
return '<0.5H Downtown'
elif dist < 6:
return '<1H Downtown'
elif dist >= 6:
return 'Outside SF'
df_pr['downtown_proximity'] = df_pr.distance.apply(downtown_proximity)在该市投资的915亿美元中，有近700亿（占投资总额的75％）用于维修和建设，位于市中心（绿色区域）和方圆2公里以内的城市地区。从中心（蓝色区域）。
按市区划分的建筑申请的平均估计费用
与总投资额一样，所有数据均按邮政编码分组。仅在这种情况下，使用邮政编码估算应用程序的平均成本（.mean（））。
data_location_mean = data_location.groupby(['zipcode'])['lat','long','estimated_cost'].mean()
在城市的普通区域（距市中心2公里以上）-申请建筑
的平均估计费用为5万美元。城市中心区域的平均估计费用是 15亿美元至40万美元的三倍。其他地区（35,000至5,000美元）。
除了土地成本外，三个因素决定了房屋建设的总成本：人工，材料和政府费用。这三个组成部分在加利福尼亚州高于全国其他地区。由于地震和环境法规的原因，加利福尼亚的建筑法规和标准被认为是美国最全面，最严格的建筑法规，通常需要更昂贵的材料和劳动力。
例如，该州要求建筑商使用更高质量的建筑材料（窗户，隔热，供暖和冷却系统）以达到高能效标准。
根据有关许可平均费用的一般统计数据，可以剔除两个位置：
- 金银岛是旧金山湾的人工岛。建造许可证的平均估计费用为650万美元。
- 米申湾（Mission Bay） -（可容纳2926人）建筑许可证的平均估计成本为150万美元。
实际上，这两个地区的平均申请量较高，而这些邮政地点的申请数量最少（分别为145和3064，岛上的建筑非常有限），而其余的邮政编码-在1980 - 2019年期间，收到了大约1300。每年的申请量（整个期间平均总共305,000份申请）。
通过“应用程序数量”参数，整个城市中每个邮政编码的应用程序数量分布非常均匀。
按月和日统计的申请总数
根据1980年至2019年每个月和一周中一天中的总申请数量的一般统计数据显示，建筑部门的“最安静”月份是春季和冬季月份。同时，申请中指出的投资金额差异很大，有时每个月都不相同（另请参见“建筑活动取决于一年中的季节”）。在星期一的一周中，该部门的工作量比一周中的其余时间少大约20％。
months = [ 'January', 'February', 'March', 'April', 'May','June', 'July', 'August', 'September', 'October', 'November', 'December' ]
data_month_count = data_month.groupby(['permit_creation_date']).count().reindex(months)
尽管6月和7月的申请数量实际上是相同的，但就总估算成本而言，相差100％（5月和7月为43亿，6月为82亿）。
data_month_sum = data_month.groupby(['permit_creation_date']).sum().reindex(months)
旧金山建筑行业的未来，通过模式预测活动。
最后，我们将旧金山的建筑活动图与比特币价格图（2015-2018）和黄金价格图（1940-1980）进行了比较，技术分析中的
模式（来自英语模式-模型，样本）被称为价格，数量或指标数据的永久性重复组合。模式分析基于技术分析的公理之一：“历史重复本身”-相信重复的数据组合会导致相似的结果。
在年度活动图表上可以猜到的主要模式是“头和肩膀”-一种趋势反转模式。之所以命名，是因为该图看起来像人的头（峰值），而肩膀在侧面（较小的峰）。当价格跌破连接谷底的线时，该形态被认为是完整的，并且移动可能会向下。
旧金山建筑业的活动趋势几乎与黄金和比特币价格的增长曲线一致。这三个价格变动和活动图表的历史表现显示出明显的相似性。
为了预测建筑市场的未来行为，有必要计算与这两个趋势的相关系数。
如果两个随机变量的相关矩（或相关系数）不为零，则称为相关变量。如果它们的相关矩等于零，则称为不相关量。
如果获得的值接近于0而不是接近于1，则谈论清晰的模式是没有意义的。这是一个困难的数学问题，对此主题可能感兴趣的高级同事可以解决。
如果一个！不科学！看一下旧金山建筑业的进一步发展主题：如果这种模式与比特币的价格相吻合，那么对于这种悲观的选择，要让后危机时期摆脱旧金山建筑业的危机并不容易。
在更“乐观”的情况下，如果此处的活动遵循“黄金价格”的情况，则建筑业可能会出现指数级增长。在这种情况下，在20至30年内（可能在10年内），建筑行业将期待就业和发展的新增长。
在下一部分中，我将仔细研究各个建筑行业（屋顶，厨房，楼梯，浴室的维修，如果您对行业或其他数据有任何建议，请在评论中写出），并比较固定利率抵押贷款对某些类型工作的通货膨胀率以及美国政府债券的收益率（固定抵押贷款利率和美国国债收益率）。
链接到Jupyter Notebook：旧金山。建筑部门1980-2019。
请那些使用Kaggle的用户放一个plus笔记本（谢谢！）。
（有关代码的注释和解释将在以后添加到笔记本中）
链接至英文版本：旧金山建筑业的兴衰。建筑的趋势和历史。
如果您喜欢我的内容，请考虑给我买一杯咖啡。
谢谢你的支持！
为作者买咖啡