Spark全栈:天气数据

来自CloudWiki
跳转至: 导航搜索

天气数据

从美国国家环境信息中心(NCEI,前身为美国国家气候数据中心,NCDC,https://www. ncdc.noaa.gov/)的网站上可以下载到非常丰富的天气数据,我们用其做分析很方便。

参照脚本download_weather.sh(http://bit.ly/2nRYGjB),我们可以用它来下载WBAN主站点[4]列表。我们使用列表中的经纬度地理坐标,将机场和气象站点对应起来,用来加强对航班延误的预测。要执行完这个脚本可能比较费时间,所以我们不妨让脚本在后台慢慢执行,稍候再继续工作