敏捷数据开发

第1章 理论

• 敏捷数据开发:前言
• 敏捷数据科学

第2章 敏捷工具

• Spark全栈：可伸缩性=易用性
• Spark全栈：敏捷数据科学之数据处理
• Spark全栈：下载数据到本地
• Spark全栈：下载并运行代码
• Spark全栈：工具集概览

第3章 数据

• Spark全栈：飞行航班数据
• Spark全栈：天气数据
• Spark全栈：敏捷数据科学中的数据处理
• Spark全栈：SQL vs.NoSQL

第4章 记录收集与展示

• Spark全栈：攀登金字塔
• 先备知识：
  • PySpark实战：下载Spark
  • PySpark实战：Linux搭建Spark环境、PySpark实战：Windows搭建Spark环境
  • PySpark实战：用PySpark建立第一个Spark RDD、PySpark实战：PySpark Shell 建立RDD、PySpark实战：Python文件 建立RDD
  • PySpark实战：DataFrame存储csv数据
• Spark全栈：航班数据收集与序列化

• 先备知识：
  • PySpark实战：安装MongoDB
  • PySpark实战：MongoDB基本操作
  • PySpark实战：安装pymongo
  • PySpark实战：安装MongoDB的Java驱动
  • PySpark实战：安装mongo-spark
  • MongoDB + Spark: 完整的大数据解决方案 https://blog.51cto.com/u_15486212/5239193
  • PySpark实战：安装mongo-hadoop
  • PySpark实战：安装pymongo_spark
• Spark全栈：航班记录处理与发布

第5章 使用图表进行数据可视化

• Spark全栈：使用图表进行数据可视化

第6章 通过报表探索数据

• Spark全栈：通过报表探索数据

参考文档：https://github.com/rjurney/Agile_Data_Code_2