Hadoop、Spark大数据实践案例
来自CloudWiki
目录
大数据的案例
大数据公司挖掘数据价值的49个典型案例
https://blog.csdn.net/zw0pi8g5c1x/article/details/81277567
大数据的应用
工业系统数据分析
通过分析真实的工业应用系统数据，为该系统的功能或性能优化提出可行的建议。
网页文本信息的获取与处理
网页文本信息的获取与处理：通过对真实网页数据的爬取与搜集，为政府、企业或个人提供有价值的信息，如：舆情信息、某一方面的流行趋势、热门话题等信息。
公共交通数据的分析与挖掘
通过分析真实的公共交通流量数据，如：道路交通数据、铁路客运信息、民航客票信息等，提出线路优化或个人出行建议。
大数据集群搭建
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序.
Hadoop伪分布式搭建
Hadoop分布式搭建
Spark集群搭建
Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。
