大数据系统整体架构

该学情分析案例数据库采用MySQL数据库，使用Java Web SSH开发框架（Spring+Struts+Hibernate）技术，采用Tomcat服务器作为部署环境。

在数据挖掘过程，采用了WebMagic网络爬虫来进行数据采集、MapReduce计算框架来进行数据清洗、Mahout来进行数据分析。

最后数据可视化层使用了D3.js和Echarts模板来进行前端页面开发。