“一带一路 大数据”的版本间的差异

来自CloudWiki
跳转至: 导航搜索
 
(未显示同一用户的18个中间版本)
第1行: 第1行:
 +
==进度==
 +
*电商淘宝数据 ?
 +
*数据清洗 ?
 +
*电影数据 ?
 +
*一带一路 核心节点(网站)?
 +
*selenium 处理验证码:https://blog.csdn.net/Lionel_Qin/article/details/80969868
 +
*首页新闻 :(随机、推荐)模式,向用户推荐个性化的一带一路新闻
 +
*Spark训练推荐
 +
 +
 +
==数据==
 +
*一带一路 基础数据:https://www.yidaiyilu.gov.cn/info/iList.jsp?cat_id=10036
 +
*近40年来中国外贸发展成果:https://news.163.com/19/1116/13/EU3U7GR8000189FH.html
 +
*海囤全球:https://www.jd.hk/
 +
 +
*天猫国际馆:
 +
 +
*[https://mp.weixin.qq.com/s?__biz=MzI5MDU1OTk1NA==&mid=2247499145&idx=1&sn=9a63059235472f8b230f99bfdf99450c&chksm=ec1cbf34db6b3622f0550551c8306465977717bcf331f11bdfe4a5612b34306a947dff4ac50c&mpshare=1&scene=23&srcid=&sharer_sharetime=1565761458609&sharer_shareid=9a47d948e5a338ea483d560dfedff359#rd 传阿里20亿收购网易考拉]
 +
 
==技术资源==
 
==技术资源==
 +
===云服务器===
 +
*[https://developer.huaweicloud.com/campus?productType=ecs_2 华为云学生主机]
 
===数据爬取===
 
===数据爬取===
 
*视频:[https://www.dcxueyuan.com/classDetail/courseList/17/page.html Python爬虫(入门+进阶)]
 
*视频:[https://www.dcxueyuan.com/classDetail/courseList/17/page.html Python爬虫(入门+进阶)]
 
*文档:[[Python爬虫入门进阶]]
 
*文档:[[Python爬虫入门进阶]]
 +
*微博爬取:[https://blog.csdn.net/qq_38316655/article/details/80671358 Python爬虫实列:新浪微博热门话题]
 +
*BeuatifulSoup库的使用:https://beautifulsoup.readthedocs.io/zh_CN/v4.4.0/
 +
*爬取豆瓣前9000条电影:https://mp.weixin.qq.com/s?__biz=MjM5MjAwODM4MA==&mid=2650726517&idx=1&sn=b7fd876df2f8515983b28bfcfeb1d9e7&chksm=bea691a689d118b051c1244380193c4e5755d9cd0f92d3a50baa2d96c05745e903fffc6f15a3&mpshare=1&scene=23&srcid=&sharer_sharetime=1566137513375&sharer_shareid=9a47d948e5a338ea483d560dfedff359#rd
  
 
===后台引擎===
 
===后台引擎===
 +
*[[一带一路__运维]]
 +
*[[Django搭建网站]]
 
*[[ElasticSearch入门]]
 
*[[ElasticSearch入门]]
 
+
*[https://www.django.cn/course/ Django中文教程]
 +
*[http://how2j.cn/k/search-engine/search-engine-kibana/1692.html ElasticSearch教程]
 +
*[https://www.cnblogs.com/cjsblog/p/9476813.html Kibana安装和简单使用]
 +
*Django结合ES :https://www.jianshu.com/p/cd3d60da3128
  
 
===数据可视化===
 
===数据可视化===
第13行: 第42行:
 
*Echarts素材:http://www.17sucai.com/search/echarts?
 
*Echarts素材:http://www.17sucai.com/search/echarts?
 
*StoryMap互动地图:https://cn.gijn.org/2019/06/07/stroymap/
 
*StoryMap互动地图:https://cn.gijn.org/2019/06/07/stroymap/
 +
 +
===人工智能===
 +
*DuerOS开放平台:https://developer.dueros.baidu.com/open
 +
 
==一带一路国家一览==
 
==一带一路国家一览==
 
===东南亚===
 
===东南亚===

2019年11月16日 (六) 13:39的最新版本

进度

  • 电商淘宝数据 ?
  • 数据清洗 ?
  • 电影数据 ?
  • 一带一路 核心节点(网站)?
  • selenium 处理验证码:https://blog.csdn.net/Lionel_Qin/article/details/80969868
  • 首页新闻 :(随机、推荐)模式,向用户推荐个性化的一带一路新闻
  • Spark训练推荐


数据

  • 天猫国际馆:

技术资源

云服务器

数据爬取

后台引擎

数据可视化

人工智能

一带一路国家一览

东南亚

南亚

西亚北非

中东欧

中亚

独联体其他国