“丝路通”的版本间的差异
来自CloudWiki
（→商品比价引擎） |
（→爬虫监控引擎） |
||
| 第16行： | 第16行： | ||
==爬虫监控引擎== | ==爬虫监控引擎== | ||
| + | 爬虫程序 ， | ||
| + | |||
*[[基于ElasticSearch爬虫引擎]] | *[[基于ElasticSearch爬虫引擎]] | ||
*[[Python beautifulsoup4库 解析阿里巴巴分类网址]] | *[[Python beautifulsoup4库 解析阿里巴巴分类网址]] | ||
| 第23行： | 第25行： | ||
*[[丝路通：分布式爬虫任务分配]] | *[[丝路通：分布式爬虫任务分配]] | ||
*[[丝路通：监控报警程序]] | *[[丝路通：监控报警程序]] | ||
| + | |||
==运维监控引擎== | ==运维监控引擎== | ||
*[[大数据日志分析系统]] | *[[大数据日志分析系统]] | ||
2020年11月16日 (一) 06:49的版本
用户画像系统
问题：没有统计到页面上
前端埋点， 腾讯云 连接， 前端展示
网站应用系统
商品比价引擎
前端代码：
爬虫监控引擎
爬虫程序 ，
- 基于ElasticSearch爬虫引擎
- Python beautifulsoup4库 解析阿里巴巴分类网址
- Python爬虫案例：使用Selenium爬取阿里巴巴国际站
- Python爬虫案例：使用Selenium爬取中国制造网
- Python爬虫案例：使用Selenium爬取敦煌网
- 丝路通：分布式爬虫任务分配
- 丝路通：监控报警程序
运维监控引擎
- 大数据日志分析系统
- 基于大数据的运维分析系统（缺前端接口）
实时统计系统
离线推荐系统
- Spark：基于内容的推荐系统（缺前端接口）
- 基于内容的推荐系统
离线选品系统
- Hive离线选品推荐（缺前端接口）
