1️⃣实现方法
通过获取携程首页每个省的数据获取每个省的城市，当然如果没有你也可在city.json添加或者删除城市。
获取每个城市的热门景区
使用线程池爬取对应景区的评论
2️⃣功能支持列表
爬取指定省份的所有城市
获取每个城市的热门景区
提取的评论保存为excel
使用线程池自定义控制爬取评论速度
支持使用代理和随机ua

安装依赖
pip install -r requirements.txt
运行generate_city.py生成每个省份的城市的json文件city.json
python generate_city.py
运行create_file.py根据city.json数据生成每个省份的城市的文件夹
python create_file.py
运行main.py开始爬取
python main.py
如果需要统计你爬的数据有多少，请运行get_all_excel_file_data.py
python get_all_excel_file_data.py

声明：本站所有文章，如无特殊说明或标注，均为本站原创发布。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益，可联系我们进行处理。