服务 – 主流媒体平台爬虫
抖音、快手、哔哩哔哩平台爬虫服务器项目。它可以获取这些平台上的公开信息,但请遵守下方的的免责声明。
免责声明
本项目的初衷是为了帮助开发者更好地了解和掌握这些平台,也希望能帮助企业和安全工程师了解爬虫手段,提高平台的反爬虫措施,而不是用于非法用途,反对用于任何违反相关法律法规的行为。
仅供学习和研究使用,不得用于任何商业用途或非法目的。使用本项目提供的功能时,用户需自行承担可能带来的一切法律责任。
我们提供的爬虫仅能获取抖音,快手、哔哩哔哩等平台上公开的信息,我们强烈反对任何形式的隐私侵犯行为。如果你使用本项目进行了侵犯他人隐私的行为,我们将与你保持距离,并支持受害者通过法律手段维护自己的权益。
使用本仓库的内容即表示您同意本免责声明的所有条款和条件。如果你不接受以上的免责声明,请立即停止使用本项目。
如有侵犯到您的知识产权、侵犯到您的个人隐私等,请立即联系我们, 我们将积极配合保护您的权益。
功能
- 快手、抖音、哔哩哔哩平台的爬虫接口
- 获取公开的用户信息,帖子信息等
- 使用简单,支持多种语言使用HTTP调用
- 哔哩哔哩视频一键下载
快速开始
使用Makefile
-
准备好python
-
准备好js运行环境
curl -fsSL https://deb.nodesource.com/setup_20.x | sudo bash - sudo apt-get install -y nodejs
-
执行下列命令
# 进入项目根目录 cd Crawler make run # make run 参数 # # 端口号,默认 8080 # port=8081 # # 线程数 默认 4 # thread=4
-
查看日志 日志默认存放在
.log/
目录下,access.log
和error.log
为访问日志和错误日志,crawler.log为爬虫日志。
使用docker
-
一键启动
sudo docker run -d --name crawler -p 8080:8080 shilongli0101/crawler # 环境变量 # # 线程数默认值4 # -e THREADS=4
-
查看日志
sudo docker exec -it crawler /bin/bash cat .log/crawler.log # access.log error.log
首次使用需添加账号,例如:调用http://localhost:8080/{platfrom}/add_account
添加账号,platfrom取douyin
、kuaishou
、bilibili
,
声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。
评论(0)