服务 – 主流媒体平台爬虫

抖音、快手、哔哩哔哩平台爬虫服务器项目。它可以获取这些平台上的公开信息,但请遵守下方的的免责声明。

免责声明

本项目的初衷是为了帮助开发者更好地了解和掌握这些平台,也希望能帮助企业和安全工程师了解爬虫手段,提高平台的反爬虫措施,而不是用于非法用途,反对用于任何违反相关法律法规的行为。

仅供学习和研究使用,不得用于任何商业用途或非法目的。使用本项目提供的功能时,用户需自行承担可能带来的一切法律责任。

我们提供的爬虫仅能获取抖音,快手、哔哩哔哩等平台上公开的信息,我们强烈反对任何形式的隐私侵犯行为。如果你使用本项目进行了侵犯他人隐私的行为,我们将与你保持距离,并支持受害者通过法律手段维护自己的权益。

使用本仓库的内容即表示您同意本免责声明的所有条款和条件。如果你不接受以上的免责声明,请立即停止使用本项目。

如有侵犯到您的知识产权、侵犯到您的个人隐私等,请立即联系我们, 我们将积极配合保护您的权益。

功能

  • 快手、抖音、哔哩哔哩平台的爬虫接口
  • 获取公开的用户信息,帖子信息等
  • 使用简单,支持多种语言使用HTTP调用
  • 哔哩哔哩视频一键下载

快速开始

使用Makefile

  • 准备好python

  • 准备好js运行环境

    curl -fsSL https://deb.nodesource.com/setup_20.x | sudo bash -
    sudo apt-get install -y nodejs
  • 执行下列命令

    # 进入项目根目录
    cd Crawler
    make run
    # make run 参数
    #
    # 端口号,默认 8080
    # port=8081
    #
    # 线程数 默认 4
    # thread=4
  • 查看日志 日志默认存放在.log/目录下,access.logerror.log为访问日志和错误日志,crawler.log为爬虫日志。

使用docker

 

  1. 一键启动

    sudo docker run -d --name crawler -p 8080:8080 shilongli0101/crawler
    # 环境变量
    #
    # 线程数默认值4
    # -e THREADS=4
  2. 查看日志

    sudo docker exec -it crawler /bin/bash
    cat .log/crawler.log # access.log error.log

首次使用需添加账号,例如:调用http://localhost:8080/{platfrom}/add_account添加账号,platfrom取douyinkuaishoubilibili

声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。