Scrapy 开源爬虫系统
Python 爬虫框架事实标准
Crawlee 开源爬虫系统
Node.js 采集框架,内置反爬与代理轮换
Crawlab 开源爬虫系统
分布式爬虫管理平台,支持任意语言编写的爬虫
Apify SDK for JavaScript 开源爬虫系统
Apify SDK for JavaScript | SDK for JavaScript | Apify Documentation
后羿采集器 闭源爬虫系统
后羿采集器是由前谷歌搜索技术团队基于人工智能技术研发的新一代网页采集软件,该软件功能强大,操作简单,可谓是居家旅行随身神器。
悠嘻扒 闭源爬虫系统
YoungxjTools提供二维码生成,dns解析查询,短网址生成,icp备案查询,ip定位,全民k歌解析,在线ping,端口扫描,子域名扫描,QQ在线状态,在线运行,时间戳转换,ua查询,whois查询,字符加解密等优质的小工具,更加方便
You-Get 开源爬虫系统
You-Get
Apify SDK 开源爬虫系统
Camofox Browser 开源爬虫系统
camofox-browser 是面向 AI Agent 与自动化采集场景的隐身无头浏览器,主打规避常见机器人检测,并可作为 Puppeteer、Playwright 的替代方案接入。