Scrapy Open source · BSD-3-Clause
The de facto standard Python web crawling framework.
Introduction
## Scrapy
Scrapy is the de facto standard Python web crawling framework.
PythonWeb CrawlingCrawler FrameworkWeb ScrapingDe Facto Standard
Screenshots
Screenshot placeholder
Screenshot placeholder
Deployment
Scrapyd
适合在自管服务器上部署、调度和通过 HTTP JSON API 远程运行 Scrapy 爬虫项目。
Zyte Scrapy Cloud
适合希望使用官方文档提及的托管云服务来部署、运行、监控和定时执行 Scrapy 爬虫的团队。
Scrapy alternatives View all 爬虫系统 →
Crawlee Open source
Node.js 采集框架，内置反爬与代理轮换
Crawlab Open source
分布式爬虫管理平台，支持任意语言编写的爬虫
Decodo Proprietary
Decodo 提供住宅、移动、ISP 与数据中心代理网络，以及 Web Scraping API，面向需要大规模采集公开网页数据的团队，强调高可用性与代理资源覆盖。
Apify SDK Open source
You-Get Open source
You-Get
后羿采集器 Proprietary
后羿采集器是由前谷歌搜索技术团队基于人工智能技术研发的新一代网页采集软件，该软件功能强大，操作简单，可谓是居家旅行随身神器。
Apify SDK for JavaScript Open source
Apify SDK for JavaScript | SDK for JavaScript | Apify Documentation
Details
Type Open-source software
License BSD-3-Clause
Last verified 2026-07-18
In solutions
爬虫系统 · 3 candidates →About the data
Stars / commit times sync automatically from the GitHub API; pricing and features are human-verified.