AI 爬蟲
使用語義模型理解頁面、生成/修復抽取規則、或將網頁轉為 LLM 可用格式的爬蟲工具。
評分方式（open_source_ai_tools_v1）：40% GitHub 活躍度（距上次 push 的時間衰減）
+ 40% 星數（同分類內以 log 正規化）+ 20% 授權寬鬆度，Archived 專案扣 5 分。
最後產生：2026-07-19T11:08:23.470249+00:00
| # | 名稱 | 分數 | 說明 |
|---|---|---|---|
| 1 |
Crawl4AI
本地、自架、LLM-Friendly Web Crawler
|
9.69 |
+ 73264 GitHub stars (top of category) + recently active + permissive license (Apache-2.0)
|
| 2 |
ScrapeGraphAI
自然語言驅動的圖式資料抽取框架
|
9.38 |
+ 28475 GitHub stars (top of category) + recently active + permissive license (MIT)
|
| 3 |
Firecrawl
完整 Web Context API 與 Agent Web Data 平台
|
8.8 |
+ 152954 GitHub stars (top of category) + recently active
- restrictive/copyleft license (AGPL-3.0)
|
| 4 |
WebClaw
Rust 實作的 CLI、MCP 與自架網頁抽取工具
|
7.3 |
+ recently active
- restrictive/copyleft license (AGPL-3.0)
|
| 5 |
ai-web-research
確定性、無 LLM 依賴的 robots/sitemap-aware 爬蟲，輸出 LLM 可用 Markdown 與可續傳 frontier
|
5.0 |
+ recently active
|