Skip to content

讓 AI 助理看懂網頁:Firecrawl、Playwright、WebFetch 三大抓取工具完整比較

AI 助理看網頁的三種方式:Firecrawl、Playwright、WebFetch 比喻圖
AI 助理看不到網頁內容?這篇介紹 Firecrawl、Playwright、WebFetch 三種工具的優缺點和使用場景,幫你選對工具、快速抓取網頁內容。

📌目錄

問題:AI 看不到網頁內容、無法爬蟲、分析資料?

你有沒有遇過這種情況?

你:「幫我看看這篇文章在講什麼」(貼了一個網址)
AI:「抱歉,我無法直接存取網頁內容...」

這是因為 AI 助理本身看不到網頁,如果他手上沒工具。

解法:給 AI 一組工具,讓它可以「出門看網頁」。

目前主流有三種工具,各有擅長的場景。這篇會幫你搞懂:什麼時候用哪個、怎麼裝、怎麼設定。


三個工具是什麼?用餐廳比喻

AI 助理看網頁的三種方式

想像你想知道一家餐廳的菜單內容:

Firecrawl — 外送平台

你打開外送 App,搜尋餐廳名稱,App 直接把菜單整理好給你看:菜名、價格、照片,排版清清楚楚。

  • 優點:最快、最乾淨、自動整理格式
  • 缺點:如果餐廳沒有上架外送平台(像是私人社群),你就看不到
  • 費用:免費額度每月 500 次,一般使用綽綽有餘

Playwright — 親自走一趟

你出門搭車到餐廳,坐下來翻菜單、跟店員對話、拍照記錄。什麼都看得到,因為你就在現場。

  • 優點:什麼都能看到(包括需要登入的內容、社群貼文)
  • 缺點:比較慢(要開瀏覽器、載入頁面)
  • 費用:完全免費

WebFetch — 打電話問

你直接打電話給餐廳:「請問你們有什麼菜?」對方口頭念給你聽。

  • 優點:最快、零成本
  • 缺點:如果菜單是寫在黑板上的(動態網頁),電話裡聽不到
  • 費用:完全免費

完整比較表

FirecrawlPlaywrightWebFetch
一句話定位雲端爬蟲,AI 優化輸出真實瀏覽器自動化簡易 HTTP 請求
輸出格式乾淨的 Markdown網頁 DOM / 截圖HTML 轉 Markdown
處理 JavaScript✅ 可以✅ 可以❌ 不行
社群媒體❌ 會被擋✅ 唯一選擇❌ 拿到空殼
需要登入的網頁❌ 不支援✅ 可以模擬登入❌ 不支援
速度⚡ 快(2~5 秒)🐢 較慢(5~15 秒)⚡⚡ 最快(1~2 秒)
費用免費 500 次/月完全免費完全免費
安裝複雜度需要 API Key需要安裝瀏覽器引擎內建,不用裝

什麼時候用哪個?決策流程

收到一個網址,想讓 AI 看內容
    │
    ├─ 是 Notion 頁面?
    │   → 用 Notion API(永遠不用爬蟲工具)
    │
    ├─ 是社群媒體?(FB / IG / Threads / X)
    │   → 直接用 Playwright
    │
    ├─ 是靜態網頁?(GitHub、API 文件、技術部落格)
    │   → 先試 WebFetch(最快),失敗再換
    │
    └─ 一般網頁?(新聞、部落格、產品頁面)
        → 先用 Firecrawl(預設首選)
            ├─ 成功 → 完成
            └─ 失敗 → 換 Playwright

記住這個優先順序:

FirecrawlPlaywrightWebFetch

社群媒體例外,直接跳到 Playwright。


安裝與設定

前提

你已經安裝了 Claude Code(如果還沒,先看 Claude Code 完整入門教學)。

這三個工具都可以透過 MCP(Model Context Protocol)簡單連接的。

► 如果你不知道 MCP 是什麼,先看 MCP 設定入門(系列文章,敬請期待)。


Firecrawl — 雲端爬蟲

Step 1:取得 API Key

  1. firecrawl.dev 註冊帳號
  2. 進入 Dashboard → API Keys
  3. 點「Create API Key」,複製 Key

Step 2:設定 MCP

在 Claude Code 的 MCP 設定檔加入:

{
  "mcpServers": {
    "firecrawl": {
      "command": "npx",
      "args": ["-y", "firecrawl-mcp"],
      "env": {
        "FIRECRAWL_API_KEY": "你的 API Key"
      }
    }
  }
}

Step 3:測試

跟 AI 說:「幫我用 Firecrawl 看一下這個網址的內容」,貼上任意網頁連結。

額度說明

  • Hobby Plan(免費):每月 500 credits
  • 抓一個網頁 = 1 credit
  • 遞迴爬整個網站 = 每個頁面 1 credit(小心使用)
  • 以一般用量來說,一天抓 10~15 個網頁,免費額度用不完

Playwright — AI 用的瀏覽器

Step 1:安裝瀏覽器引擎

打開終端機,執行:

npx playwright install chromium

這會下載一個 Chromium 瀏覽器(約 200MB),AI 會用它來「打開」網頁。

Step 2:設定 MCP

{
  "mcpServers": {
    "playwright": {
      "command": "npx",
      "args": ["@anthropic/mcp-playwright"]
    }
  }
}

Step 3:測試

跟 AI 說:「幫我用 Playwright 打開這個 Threads 貼文,把內容抓下來」。

使用情境

  • 抓 Facebook / Instagram / Threads 的公開貼文
  • 需要截圖的場景(AI 會幫你拍網頁畫面)
  • 需要互動的網頁(點按鈕、填表單、滾動頁面)

WebFetch — 內建工具

不用安裝! 這是 Claude Code 內建的功能。

直接跟 AI 說:「幫我看一下這個 GitHub 頁面在講什麼」,它就會用 WebFetch 去抓。

適合場景

  • GitHub README、API 文件
  • 技術部落格(通常是靜態網頁)
  • 任何不需要 JavaScript 渲染的簡單頁面

不適合

  • 社群媒體(拿到空殼)
  • 需要登入的網頁
  • 重度使用 JavaScript 的 SPA 網站

常見場景對照

我想做的事用哪個工具原因
看一篇部落格文章Firecrawl輸出乾淨,格式好
抓一篇 Threads 貼文Playwright社群媒體只有它能抓
看 GitHub 上的 READMEWebFetch靜態頁面,最快
抓 Facebook 粉專貼文Playwright社群媒體
查一個 npm 套件的文件WebFetch靜態頁面
把一整個網站的內容爬下來Firecrawl(crawl)支援遞迴爬取
需要網頁截圖Playwright唯一能截圖的
看一篇新聞報導Firecrawl新聞網站通常有複雜排版

三個教訓

在實際使用這些工具的過程中,我學到幾件事:

1. 社群媒體不要浪費時間試 Firecrawl

FB、IG、Threads 這些平台會封鎖雲端爬蟲的 IP。每次嘗試都要等它超時失敗才換下一個,白白浪費時間。看到社群媒體的網址,直接用 Playwright。

2. 不要小看 WebFetch

很多時候你只是想快速看一下某個頁面的內容,WebFetch 一秒就搞定。不是所有場景都需要出動 Firecrawl 或 Playwright。

3. 了解「Threads 官方 API」的限制

即使你裝了 Threads API,它也只能操作你自己帳號的貼文(發文、回覆、看數據)。想看別人的貼文?只能靠 Playwright 去「看」公開頁面。這不是工具的問題,而是平台的設計。


💬 想知道更多?歡迎留言給我

或者訂閱免費電子報:https://lifehacker.kit.com/ai-agent

我有打算陸續寫成系列文章,到時候也發信通知你。


總結

一般網頁 → Firecrawl(乾淨快速)
社群媒體 → Playwright(唯一選擇)
靜態文件 → WebFetch(秒速完成)
Notion    → Notion API(專用工具)

三個工具互相補位,覆蓋了 95% 的網頁抓取場景。不用額外花錢買第三方服務,這個組合就是目前 AI Agent 生態圈最主流的配置。


相關閱讀:MCP 設定入門(系列文章,敬請期待)、Claude Code 完整入門教學

分享按鈕

關於作者

留言回應

訂閱
接收通知
guest
0 留言
最新的留言
最舊的留言 Most Voted
Inline Feedbacks
View all comments

領取高效生產力的秘訣!

Free 免費 NT$ ?????
免費入門課&電子書&精華文章一次帶走
  • 聰明工作者的 10 堂體驗課
  • 現代人必備的 25+ 款數位工具
……更多你需要的現代人精進指南!