Coolkid mascot CoolkidLab Build in Public. Level up together.

SEO 白老鼠實驗 · AI 搜尋來源

閱讀

GSC 看不到 ClaudeBot、PerplexityBot 抓了你哪頁?改用 Bing Webmaster 反查

AI 要在回答裡引用你的文章,前提是它得先「爬」過你的網站(爬 = AI 公司派程式來把你的頁面讀一遍、收進它的資料庫)。所以我很想知道:ChatGPT、Perplexity 這些 AI,到底有沒有在讀我的站?讀了哪幾頁?

我第一個直覺是去翻 GSC(Google Search Console,Google 官方給站長看「自己網站在 Google 上表現」的免費工具)。結果翻遍每一張報表,就是找不到 ClaudeBot(Anthropic 的爬蟲)、PerplexityBot 這些 AI 爬蟲的任何紀錄。一度以為是 AI 根本沒來爬我。

後來才搞懂:不是 AI 沒爬,是 GSC 根本不給你看第三方的爬蟲,它只報 Google 自己的。要看 AI 爬蟲,得換一個免費工具。這篇講清楚:為什麼 GSC 看不到、該去哪看(Bing Webmaster Tools,微軟版的 GSC,一樣免費)、為什麼偏偏是 Bing、怎麼一步步設定,以及看到之後該怎麼解讀。10 分鐘讀完。

為什麼 GSC 看不到 ClaudeBot、PerplexityBot?

先講答案:GSC 只會報 Google 自己的爬蟲(Googlebot)抓了你什麼,第三方公司的爬蟲,包括 Anthropic 的 ClaudeBot、Perplexity 的 PerplexityBot、OpenAI 的 GPTBot——它一律不給你看。這不是你設定漏了,是 GSC 的設計範圍就只到 Google 自家。

所以你在 GSC 的「檢索統計資料」裡怎麼翻都只有 Googlebot,看不到任何 AI 爬蟲,這完全正常。用它來判斷「AI 有沒有爬我」會得到錯的結論,它本來就不是拿來看這個的工具。

要看第三方 AI 爬蟲,有兩條路:一是看你自己主機的存取紀錄(server log,需要一點技術、而且免費主機常常不給你看),二是借另一個免費工具的檢索資料,也就是下一節的 Bing Webmaster Tools。非工程師走第二條就好。

為什麼是 Bing?跟 ChatGPT 有什麼關係?

先講答案:因為 ChatGPT 搜尋網路時,用的資料很大一部分來自微軟 Bing 的索引,所以 AI 爬蟲這條線,Bing Webmaster Tools(微軟版的 GSC,一樣免費)看得到,Google 那邊看不到。

拆開講:ChatGPT 要回答「即時、要查資料」的問題時,背後會去搜尋網路,而它的搜尋很多是靠 Bing 的搜尋結果。你的內容有沒有進 Bing 的索引、Bing 及相關的 AI 爬蟲有沒有來讀你,直接關係到 ChatGPT 有沒有機會引用你。這條線只有 Bing 這邊有資料。

很多人只顧著顧 Google、完全沒開 Bing Webmaster,等於把「AI 從哪讀我」這面鏡子關掉了。它免費、設定五分鐘,還能從 GSC 一鍵把資料匯過去,沒有不開的理由。

怎麼用 Bing Webmaster 看是哪個 AI 爬蟲抓你哪頁?(step-by-step)

先講答案:去 Bing Webmaster Tools 的「檢索統計資料」,就能看到 GSC 給不了你的第三方 AI 爬蟲抓了你哪些網址。照這三步做,五到十分鐘完成,全程免費、不用寫程式:

  1. Step 1 — 去 bing.com/webmasters 用你的微軟帳號登入(沒有就註冊一個,免費)。進去選「加入網站」,它會給你兩個選項。
  2. Step 2 — 選「從 Google Search Console 匯入」(Import from GSC)。授權一下,它就把你在 GSC 已經驗證過的網站、sitemap 直接搬過來,你不用重做一次驗證。這是最省事的路。
  3. Step 3 — 進到「檢索統計資料」(crawl stats / 也可能叫網站探索),看列表裡各個 bot 抓了你哪些網址、抓了幾次。這裡就會出現 GSC 給不了你的第三方 AI 爬蟲紀錄,對照哪幾頁最常被 AI 讀。

第一次匯入後,Bing 要一點時間累積檢索資料,別當天沒看到就以為失敗。放著讓它跑幾天再回來看,趨勢比單日準。

看到 AI 爬蟲來過之後,能推出什麼?(別過度解讀)

先講一個很重要、很多人搞錯的地方:AI 爬蟲爬過你某一頁,不代表 AI 就會在回答裡引用那一頁。爬到只是「它讀過」,引用是「它決定拿來回答」,中間差很遠。

所以 Bing 的檢索資料只是其中一塊拼圖。把它跟另外兩塊合起來看才有意義:一塊是 GA4(Google Analytics 4,Google 免費的網站流量分析工具,看訪客從哪來、看了哪幾頁)有沒有真的跳出 AI 帶來的訪客、落在哪幾頁;一塊是你自己開無痕視窗去問 ChatGPT,看它回答會不會引到你。三塊交叉,才拼得出「我哪篇內容真的被 AI 吃進去、又被端出來」。

GA4 那條線我另外寫了一篇講「看到 chatgpt.com 訪客卻看不到對方問什麼」的坑:GA4 只看到 chatgpt.com、看不到對方問什麼 prompt?。想把三塊整套串成一份可照抄的操作流程,看這篇 workflow:GA4 倒推 ChatGPT 引用來源的 4 招完整 SOP

一句話總結

在 GSC 找不到 ClaudeBot、PerplexityBot 不是你的站沒被 AI 爬,是 GSC 只報 Google 自己的爬蟲。要看第三方 AI 爬蟲,開免費的 Bing Webmaster Tools、從 GSC 一鍵匯入、看檢索統計——因為 ChatGPT 的資料大半來自 Bing。但記得:爬到不等於被引用,要配 GA4 跟反向測試一起看。

下一站我會把「反向用 ChatGPT 驗證有沒有引用你」這招單獨拆一篇,講怎麼設計問題、怎麼避開自己帳號記憶造成的假象。

GSC 看不到 ClaudeBot、PerplexityBot 等第三方 AI 爬蟲,是因為它只報 Google 自家的 Googlebot,不是你的站沒被爬。要看 AI 爬蟲抓你哪頁,改用免費的 Bing Webmaster Tools:用微軟帳號登入 → 從 Google Search Console 一鍵匯入 → 看檢索統計資料。為什麼看 Bing:ChatGPT 搜尋的資料大半來自 Bing 索引,這條線 Google 看不到。重要提醒:AI 爬到你某頁 ≠ 會引用那頁,要配合 GA4 的 AI 訪客紀錄+無痕反向問 ChatGPT 三塊交叉才準。10 分鐘讀完。

名詞解釋

GSC(Google Search Console)
Google 給網站主的免費後台:看自己網站在搜尋的曝光、點擊、排名跟索引狀態。做 SEO 的人天天開的儀表板。
ChatGPT
OpenAI 的對話式 AI。本站常拿它跟 AI 代理對比:ChatGPT 給你答案、你自己動手;AI 代理直接幫你把事做完。
GA4(Google Analytics 4)
Google 的流量分析工具:訪客從哪來、看了什麼、停多久。GSC 管「搜尋結果上的表現」,GA4 管「進站後的行為」。

這篇是收斂後寫的版本。
我每兩週寄一封電子報,講「正在做但還沒寫成文章」的東西——
包含每月幫你過濾值得花時間的新 AI 工具,
以及 Lab 新文的個人版(你會比公開版早一週收到)。

→ 訂閱(雙週一封,第一封自動寄起步清單)

跳轉 Substack、隨時取消、不轉賣 email。

如果內容對你有用就太好了
隨喜斗內

Buy Me a Coffee at ko-fi.com
NEXT CHAPTER ▸ SEO #26:GA4 只看到 chatgpt.com、看不到對方問什麼 prompt?

常見問題

為什麼 Google Search Console 看不到 ClaudeBot、PerplexityBot?

因為 GSC 只報 Google 自己的爬蟲(Googlebot)抓了你什麼,第三方公司的爬蟲,ClaudeBot(Anthropic)、PerplexityBot、GPTBot(OpenAI)——它一律不顯示。這是 GSC 的設計範圍,不是你設定漏了。你在 GSC「檢索統計資料」只看得到 Googlebot 完全正常,要看 AI 爬蟲得換 Bing Webmaster Tools。

要看 AI 爬蟲抓我哪頁,該用什麼工具?

免費的 Bing Webmaster Tools(微軟版的 Google Search Console)。步驟:去 bing.com/webmasters 用微軟帳號登入 → 選「從 Google Search Console 匯入」把已驗證的網站搬過來(不用重做驗證)→ 進「檢索統計資料」看各個 bot 抓了你哪些網址。為什麼是 Bing:ChatGPT 搜尋的資料大半來自 Bing 索引,這條線 Google 那邊看不到。

看到 AI 爬蟲爬過我的頁,代表 ChatGPT 會引用我嗎?

不一定。爬到只代表 AI「讀過」你這一頁,引用是它「決定拿來回答」,兩件事差很遠。Bing 的檢索資料只是拼圖之一,要跟 GA4 有沒有跳出 AI 帶來的訪客、以及你自己無痕問 ChatGPT 看它會不會引到你,三塊交叉才推得出哪篇真的被 AI 引用。

ClaudeBot、PerplexityBot、GPTBot 是什麼?

都是 AI 公司派出來讀網站的程式(爬蟲):ClaudeBot 是 Anthropic(Claude)的、PerplexityBot 是 Perplexity 的、GPTBot 是 OpenAI(ChatGPT)的。它們把你的頁面讀進各自的資料庫,之後 AI 回答問題時才有機會引用你。想不想被它們讀,可以在網站根目錄一個叫 robots.txt 的設定檔(給爬蟲看的「能不能進來」告示牌)決定要不要放行。

看完這篇之前先確認:

適合你
  • 想知道 ChatGPT、Perplexity 這些 AI 有沒有在爬我的站的人
  • 在 Google Search Console 翻半天找不到 AI 爬蟲紀錄的人
  • 想用免費工具做「AI 有沒有讀我內容」追蹤的人
不適合
  • 還沒裝 Google Search Console、站也還沒什麼內容的人(先把這兩件做起來)
  • 只在意 Google 排名、不管 AI 引用的人
  • 要企業級 server log 分析、有工程團隊的人(這是個人免費版)
最常踩
  • 在 GSC 翻遍報表找 ClaudeBot 卻找不到,以為 AI 沒爬你,其實 GSC 根本不給你看第三方爬蟲
  • 以為只有 Google 的工具才準,漏掉 Bing 這條線(ChatGPT 資料大半來自 Bing)
  • 看到 AI 爬蟲來過就以為一定會被引用——爬到 ≠ 引用

← 回 SEO 歷程

⚠ 本站所有內容僅供教育與研究用途,不構成投資建議,不保證任何獲利。投資有風險,使用者須自行判斷並承擔結果。