Coolkid mascot CoolkidLab Build in Public. Level up together.
首頁新手教學免費工具AI 新聞GitHub 精選陪跑服務關於

SEO 白老鼠實驗 · AI 搜尋來源

GSC 看不到 ClaudeBot、PerplexityBot 抓了你哪頁?改用 Bing Webmaster 反查

閱讀

AI 要在回答裡引用你的文章,前提是它得先爬過你的網站。

爬的意思是,AI 公司派程式來把你的頁面讀一遍,收進它的資料庫。

所以我很想知道,這些 AI 到底有沒有在讀我的站?

讀了哪幾頁?

我第一個直覺是去翻 GSC,也就是 Google Search Console,Google 官方給站長看自己網站表現的免費工具。

結果翻遍每一張報表,就是找不到 ClaudeBot、PerplexityBot 這些 AI 爬蟲的任何紀錄。一度以為是 AI 根本沒來爬我。

後來才搞懂,不是 AI 沒爬,是 GSC 根本不給你看第三方的爬蟲,它只報 Google 自己的。

要看 AI 爬蟲,得換一個免費工具。

這篇講清楚為什麼 GSC 看不到、該去哪裡看。

為什麼偏偏是 Bing、怎麼一步步設定,還有看到之後該怎麼解讀。

為什麼 GSC 看不到 ClaudeBot、PerplexityBot?

先講答案。GSC 只會報 Google 自己的爬蟲抓了你什麼。

第三方公司的爬蟲一律不給你看。

包括 Anthropic 的 ClaudeBot、Perplexity 的 PerplexityBot、OpenAI 的 GPTBot。

這不是你設定漏了,是 GSC 的設計範圍就只到 Google 自家。

所以你在 GSC 的「檢索統計資料」裡怎麼翻都只有 Googlebot,看不到任何 AI 爬蟲,這完全正常。

用它來判斷「AI 有沒有爬我」會得到錯的結論。它本來就不是拿來看這個的工具。

要看第三方 AI 爬蟲,有兩條路。

一是看你自己主機的存取紀錄,需要一點技術,免費主機常常也不給你看。

二是借另一個免費工具的檢索資料,也就是下一節的 Bing Webmaster Tools。

非工程師走第二條就好。

為什麼是 Bing?跟 ChatGPT 有什麼關係?

先講答案。因為 ChatGPT 搜尋網路的時候,用的資料很大一部分來自微軟 Bing 的索引。

所以 AI 爬蟲這條線,Bing Webmaster Tools 看得到,Google 那邊看不到。

它是微軟版的 GSC,一樣免費。

拆開講。ChatGPT 要回答那種即時、要查資料的問題時,背後會去搜尋網路,而它的搜尋很多是靠 Bing 的結果。

你的內容有沒有進 Bing 的索引、有沒有被相關的爬蟲讀到,直接關係到 ChatGPT 有沒有機會引用你。

這條線只有 Bing 這邊有資料。

很多人只顧著顧 Google、完全沒開 Bing Webmaster,等於把「AI 從哪讀我」這面鏡子關掉了。

它免費,設定五分鐘,還能從 GSC 一鍵把資料匯過去。沒有不開的理由。

怎麼用 Bing Webmaster 看是哪個 AI 爬蟲抓你哪頁?(step-by-step)

先講答案:去 Bing Webmaster Tools 的「檢索統計資料」,就能看到 GSC 給不了你的第三方 AI 爬蟲抓了你哪些網址。照這三步做,五到十分鐘完成,全程免費、不用寫程式:

  1. Step 1 — 去 bing.com/webmasters 用你的微軟帳號登入(沒有就註冊一個,免費)。進去選「加入網站」,它會給你兩個選項。
  2. Step 2 — 選「從 Google Search Console 匯入」(Import from GSC)。授權一下,它就把你在 GSC 已經驗證過的網站、sitemap 直接搬過來,你不用重做一次驗證。這是最省事的路。
  3. Step 3 — 進到「檢索統計資料」(crawl stats / 也可能叫網站探索),看列表裡各個機器人抓了你哪些網址、抓了幾次。這裡就會出現 GSC 給不了你的第三方 AI 爬蟲紀錄,對照哪幾頁最常被 AI 讀。

第一次匯入之後,Bing 要一點時間累積檢索資料,別當天沒看到就以為失敗。

放著讓它跑幾天再回來看,趨勢比單日準。

看到 AI 爬蟲來過之後,能推出什麼?(別過度解讀)

先講一個很重要、很多人搞錯的地方。AI 爬蟲爬過你某一頁,不代表它就會在回答裡引用那一頁。

爬到只是「它讀過」,引用是「它決定拿來回答」,中間差很遠。

所以 Bing 的檢索資料只是其中一塊拼圖。

把它跟另外兩塊合起來看才有意義。

一塊是 GA4 有沒有真的跳出 AI 帶來的訪客、落在哪幾頁。另一塊是你自己開無痕視窗去問 ChatGPT,看它回答會不會引到你。

三塊交叉,才拼得出「我哪篇內容真的被 AI 吃進去、又被端出來」。

GA4 那條線我另外寫了一篇,講「看到 chatgpt.com 訪客卻看不到對方問什麼」的坑:GA4 只看到 chatgpt.com、看不到對方問什麼 prompt?

想把三塊整套串成一份可以照抄的操作流程,看這篇:GA4 倒推 ChatGPT 引用來源的 4 招完整 SOP

一句話總結

在 GSC 找不到 ClaudeBot、PerplexityBot,不是你的站沒被 AI 爬,是 GSC 只報 Google 自己的爬蟲。

要看第三方 AI 爬蟲,開免費的 Bing Webmaster Tools,從 GSC 一鍵匯入,看檢索統計。

因為 ChatGPT 的資料大半來自 Bing。

但記得,爬到不等於被引用,要配 GA4 跟反向測試一起看。

下一站我會把「反向用 ChatGPT 驗證有沒有引用你」這招單獨拆一篇,講怎麼設計問題、怎麼避開自己帳號記憶造成的假象。

GSC 看不到 ClaudeBot、PerplexityBot 等第三方 AI 爬蟲,是因為它只報 Google 自家的 Googlebot,不是你的站沒被爬。要看 AI 爬蟲抓你哪頁,改用免費的 Bing Webmaster Tools:用微軟帳號登入 → 從 Google Search Console 一鍵匯入 → 看檢索統計資料。為什麼看 Bing:ChatGPT 搜尋的資料大半來自 Bing 索引,這條線 Google 看不到。重要提醒:AI 爬到你某頁 ≠ 會引用那頁,要配合 GA4 的 AI 訪客紀錄+無痕反向問 ChatGPT 三塊交叉才準。10 分鐘讀完。

名詞解釋

GSC(Google Search Console)
Google 給網站主的免費後台:看自己網站在搜尋的曝光、點擊、排名跟索引狀態。做 SEO 的人天天開的儀表板。
ChatGPT
OpenAI 的對話式 AI。本站常拿它跟 AI 代理對比:ChatGPT 給你答案、你自己動手;AI 代理直接幫你把事做完。
GA4(Google Analytics 4)
Google 的流量分析工具:訪客從哪來、看了什麼、停多久。GSC 管「搜尋結果上的表現」,GA4 管「進站後的行為」。

全站名詞表 · 161 條 →

不想錯過 Lab 的新文章?
訂閱後有新文章上線,就寄信通知你,
點有興趣的進來看就好。

填 email 就完成訂閱(信由 Substack 代寄)、隨時取消、不轉賣 email。

如果內容對你有用就太好了
隨喜斗內

Buy Me a Coffee at ko-fi.com
NEXT CHAPTER ▸ SEO #28:CSP 擋掉 GA4/GTM?3 種被擋情境對照+5 分鐘排查 SOP

▸ 常見問題

為什麼 Google Search Console 看不到 ClaudeBot、PerplexityBot?

因為 GSC 只報 Google 自己的爬蟲(Googlebot)抓了你什麼,第三方公司的爬蟲,ClaudeBot(Anthropic)、PerplexityBot、GPTBot(OpenAI)——它一律不顯示。這是 GSC 的設計範圍,不是你設定漏了。你在 GSC「檢索統計資料」只看得到 Googlebot 完全正常,要看 AI 爬蟲得換 Bing Webmaster Tools。

要看 AI 爬蟲抓我哪頁,該用什麼工具?

免費的 Bing Webmaster Tools(微軟版的 Google Search Console)。步驟:去 bing.com/webmasters 用微軟帳號登入 → 選「從 Google Search Console 匯入」把已驗證的網站搬過來(不用重做驗證)→ 進「檢索統計資料」看各個機器人抓了你哪些網址。為什麼是 Bing:ChatGPT 搜尋的資料大半來自 Bing 索引,這條線 Google 那邊看不到。

看到 AI 爬蟲爬過我的頁,代表 ChatGPT 會引用我嗎?

不一定。爬到只代表 AI「讀過」你這一頁,引用是它「決定拿來回答」,兩件事差很遠。Bing 的檢索資料只是拼圖之一,要跟 GA4 有沒有跳出 AI 帶來的訪客、以及你自己無痕問 ChatGPT 看它會不會引到你,三塊交叉才推得出哪篇真的被 AI 引用。

ClaudeBot、PerplexityBot、GPTBot 是什麼?

都是 AI 公司派出來讀網站的程式(爬蟲):ClaudeBot 是 Anthropic(Claude)的、PerplexityBot 是 Perplexity 的、GPTBot 是 OpenAI(ChatGPT)的。它們把你的頁面讀進各自的資料庫,之後 AI 回答問題時才有機會引用你。想不想被它們讀,可以在網站根目錄一個叫 robots.txt 的設定檔(給爬蟲看的「能不能進來」告示牌)決定要不要放行。

看完這篇之前先確認:

適合你
  • 想知道 ChatGPT、Perplexity 這些 AI 有沒有在爬我的站的人
  • 在 Google Search Console 翻半天找不到 AI 爬蟲紀錄的人
  • 想用免費工具做「AI 有沒有讀我內容」追蹤的人
不適合
  • 還沒裝 Google Search Console、站也還沒什麼內容的人(先把這兩件做起來)
  • 只在意 Google 排名、不管 AI 引用的人
  • 要企業級 server log 分析、有工程團隊的人(這是個人免費版)

← 回 SEO 歷程

⚠ 本站所有內容僅供教育與研究用途,不構成投資建議,不保證任何獲利。投資有風險,使用者須自行判斷並承擔結果。
TAO 道 · Hikari Zen YouTube ↗
音樂透過 YouTube 播放
♪ TAO 道 · Hikari Zen — Japanese Zen Music(YouTube)