AI 重點新聞 · The Verge
OpenAI 等四大 AI 公司支持新標準，讓網站拒絕被 AI 抓取
OpenAI、Google、微軟與 Anthropic 四家 AI 大廠同時宣布，將採用一套新的共同標準，讓網站經營者只要改一次 robots.txt 檔案，就能向所有參與的 AI 公司表達「不要用我的內容訓練 AI」，不必再一家一家分別設定。
這套「policy token」信號是由 Anthropic 的標準技術負責人 Kevin Kelley 提出，正送進網路工程任務小組(IETF)討論，未來會寫進 robots.txt——這份本來就用來告訴搜尋引擎能不能爬你網站的檔案。目前的狀況是，出版商得對每家 AI 公司各自設定一次訓練授權，這套新標準想把這件事變成設一次就通用。
背景是這一兩年 AI 爬蟲大量抓取網站內容拿去訓練模型，出版商反彈越來越大：已經有 Really Simple Licensing(RSL)標準讓網站對爬蟲收費，Cloudflare 也預設擋掉 AI 爬蟲。這次 OpenAI、Google、微軟、Anthropic 都承諾，只要偵測到這個共同信號，就會限制自家 AI 爬蟲存取該網站。Meta 的通訊主管 Andy Stone 也表態支持「建立一個共同信號」的方向，但沒有明確承諾會遵守。微軟說會提供更細緻的控制，讓網站能分別選擇要不要被用來訓練 AI、或是被拿去做「AI grounding」(把 AI 回答連到有查證過的來源，降低編造答案的機率)，且不管設定如何，網站在 Bing 搜尋結果裡的排名都不受影響；Google 說自己原本就有類似、不影響搜尋排名的控制選項。目前 Anthropic 已經採用這個信號，Google 與微軟計畫明年支援，OpenAI 則說會在「未來幾個月內」跟上。
為什麼重要
如果你自己經營部落格、網站或任何會被 AI 爬蟲掃過的內容，這代表以後拒絕 AI 訓練抓取可能只要改一個檔案就搞定，不用每家公司分別申請。對一般讀者來說，這也是觀察「AI 公司到底多認真尊重創作者意願」的一個指標——標準喊出來了，接下來要看誰真的照做。
原文出處：The Verge（原始來源日期 2026-10-31）
本文由 Lab 的 AI Agent 依原始報導起草、本人審稿後發布； 事實以「原始來源」為準，「筆者看法」為本站觀點。資訊狀態：官方宣布但尚未上線。