Cloudflare 推出免費工具，一鍵封鎖 AI 爬蟲

自生成式 AI 工具爆發性成長以來，創作者與 AI 生成作品之間的版權之爭便不斷發生。許多創作者擔心，自己的作品會不會隨時就被 AI 機器人爬走，而現在或許有潛在的解決方案。

知名雲端服務與資安平台 Cloudflare 最近宣布，已推出一款新的免費工具，宣稱用戶只要在安全頁面中打開 Bot Fight Mode，就能防止其託管網站的資料被拿去訓練 AI 模型。

圖源：Cloudflare Cloudflare 推出免費工具，一鍵防止 AI 爬蟲

Cloudflare 如何監測 AI 機器人爬蟲？

目前，Google、OpenAI 與 Apple 公司等有提供AI服務的廠商，都允許網站所有者修改 robots.txt，來阻止他們機器人抓取資料，然而，Cloudflare 的最新報告指出，並非所有的網站都能成功阻止 AI 爬蟲工具抓取數據。

例如，排名第一的 AI 爬蟲機器人是 Bytespider（由中國字節跳動公司開發），在抓取網站數據與被拒絕爬蟲的頻率都很高，再來是由 OpenAI 管理的 GPTBot，專為其產品 ChatGPT 抓取數據。

Cloudflare 指出，網站所有者雖然能修改 robot.txt，禁止 GPTBot、CCBot 和 Google 的機器人，但很多人可能並不知道 Bytespider、ClaudeBot 等不熟悉的機器人，因此就沒有把他們設成黑名單。

為了解決這個問題，Cloudflare 分析了 AI 機器人與爬蟲流量，以微調他們的自動機器人偵測模型。除了其他因素之外，Cloudflare 的模型還會監測 AI 機器人是否會透過模仿使用真實人類的行為，以逃避檢測。

媒體業、創作者正在反擊 AI 爬蟲

2023 年 9 月的研究指出，全球流量前 100 名的網站中，有約 26% 封鎖了 GPTBot，而另一項研究則指出，已有超過 600 家新聞媒體也封鎖了該機器人，代表網站所有者與內容產製者正在防止 AI 爬蟲，導致作品被任意使用。

一些創作者、媒體採取了更直接的行動，那就是直接提吿 AI 公司。外媒《Axios》爆料，根據他們看到的信件副本資訊，《富比士》似乎直接寄信警告AI搜尋公司 Perplexity 的執行長，警告其竊取文字與圖像，故意侵犯版權。

美國唱片工業協會近日也宣布，已對音樂生成式 AI 工具 Udio 與 Suno 提起訴訟，指控他們大規模侵犯擁有智慧財產權的作品。