行業新聞與博客

最近，我們觀察到生成式 AI 抓取機器人活動激增，對網絡環境產生了影響。新數據表明，這些“灰色機器人”越來越多地針對 Web 應用程序。

Barracuda 的最新報告 《生成式人工智能機器人活動趨勢》強調，積極收集在線數據的人工智能機器人日益增多。

灰色機器人的崛起

2024 年 12 月至 2025 年 2 月期間，網絡應用程序收到了來自生成式 AI 機器人（例如 ClaudeBot 和 TikTok 的 Bytespider）的數百萬條請求。

在短短 30 天內，一個被跟蹤的 Web 應用程序記錄了 970 萬個機器人請求，而另一個 Web 應用程序在一天內就面臨超過 50 萬個機器人請求。進一步分析發現，一個 Web 應用程序在 24 小時內每小時會遇到 17,000 個機器人請求。

與突發性運行的傳統機器人不同，這些生成式 AI 抓取機器人保持穩定的流量水平。這種意外模式給 Web 應用程序帶來了巨大挑戰，使得預測和減輕其影響變得更加困難。

灰色機器人雖然不具有明顯的惡意，但卻具有極大的破壞性。

他們積極的抓取行為可以：

• 導致 Web 應用程序流量過大，中斷正常運行
• 未經授權提取和使用受版權保護的數據
• 扭曲網站分析，影響商業決策
• 由於 CPU 和帶寬使用率較高，增加了雲託管成本
• 增加處理敏感數據的行業（如醫療保健和金融）的合規風險

2025 年初檢測到的兩個最豐富的生成式 AI 抓取機器人是 ClaudeBot 和 Bytespider。

ClaudeBot 由 Anthropic 運營，收集數據來訓練其生成式 AI 模型 Claude。儘管 Claude 的抓取行為十分激進，但 Anthropic 還是提供了有關如何阻止其活動的信息。

TikTok 的 AI 抓取機器人 Bytespider 會收集數據以改進其推薦算法和廣告功能。報告顯示，Bytespider 的運作缺乏透明度，這使得網絡應用程序難以管理其影響。

檢測到的其他值得注意的機器人包括 PerplexityBot 和 DeepSeekBot。

保護策略

隨着灰色機器人成為在線流量中持續存在的一部分，組織必須採取主動措施來管理其影響。一種常見的方法是部署 robots.txt，這是一種向抓取工具發出信號以避免收集網站數據的工具。然而，這種方法在法律上不可行，許多機器人都會忽略它。

為了更有效的保護，公司正在轉向人工智能機器人防禦系統，利用機器學習來實時檢測和阻止爬蟲機器人活動。

隨着有關人工智能抓取機器人的倫理、法律和商業影響的爭論持續進行，組織必須優先考慮安全性以保護其數據和運營。