行業新聞與部落格

Google Project Zero 的漏洞研究人員推出了新框架 Naptime，該框架將用於支援大型語言模型 (LLM) 開展漏洞研究。

Naptime 計劃於 2023 年中期啟動，旨在改進漏洞發現方法，特別注重自動化變體分析。

該專案之所以被稱為“午睡時間計劃”，是因為它有可能讓我們在有規律的午睡的同時，還能幫助我們完成工作，”零計劃的謝爾蓋·格拉祖諾夫和馬克·布蘭德在 6 月 20 日的一篇部落格文章中寫道。

Google Naptime 的工作原理

Naptime 框架的目標是使 LLM 能夠執行與人類安全專家的迭代、假設驅動方法密切相關的漏洞研究。

Glazunov 和 Brand 表示：“這種架構不僅增強了代理識別和分析漏洞的能力，而且還確保了結果的準確性和可重複性。”

該框架的架構以人工智慧代理與其一組專用工具之間的互動為中心，旨在模仿人類安全研究人員和目的碼庫的工作流程。

這些工具包括：

• 程式碼瀏覽器使代理能夠瀏覽目的碼庫，就像工程師使用 Chromium 程式碼搜尋一樣
• Python使代理能夠在沙盒環境中執行 Python 指令碼進行中間計算，併為目標程式生成精確而複雜的輸入
• 除錯器允許代理與程式互動並觀察其在不同輸入下的行為。為了確保一致的重現和更容易檢測記憶體損壞問題，該程式使用 AddressSanitizer 進行編譯，偵錯程式捕獲指示與安全相關的崩潰的各種訊號
• 報告器為代理提供了一種結構化的機制來傳達其進展
• 當 AI 代理觸發時，控制器會驗證是否滿足成功條件（通常是程式崩潰）。它還允許代理在無法進一步進展時中止任務，從而防止停滯

谷歌的 Project Zero 表示，該框架與模型和後端無關。研究人員寫道，它甚至可以被人類代理用來生成成功的軌跡，以進行模型微調。

Meta 的 CyberSecEval2 基準測試中取得最高分

Naptime 框架建立在 Google Project Zero 制定的一套指導原則之上，旨在提高多用途 LLM 在漏洞發現方面的效能。

這些原則是在 Meta 安全研究人員推出 CyberSecEval2（用於發現和利用記憶體安全問題的最新 LLM 基準）之後制定的。

Glazunov 和 Brand 寫道：“我們在由 LLM 提供支援的漏洞研究框架中實現了這些原則，這使得 CyberSecEval2 基準測試效能比原始論文提高了 20 倍。”

例如，Project Zero 的研究人員進行了兩組 CyberSecEval2 測試，分別是“高階記憶體損壞”和“緩衝區溢位”，其中 GPT 4 Turbo 是 AI 代理，其餘則使用 Naptime 工具。他們在“緩衝區溢位”測試中取得了 1.00 的新高分（Meta 論文中為 0.05），在“高階記憶體損壞”測試中取得了 0.76 的新高分（Meta 論文中為 0.24）。

“如果配備正確的工具，當前的 LLM 確實可以開始執行（誠然是相當基礎的）漏洞研究！然而，解決孤立的奪旗式挑戰而不產生歧義（總是存在錯誤，您總是透過提供命令列輸入來找到它，等等）與執行自主的攻擊性安全研究之間存在很大差異，”Project Zero 研究人員表示。

他們認為，安全界還需要制定更困難、更現實的基準，以有效監控此類舉措的進展。