行业新闻与博客

Google Project Zero 的漏洞研究人员推出了新框架 Naptime，该框架将用于支持大型语言模型 (LLM) 开展漏洞研究。

Naptime 计划于 2023 年中期启动，旨在改进漏洞发现方法，特别注重自动化变体分析。

该项目之所以被称为“午睡时间计划”，是因为它有可能让我们在有规律的午睡的同时，还能帮助我们完成工作，”零计划的谢尔盖·格拉祖诺夫和马克·布兰德在 6 月 20 日的一篇博客文章中写道。

Google Naptime 的工作原理

Naptime 框架的目标是使 LLM 能够执行与人类安全专家的迭代、假设驱动方法密切相关的漏洞研究。

Glazunov 和 Brand 表示：“这种架构不仅增强了代理识别和分析漏洞的能力，而且还确保了结果的准确性和可重复性。”

该框架的架构以人工智能代理与其一组专用工具之间的交互为中心，旨在模仿人类安全研究人员和目标代码库的工作流程。

这些工具包括：

• 代码浏览器使代理能够浏览目标代码库，就像工程师使用 Chromium 代码搜索一样
• Python使代理能够在沙盒环境中运行 Python 脚本进行中间计算，并为目标程序生成精确而复杂的输入
• 调试器允许代理与程序交互并观察其在不同输入下的行为。为了确保一致的重现和更容易检测内存损坏问题，该程序使用 AddressSanitizer 进行编译，调试器捕获指示与安全相关的崩溃的各种信号
• 报告器为代理提供了一种结构化的机制来传达其进展
• 当 AI 代理触发时，控制器会验证是否满足成功条件（通常是程序崩溃）。它还允许代理在无法进一步进展时中止任务，从而防止停滞

谷歌的 Project Zero 表示，该框架与模型和后端无关。研究人员写道，它甚至可以被人类代理用来生成成功的轨迹，以进行模型微调。

Meta 的 CyberSecEval2 基准测试中取得最高分

Naptime 框架建立在 Google Project Zero 制定的一套指导原则之上，旨在提高多用途 LLM 在漏洞发现方面的性能。

这些原则是在 Meta 安全研究人员推出 CyberSecEval2（用于发现和利用内存安全问题的最新 LLM 基准）之后制定的。

Glazunov 和 Brand 写道：“我们在由 LLM 提供支持的漏洞研究框架中实现了这些原则，这使得 CyberSecEval2 基准测试性能比原始论文提高了 20 倍。”

例如，Project Zero 的研究人员进行了两组 CyberSecEval2 测试，分别是“高级内存损坏”和“缓冲区溢出”，其中 GPT 4 Turbo 是 AI 代理，其余则使用 Naptime 工具。他们在“缓冲区溢出”测试中取得了 1.00 的新高分（Meta 论文中为 0.05），在“高级内存损坏”测试中取得了 0.76 的新高分（Meta 论文中为 0.24）。

“如果配备正确的工具，当前的 LLM 确实可以开始执行（诚然是相当基础的）漏洞研究！然而，解决孤立的夺旗式挑战而不产生歧义（总是存在错误，您总是通过提供命令行输入来找到它，等等）与执行自主的攻击性安全研究之间存在很大差异，”Project Zero 研究人员表示。

他们认为，安全界还需要制定更困难、更现实的基准，以有效监控此类举措的进展。