行业新闻与博客

英国最具创新性网络中小企业大赛评审团将 Mindgard 评为 2024 年获胜者。

励展博览集团投资组合总监 Saima Poorghobad 在欧洲信息安全博览会期间宣布了这一奖项。

她说，评审团对网络安全专家表示，该人工智能安全提供商“提供了非常清晰的方案，展示了他们的独创性、影响力和市场需求”。

她补充说，这家初创公司之所以被选中，是因为它“解决了人工智能部署中的一些最紧迫的挑战”。

由学术研究支持的 AI 红队平台

Mindgard 是一家总部位于英国的初创公司，提供持续红队和修复 AI 漏洞的平台，以便企业安全团队可以部署不同的 AI 用例。

仪式结束后，Mindgard 产品负责人 Nipun Gupta 在接受 Infosecurity采访时解释道：“我们通过安全地测试企业使用的 AI 模型来帮助企业释放 AI 的价值。”

Mindgard 提供软件即服务 (SaaS) 平台，帮助在工作流程中实施 AI 用例的组织针对特定对抗性攻击测试这些不同的模型并发现特定的漏洞。

“传统上，红队演习与模拟针对 IT 系统的敌对攻击者行为有关。我们正尝试使用 AI 模型来实现这一点，”Gupta 说道。

尽管这家初创公司在生成式人工智能席卷全球之际走出了隐身模式，但其产品负责人表示，红队平台的功能不仅限于生成式人工智能和大型语言模型 (LLM)。

“我们能够理解针对所有类型神经网络的对抗性机器学习攻击，包括 LLM 以外的深度学习模型和 GenAI 应用程序。我们的平台可以重放攻击，让我们能够突破大多数 AI 模型的黑盒效应，并根据模型易受的风险报告其安全状况。”

Mindgard 创始机器学习工程师 Stefan Trawicki 继续说道：“我们对机器学习基础知识的理解意味着我们并不介意处理哪种人工智能模型。”

Mindgard 平台使用的一些红队方法包括模型输入 / 输出分析和应用程序可编程接口 (API) 分析。

Trawicki 补充道：“我们不仅可以识别出人工智能即时黑客漏洞，比如越狱，还可以识别出人工智能模型中更根本的缺陷，比如‘提取模型’和‘提取训练数据’漏洞。”

Gupta 表示，Mindgard 平台旨在补充而非取代内部红队工作。“我们可以增强他们的能力，让他们专注于其组织所依赖的 AI 模型容易受到的特定攻击。”

从实验室到初创企业

Mindgard 的故事可以追溯到 2018 年，当时兰卡斯特大学计算机科学教授 Peter Garraghan 创立了一个研究对抗性机器学习的研究实验室。

“最初，我们意识到对抗性机器学习的研究是多么的分散。当时大多数项目都是以非常学术的方式编写的，并不适合这个行业。我们开始将自己的工作统一到一个用户友好的平台上，在这个平台上我们可以快速测试人工智能模型，”Garraghan 学术团队的 Trawicki 说道。

兰卡斯特大学的研究人员随后意识到，没有像他们正在开发的那样的商业产品存在，于是于 2022 年创造了 Mindgard。

该初创公司已从兰卡斯特大学、Lakestar、IQ Capital 和 Osney Capital 筹集了 400 万英镑（510 万美元）。

古普塔声称该公司已经拥有“一些客户”，主要是各个行业的大型企业。