行業新聞與博客

英國最具創新性網絡中小企業大賽評審團將 Mindgard 評為 2024 年獲勝者。

勵展博覽集團投資組合總監 Saima Poorghobad 在歐洲信息安全博覽會期間宣佈了這一獎項。

她説，評審團對網絡安全專家表示，該人工智能安全提供商“提供了非常清晰的方案，展示了他們的獨創性、影響力和市場需求”。

她補充説，這家初創公司之所以被選中，是因為它“解決了人工智能部署中的一些最緊迫的挑戰”。

由學術研究支持的 AI 紅隊平台

Mindgard 是一家總部位於英國的初創公司，提供持續紅隊和修復 AI 漏洞的平台，以便企業安全團隊可以部署不同的 AI 用例。

儀式結束後，Mindgard 產品負責人 Nipun Gupta 在接受 Infosecurity採訪時解釋道：“我們通過安全地測試企業使用的 AI 模型來幫助企業釋放 AI 的價值。”

Mindgard 提供軟件即服務 (SaaS) 平台，幫助在工作流程中實施 AI 用例的組織針對特定對抗性攻擊測試這些不同的模型並發現特定的漏洞。

“傳統上，紅隊演習與模擬針對 IT 系統的敵對攻擊者行為有關。我們正嘗試使用 AI 模型來實現這一點，”Gupta 説道。

儘管這家初創公司在生成式人工智能席捲全球之際走出了隱身模式，但其產品負責人表示，紅隊平台的功能不僅限於生成式人工智能和大型語言模型 (LLM)。

“我們能夠理解針對所有類型神經網絡的對抗性機器學習攻擊，包括 LLM 以外的深度學習模型和 GenAI 應用程序。我們的平台可以重放攻擊，讓我們能夠突破大多數 AI 模型的黑盒效應，並根據模型易受的風險報告其安全狀況。”

Mindgard 創始機器學習工程師 Stefan Trawicki 繼續説道：“我們對機器學習基礎知識的理解意味着我們並不介意處理哪種人工智能模型。”

Mindgard 平台使用的一些紅隊方法包括模型輸入 / 輸出分析和應用程序可編程接口 (API) 分析。

Trawicki 補充道：“我們不僅可以識別出人工智能即時黑客漏洞，比如越獄，還可以識別出人工智能模型中更根本的缺陷，比如‘提取模型’和‘提取訓練數據’漏洞。”

Gupta 表示，Mindgard 平台旨在補充而非取代內部紅隊工作。“我們可以增強他們的能力，讓他們專注於其組織所依賴的 AI 模型容易受到的特定攻擊。”

從實驗室到初創企業

Mindgard 的故事可以追溯到 2018 年，當時蘭卡斯特大學計算機科學教授 Peter Garraghan 創立了一個研究對抗性機器學習的研究實驗室。

“最初，我們意識到對抗性機器學習的研究是多麼的分散。當時大多數項目都是以非常學術的方式編寫的，並不適合這個行業。我們開始將自己的工作統一到一個用户友好的平台上，在這個平台上我們可以快速測試人工智能模型，”Garraghan 學術團隊的 Trawicki 説道。

蘭卡斯特大學的研究人員隨後意識到，沒有像他們正在開發的那樣的商業產品存在，於是於 2022 年創造了 Mindgard。

該初創公司已從蘭卡斯特大學、Lakestar、IQ Capital 和 Osney Capital 籌集了 400 萬英鎊（510 萬美元）。

古普塔聲稱該公司已經擁有“一些客户”，主要是各個行業的大型企業。