微軟昨日推出兩款開源工具 Rampart 和 Clarity，協助工程師從人工智慧代理的開發初期就融入安全機制，以防範惡意攻擊並確保系統行為符合預期，微軟專家強調應重視早期安全建構。
為協助工程師與開發者在人工智慧（AI）代理的開發初期即建構安全機制，微軟（Microsoft）昨日推出兩款開源工具：Rampart 和 Clarity。此舉由微軟「數據牛仔」（data cowboy）Ram Shankar Siva Kumar 及其 AI Red Team 主導，旨在將 AI 安全提升至工程實務的層次。
其中，Rampart 是一個測試框架，它運用真實世界的網路攻擊技術，協助工程師與事故應變人員在開發過程中測試 AI 代理的安全性。這款工具特別針對「提示詞注入」（prompt injection）攻擊進行防護，此類攻擊發生在 AI 代理攝取含有惡意指令的文件、資料或電子郵件時，這些指令旨在影響其行為，例如指示代理忽略安全協議、分享敏感資料或散布不實資訊。Rampart 建構於微軟的另一個開源工具 PyRIT 之上，後者主要用於識別系統建構後的生成式 AI 風險。
另一款工具 Clarity 則扮演「試金石」的角色，協助開發團隊在進入正式開發階段前，檢查其假設與想法是否周全。Ram Shankar Siva Kumar 強調，AI 代理的時代已然來臨，如同「萊特兄弟首次飛行」般的關鍵時刻，它們將持續存在。他表示，希望能賦能工程師，讓他們從一開始就思考如何安全、穩固地建構這些代理。
Ram Shankar Siva Kumar 也指出，AI 代理的失敗不僅限於攻擊者的行動，也可能來自非攻擊性的錯誤。他認為，最終目標是確保代理的行為符合預期，而這兩款工具正能幫助開發者實現此目標。
