商傳媒｜何映辰／台北報導
全球軟體巨擘微軟（Microsoft）於週三釋出兩款全新的 AI 紅隊測試工具——Rampart 和 Clarity。這兩款代理旨在協助開發者建構更安全的代理軟體（agentic software），並在資安事件發生時，支援應變人員進行處置，以提升企業的網路安全防禦能力。
根據《CyberScoop》報導，Rampart 的開發基礎來自 PyRIT，這是一個用於生成式人工智慧（generative AI）系統的開放自動化紅隊測試框架。PyRIT 負責掃描現有系統，而 Rampart 則在軟體開發過程中持續測試程式碼的漏洞。它將惡意攻擊情境與良性測試情境編碼進軟體開發流程，以便在早期階段標記出錯誤和依賴關係。
Rampart 特別專注於跨提示注入攻擊（cross-prompt injection attacks），此類攻擊中，AI 代理會處理來自資料來源的潛在惡意內容，進而間接操縱其行為。不同於傳統單次驗證的工具，Rampart 透過多輪測試來確認修復或漏洞利用的有效性。微軟內部應用 Rampart 後，已能將過去耗費一週的人工作業（如重現漏洞、識別變體、修補與重新測試）縮短至數小時內完成，大幅加速了事件回應流程。
另一款工具 Clarity 則能作為桌面應用程式、網頁介面運行，或嵌入至程式碼代理中，提供即時的安全工程指導。Clarity 能夠對與程式碼相關的商業目標進行分類和追蹤，突顯潛在的下游安全隱患，並建議更安全的替代方案。微軟 AI 紅隊的創始人 Ram Shankar Siva Kumar 指出，當前許多關於 AI 安全的討論仍停留在哲學層面，但他認為現在已是將 AI 安全視為一門工程學科，並將安全機制融入開發者工作流程的時機。
Ram Shankar 於 2019 年創立微軟的 AI 紅隊。他強調，面對 AI 技術的飛速發展，將基礎的 AI 導向安全流程融入軟體開發管線至關重要。Clarity 的設計理念便是從源頭提問：「你真的應該這麼做嗎？」引導開發者在設計初期就考慮潛在的安全風險及其後果。微軟內部已經觀察到 Rampart 和 Clarity 帶來的顯著安全效益，其未來的發展也將依賴微軟生態系以外開發者的貢獻。