隨著人工智慧加速軟體開發，資安風險也隨之增加，促使業界積極開發新工具與策略。MCP Defender等AI安全工具提供實時防護，預防AI執行有害操作；微策略的語義層解決方案則大幅提升AI處理數據的準確性；Pinterest等科技巨頭也透過結合開源模型與嚴謹的治理，確保AI程式碼開發的安全與效率，呼籲AI應用應兼顧倫理與法律責任。
隨著人工智慧（AI）技術持續深入軟體開發與企業營運，資安領域也正迎來新的挑戰與防禦工具。《Williamblair.com》報導指出，生成式AI雖然將開發時程從數月縮短至數日，卻也衍生出網路威脅、法律風險與品質問題，促使企業必須建立健全的治理框架。
AI生成程式碼潛藏風險 治理框架成防線
AI在加速程式碼生成方面表現出色，但這類模型具有機率性，可能產生看似正確卻含有細微錯誤、效率不彰或資安漏洞的程式碼，這被稱為「七成問題」（70% problem），意指AI能快速完成大部分任務，但開發人員仍需投入大量精力精進成果。此外，AI生成程式碼可能過於複雜，導致過多邏輯與細節，反而拖慢部署並擴大潛在網路攻擊面。《Williamblair.com》強調，高達八成的軟體開發工作在程式碼撰寫後進行，主要著重於管理、安全與驗證。企業若缺乏完善的治理機制，將面臨程式碼品質與合規性失控的風險，監管機構也日益要求人為監督與可審計的記錄軌跡。
新興工具助AI應用實時防護與資料精準
面對AI應用帶來的潛在威脅，新興資安工具應運而生。MCP Defender是一款桌面資安工具，專為監控與保護AI應用程式（例如Cursor）而設計，可防止AI工具在用戶系統上執行潛在有害或未經授權的操作。《Trendhunter.com》指出，MCP Defender在背景運行，能偵測AI試圖進行的危險操作，並提供用戶阻擋或允許的選項，藉此強化AI系統的安全性。這類工具透過實時AI運行時保護、AI系統呼叫監控及用戶控制的權限層級，有效降低AI驅動工作流程中的資安風險。
在企業資料治理方面，語義層（Semantic Layer）的導入對於確保AI模型輸出精準度至關重要。企業軟體公司微策略便推出了語義層解決方案微策略，旨在解決「元資料不等於意義」的核心問題。該公司指出，當大型語言模型（LLM）直接處理原始資料庫（如PostgreSQL）時，複雜查詢的準確性僅約三成。然而，透過微策略的語義層，LLM的準確性可提升至百分之百，同時減少高達五成的token用量，因為語義層在AI接觸資料前，便已納入並執行業務邏輯，大幅降低AI產生錯誤回答（hallucinations）的機率。
大型平台實踐AI安全 開發與治理並重
Pinterest身為擁有超過6.2億月活躍用戶的視覺探索平台，也在AI應用上展現其安全策略。《VentureBeat》報導，Pinterest的技術長Matt Madrigal表示，該公司透過客製化開源模型（例如基於深度求索Qwen 3 VL的Navigator One），並結合自家多模態嵌入技術Pin Clip，實現比專有模型更低的成本和更高的準確性。Pinterest平衡了開發效率與安全合規性，例如為開發人員提供多個沙盒環境以管理對敏感系統（如Taste Graph）的存取，並建立快速審查流程，以利新工具的導入。他們也讓工程師能選擇不同的AI程式碼工具，但同時確保安全性與合規性，將資安融入產品開發初期。
AI倫理與責任 跨領域應用應慎重
除了技術層面的防護，AI的倫理與責任也日益受到關注。《Design World》提到，OpenAI向美國五角大廈提供AI模型用於軍事與情報應用，凸顯了工程師在運用AI工具時，仍須負起驗證其工作成果的責任。無論AI工具多麼先進，合規性與驗證仍是工程師應遵循的兩大原則。此外，AI在醫療保健領域的應用也面臨訴訟風險與治理挑戰。《JD Supra》指出，近期美國加利福尼亞北區聯邦地區法院就有一宗集體訴訟，質疑「環境AI」臨床文件工具在未經充分告知同意下，錄製並處理醫病對話，強調了在敏感資料環境中，AI工具在實施、揭露、治理與監控各層面都需謹慎處理。這些案例均突顯出，無論AI技術多麼強大，其應用皆需以嚴謹的治理、合規性與人為監督為基石，方能實現其潛在效益並降低風險。