隨著 AI 技術的普及，企業面對的 AI 風險日益複雜。如何在保障安全性與提升效率之間找到平衡，成為每個資訊安全長（CISO）必須面對的挑戰。Qualys 今日（29日）宣布，已為其 TotalAI 安全產品增添 AI 治理功能，旨在協助企業在 AI 系統的開發與實際運作環境中，全面管理潛在風險。

現象觀察：企業 AI 風險管理的需求日益迫切

根據國際資料公司（IDC）研究總監 Grace Trinidad 的看法，AI 技術的發展速度已超越現有控制措施的建構速度。她強調，資安團隊不能再將 AI 風險視為獨立項目，而是必須將其整合至持續性的曝險管理中，涵蓋從偵測、評估、運行時可見性到治理，以確保企業能安全且規模化地採用 AI。

“AI 技術的發展速度已超越現有控制措施的建築速度。” — Grace Trinidad, IDC 研究總監

原因剖析：企業面臨的主要 AI 風險

企業在採用 AI 技術時，面臨多種潛在風險。首先是「影子 AI」（Shadow AI）問題，即員工在資安團隊不知情下使用的 AI 服務，這增加了追蹤、實施控制和調查事件的難度。其次是模型異常行為，如大型語言模型（LLM）可能被惡意指令控制或脫離預設限制，導致輸出內容的安全性受到威脅。最後是向董事會與監管機構證明已落實控制措施的普遍擔憂。

影響評估：Qualys 的 TotalAI 解決方案

TotalAI 的新功能建立在 Qualys 的 Enterprise TruRisk Platform 之上，並沿用相同的 TruRisk 評分機制，與現有的漏洞、雲端資產和容器管理保持一致。該產品能識別各式 AI 部署，包括瀏覽器上的 AI 使用、雲端 AI 服務、AI 代理程式、模型以及模型上下文協議（Model Context Protocol, MCP）伺服器等，特別針對可能脫離正式審批流程的部署提供可見性。

「隨著現代企業普遍運用 AI，問題已從『我的 AI 是否安全。』轉變為『我能否向董事會和監管機構證明我的 AI 是安全的。』」 — Sumedh Thakar, Qualys 總裁暨執行長

趨勢預測：AI 安全管理的未來方向

Qualys 總裁暨執行長 Sumedh Thakar 指出，TotalAI 提供企業一個統一的平台，能持續評估、治理並確保 AI 風險安全，其即時透明度和嚴謹性正是 Qualys 一貫的特色。為了確保 AI 系統安全，TotalAI 的測試功能包含對大型語言模型（LLM）的檢查，例如提示注入（Prompt Injection）和越獄（Jailbreak）等攻擊手法，以防範模型被惡意指令控制或脫離預設限制，確保輸出內容的安全性。

此外，它還對 MCP 伺服器進行紅隊測試（模擬駭客攻擊），防範工具中毒、伺服器端請求偽造（SSRF）及地毯式拉扯攻擊等風險，所有測試均對應 OWASP LLM Top 10 和歐盟人工智能法案（EU AI Act）的規範。透過底層 eBPF 檢測技術，TotalAI 能揭示 AI 工作負載在伺服器上的運行狀況，提供傳統掃描器或日誌型方法可能遺漏的可見性。

從產業面來看，AI 安全管理已成為企業不可或缺的一環。隨著政府和監管機構對 AI 安全的要求越來越嚴格，企業需要借助如 Qualys TotalAI 這樣的平台，才能有效應對不斷變化的風險環境。

企業在採用 AI 技術時，必須考慮到全面的風險管理。通過使用 TotalAI 這樣的工具，企業不僅可以提高 AI 系統的安全性，還能在監管機構面前展示其治理能力，提升企業信譽。

本文改寫整理自公開新聞來源，原始報導由Yahoo奇摩新聞發布。

常見問題 FAQ

TotalAI 的主要功能有哪些？

TotalAI 的主要功能包括偵測、測試、監控和治理 AI 系統，特別是針對「影子 AI」問題和模型異常行為。

企業如何使用 TotalAI 管理 AI 風險？

企業可以通過 TotalAI 的統一平台，持續評估、治理並確保 AI 風險安全，其即時透明度和嚴謹性有助於企業向董事會和監管機構證明其治理能力。

TotalAI 如何防範 AI 模型被惡意控制？

TotalAI 包含對大型語言模型（LLM）的檢查，例如提示注入（Prompt Injection）和越獄（Jailbreak）等攻擊手法，確保模型不會被惡意指令控制或脫離預設限制。

※ 此篇文章由 AI 改寫或生成，內容僅供參考，可能存在錯誤或不準確之處。