什麼是 AI 安全勢態管理 (AI-SPM)？
AI 安全态势管理 (AI-SPM) 是维护 人工智能 ( AI) 和 机器学习 (ML) 系统安全性和完整性的全面的方法。這包括不斷地監控、評估和改善 AI 模型、資料和基礎架構的安全勢態。AI-SPM 包括識別和處理與採用 AI 相關的弱點、設定錯誤和潛在風險，以及確保符合相關的隱私權和安全性合規性。
透過實作 AI-SPM，組織可主動保護其 AI 系統免受威脅、將資料曝露程度降至最低，並維持其 AI 應用程式的可信度。
AI-SPM 解釋
AI 安全勢態管理 (AI-SPM) 是網路安全景觀的重要組成部分，其中人工智慧 (AI) 扮演舉足輕重的角色。AI 系統包含機器學習模型、 大型語言模型 (LLM)以及自動決策系統，這些系統具有獨特的弱點和攻擊面。AI-SPM 透過提供機制，讓技術生態系統中與 AI 元件相關的風險能被察覺、評估及減輕，來解決這些問題。
能見度與發現
缺乏人工智能清單可能會導致影子人工智能模型、合規性違規，以及透過人工智能驅動的應用程式造成資料外洩。AI-SPM 可讓組織發現並維護在雲端環境中使用的所有 AI 模型清單，以及訓練、微調或接地這些模型時所涉及的相關雲端資源、資料來源和資料管道。
資料治理
以 AI 為重點的法律規定，必須嚴格控制 AI 的使用以及饋送至 AI 應用程式的客戶資料，這就需要比目前大多數組織所實行的更強大的 AI 治理 。AI-SPM 會檢查用於訓練和建立 AI 模型的資料來源，以辨識和分類可能會透過受污染模型的輸出、日誌或互動而暴露的敏感性或受監管資料 (例如客戶的 個人識別資訊 (PII)) 。
風險管理
AI-SPM 可讓組織識別 AI 供應鏈中可能導致 資料外洩 或未經授權存取 AI 模型和資源的漏洞和設定錯誤。該技術映射出完整的 AI 供應鏈 - 源資料、參考資料、庫、API 以及為每個模型提供動力的資料管道。然後分析此供應鏈，找出不當的 加密、登錄、驗證或授權設定。
執行時監控與偵測
AI-SPM 會不斷地監控使用者互動、提示以及對 AI 模型 (例如大型語言模型) 的輸入，以偵測濫用、提示超載、未經授權的存取嘗試或涉及模型的異常活動。它會掃描 AI 模型的輸出和日誌，以辨識 敏感資料 暴露的潛在情況。
風險緩解與回應
當偵測到資料或 AI 基礎架構周圍發生高優先順序的安全事件或違反政策時，AI-SPM 可實現快速回應工作流程。它提供了對環境和利害關係人的可見性，以便對已識別的風險或設定錯誤進行修復。
治理與合規性
隨著圍繞 AI 使用和客戶資料的法規日益增加，例如 GDPR 和 NIST 的 人工智慧風險管理架構，AI-SPM 可協助組織強制執行政策、維護稽核追蹤 - 包括模型脈絡、核准和風險接受標準的可追蹤性 - 並透過映射可存取敏感資料或 AI 模型的人類和機器身分，達到合規性。
AI-SPM 為何重要？
在企業和關鍵基礎設施中部署 AI 系統，會帶來更大的攻擊面，而傳統的安全措施並沒有能力保護這些攻擊面。除了 AI 驅動的應用程式需要組織儲存和保留更多資料（同時實作新的資料管道和基礎架構）之外，AI 攻擊向量也針對 AI 演算法的獨特特性，並包含一類獨特的威脅。
其中一個攻擊向量就是資料中毒，惡意的行為者會將精心製作的樣本注入訓練資料中，導致 AI 模型學習到有偏見或惡意的模式。另一方面，逆向攻擊會對輸入資料造成微妙的干擾，誤導 AI 系統做出錯誤的預測或決策，可能造成嚴重性的後果。
模型擷取 (Model extraction) - 攻擊者試圖透過未經授權的存取或探測模型輸出以重建其內部參數的方式，竊取組織的專屬模型 - 也是令人擔心的問題。此類攻擊可能會導致智慧財產被盜用，並可能將被盜用的模型濫用於惡意目的。
AI-SPM 是採用 AI 的安全回應。AI-SPM 可為組織提供工具，以預測並應對特定於 AI 的弱點和攻擊，從而支援主動的安全態勢，讓組織有能力管理 AI 管道中的風險。從最初的設計階段到部署和操作使用，AI-SPM 可確保 AI 安全性 成為 AI 開發生命週期中不可或缺的一部分。
AI-SPM 與 CSPM 有何不同？
雲端安全勢態管理 (CSPM) 與 AI-SPM 相輔相成，但分別專注於管理不同領域的安全勢態 - 雲端基礎架構和 AI/ML 系統。
CSPM 的重點在於評估和降低 AWS、Azure 和 GCP 等公共雲端環境的風險。其主要目標是確保雲端資源依據安全最佳實務進行適當設定、偵測會產生漏洞的設定錯誤，以及強制執行合規性監管政策。
CSPM 的核心功能包括
- 不斷地發現和清查所有雲端資產（運算、儲存、網路等）
- 根據基準評估安全群組規則、IAM 政策、加密設定
- 監控引發新風險的組態變更
- 自動修復不安全的配置
相較之下，AI 安全勢態管理則著重於 AI 和 ML 系統在整個生命週期中獨特的安全考量 - 資料、模型訓練、部署和作業。AI-SPM 整合了針對訓練資料、模型和筆記型電腦等 AI 資產量身打造的專門安全控制。它維護一個知識庫，將 AI 威脅對應到適用的對策。
為了降低資料風險，AI-SPM 加入了資料中毒與污染的偵測與預防功能，可識別並中和訓練資料的有害改變。它也利用差異化隱私技術，讓組織在不暴露敏感資訊的情況下安全地分享資料。
為了確保模型供應鏈的安全，AI-SPM 依賴嚴格的版本控制和來源追蹤來管理模型迭代和歷史。此外，還有加密和 存取控制 以保護模型的機密性，以及專門設計來挫敗模型擷取和成員推論攻擊的測試。
保護即時 AI 和 ML 系統包括監控敵意輸入擾動 - 透過扭曲輸入欺騙 AI 模型的行為。運行時模型強化 (Runtime Model Hardening) 是用來增強 AI 系統對這些攻擊的應變能力。
AI-SPM 整合了針對 AI 資產 (如訓練資料、模型、筆記本) 量身打造的專門安全控制，以及針對逆向攻擊、模型竊取等風險的 AI 特定威脅模型。它會維護一個知識庫，將 AI 威脅對應到適用的對策。
CSPM 著重於雲端基礎架構的安全勢態，而 AI-SPM 則管理可能部署在雲端或內部的 AI/ML 系統的安全勢態。隨著人工智能在雲端堆疊中的嵌入，這兩個學科需要同步進行全面的 風險管理。
例如，CSPM 可確保託管 AI 工作負載的雲端資源具有正確的配置，而 AI-SPM 則可驗證部署的模型和資料管道是否具有足夠的安全性加固。它們可共同提供全堆疊式 AI 安全勢態的可視性與風險減緩。
AI-SPM Vs.DSPM
資料安全與隱私權管理 (DSPM) 和 AI-SPM 是更廣泛的安全與隱私權管理領域中不同但互補的領域。DSPM 著重於保護資料在靜止、傳輸和處理過程中的安全，確保資料的機密性、完整性和可用性。DSPM 的主要方面包括加密、存取控制、 資料分類和。
AI 安全态势管理涉及确保 AI 模型、算法和系统的安全。它解決了 AI 技術所帶來的獨特挑戰，例如惡意攻擊、資料中毒、模型竊取和偏見。AI-SPM 包含安全模型訓練、保護隱私的 AI 技術、防禦攻擊和可解釋性。
雖然 DSPM 和 AI-SPM 針對安全性和 資料隱私權的不同層面，但它們共同發揮作用，創造出全面的安全性策略。DSPM 提供資料保護的基礎，而 AI-SPM 則可確保安全且負責任地使用處理和分析資料的 AI 技術。整合這兩個領域可讓組織同時保護其資料資產與 AI 系統，將風險降至最低，並確 保資料合規性符合 相關法規。
MLSecOps 內的 AI-SPM
AI 安全勢態管理是機器學習安全作業 (MLSecOps) 的基石，是用來保護 ML 生命週期安全的實務與工具。MLSecOps 涵蓋了從保護用於訓練模型的資料，到監控已部署模型的漏洞等各方面，目標是確保 ML 系統在整個開發和運作過程中的完整性、可靠性和公平性。
在 MLSecOps 中，AI-SPM 著重於 AI 系統的特定安全需求，相較於傳統 ML，AI 系統通常涉及更複雜的模型與功能。這種複雜性帶來了獨特的安全挑戰，AI-SPM 可解決這些挑戰 - 資料安全、模型安全、模型監控和合規性。在 MLSecOps 中，AI-SPM 的優點是無庸置疑的：
- 加強安全勢態：透過主動處理特定於 AI 的安全風險，AI-SPM 可強化組織的 ML 管道和部署模型的整體安全態勢。
- 提高對人工智能的信任：AI 安全性可培養對 AI 系統的信任，使其更可靠、更容易整合到業務流程中。
- 更快、更安全的創新：AI-SPM 促成 AI 開發的安全環境，讓組織能自信地進行 AI 技術創新。
AI-SPM 常見問題
接地和訓練是開發人工智慧模型的兩個截然不同的層面，儘管兩者都有助於這些系統的功能和效能。
Grounding 涉及將人工智能的操作（例如語言理解或決策過程）與真實世界的情境和資料相連結。這是關於確保人工智能模型的輸出在實際環境中是適用和有意義的。例如，建立語言模型的基礎包括教它將詞彙與對應的真實世界物件、行動或概念相連結。這在影像識別等任務中發揮作用，在這些任務中，模型必須將影像中的像素與具有實體對應物的可識別標籤相聯繫。
訓練是指透過餵給 AI 模型資料，教它做出預測或決策的過程。在訓練過程中，模型會學習辨識模式、建立關聯，並隨著時間的推移而基本上改善其準確性。這會隨著各種演算法調整模型的內部參數而發生，通常是透過將其暴露於已知輸入和所需輸出 (標籤) 的大型資料集。此過程會增強模型從訓練資料泛化到新的、未見過的情況的能力。
接地和訓練的主要差異在於它們的重點和應用：
- 接地 是要確保與現實世界的相關性和實用性，在抽象的人工智慧計算和實際的真實世界應用之間架起一座橋樑。
- 訓練 涉及優化模型效能的技術方法，主要著重於定義任務內的精確度和效率。
可視性與控制是 AI 安全勢態管理的重要組成部分。為了有效管理 AI 和 ML 系統的安全勢態，組織需要清楚瞭解其 AI 模型、這些模型所使用的資料，以及相關的基礎架構。這包括對 AI 供應鏈、資料管道和雲端環境的可視性。
有了可視性，組織就能識別潛在的風險、設定錯誤和合規性問題。控制可讓組織採取矯正行動，例如實作安全性政策、修復弱點，以及管理 AI 資源的 存取。
AI 物料清單 (AIBOM) 是一份主庫存，可擷取建立與操作 AI 系統或模型的所有元件與資料來源。AIBOM 提供管理 AI 生命週期所急需的端對端透明度，並開啟下列資訊的可視性：
- 用於建立 AI 模型的訓練資料
- 利用任何預先訓練的模型或資料庫
- 用於基礎或知識檢索的外部資料來源
- 所使用的演算法、架構和基礎架構
- 與模型整合的 API 和資料管道
- 可存取模型的人/服務的身分資訊
將 AIBOM 想像成 軟體物料清單 (SBOM) ，但著重於映射構成 AI 系統的建構區塊，包括資料與作業。
就 AI 安全性而言，可解釋性指的是理解並解釋 AI/ML 模型的推理、決策過程與行為的能力，尤其是在識別潛在安全風險或弱點時。可解釋性的關 鍵方面包括
- 能夠解釋 AI 模型如何根據輸入資料得出輸出或決策。這有助於分析模型的行為是否符合預期，或是否有任何異常現象顯示安全問題。
- 對 AI 模型的內部運作、參數和邏輯擁有可視性，而不是將其視為黑盒子。這種透明度有助於審核模型的潛在弱點或偏差。
- 追蹤資料來源、演算法以及開發和操作 AI 模型所涉及的流程的能力。這賦予了整個 AI 供應鏈的可解釋性。
- 驗證和解釋 AI 模型在不同條件、邊緣情況或敵對輸入下的行為，以揭露安全弱點的技術。
- 越來越多的人工智慧法規要求可解釋性作為問責措施的一部分，以瞭解模型的行為是否合乎道德、公平且無偏見。
可說明性對於監控 AI 模型的異常、偏移和執行階段安全性、調查 AI 相關事件的根本原因，以及在部署前針對安全性政策驗證 AI 模型，都是不可或缺的。
筆記本指的是互動式編碼環境，例如 Jupyter Notebooks 或 Google Colab Notebooks。它們可讓資料科學家和 ML 工程師在單一文件中撰寫和執行程式碼，以進行資料探索、模型訓練、測試和實驗，並結合即時程式碼、可視化、敘述文字和豐富的輸出。筆記本透過其包含的程式碼，定義資料管道、預處理步驟、模型架構、超參數等，促進迭代與協同的模型開發流程。
從 AI 安全性的角度來看，筆記型電腦是需要治理的重要資產，因為：
- 它們通常包含或存取敏感的訓練資料集。
- 模型代碼和參數代表機密智慧財產權。
- 筆記型電腦可針對敵對樣本或攻擊測試模型。
- 共用筆記型電腦有可能洩漏私人資料或機型詳細資訊。
AI 供應鏈是指開發、部署和維護 AI 模型的端到端流程 - 包括資料收集、模型訓練和整合到應用程式中。除了所涉及的各個階段之外，AI 供應鏈還包含資料來源、資料管道、模型庫、API 和雲端基礎架構。
管理 AI 供應鏈對於確保 AI 模型的安全性和完整性，以及保護敏感資料不被暴露或濫用是非常重要的。
AI 攻擊向量是指威脅行為者利用 AI 和 ML 系統的弱點，危害其安全性或功能的各種方式。一些常見的 AI 攻擊媒介包括
- 資料中毒：操縱訓練資料，在 AI 模型中引入偏差或錯誤，使其產生不正確或惡意的輸出。
- 模型反轉：使用 AI 模型的輸出推斷訓練資料的敏感資訊或逆向工程模型。
- 對抗的範例：巧妙地改變輸入資料，使人工智慧模型產生錯誤或有害的輸出，但在人類可觀測性的眼中卻看似正常。
- 模型失竊：竊取 AI 模型或其參數，以建立複製品供未授權使用或識別潛在漏洞。
- 基礎設施攻擊：利用支援人工智能系統的雲端環境或資料管道中的漏洞，以獲得未經授權的存取、擾亂作業或外洩資料。
