新冠肺炎 (COVID-19) 疫情之後，網路安全威脅進入了一個大規模增長和不確定性的時代。組織正在集體轉向數位解決方案，而試圖了解全球情勢的網民卻越來越多地接觸到網路上的錯誤訊息。對於對手來說，它創造了一個理想的利用環境——我們將以一種新的方式再次面對這個環境，這次是以人工智慧 (AI) 為核心。
隨著ChatGPT 等基於大型語言模型 (LLM)的工具越來越受歡迎，組織正在採用更複雜的技術堆疊，並以與以前不同的方式使用軟體。法學碩士接受了海量資料集的訓練，可以對提示提供類似人類的文字回應，正在徹底改變業務效率和策略。然而，它們也使組織面臨額外的安全風險，其中許多風險仍在被研究人員了解。
採用負責任的人工智慧的組織需要透過跟上不斷發展的法學碩士安全實踐和技術來優先考慮網路安全。
了解 LLM 漏洞並保護您的模型
儘管法學碩士很有用，但濫用它們也可能會產生攻擊向量——一條可被利用進入網路或系統的路徑。在技術堆疊中添加任何新工具都可能成為攻擊媒介，但法學碩士由於其複雜性可能會產生新的安全風險，因此需要更新安全解決方案。
例如，法學碩士在培訓期間使用大量數據。雖然這使模型能夠為廣泛的應用程式提供有用的回應，但也使它們容易被濫用。對手可以促使法學碩士公開專有資訊或產生受敏感資料影響的輸出。
許多組織透過應用程式介面 (API) 將 OpenAI 和 Google 等提供者的第三方法學碩士整合到他們的系統中，這可以為對手添加入口點並增加安全風險。如果提供者缺乏針對這些功能的內建安全性，那麼保護自訂也可能會很複雜且佔用大量資源。
我們距離信任法學碩士指導關鍵系統和基 礎設施還很遠，但潛力是存在的。在這些情況下，模型失敗可能會產生嚴重後果。即使像攻擊者操縱行銷電子郵件產生器的輸出這樣簡單的事情也可能會嚴重影響公司的聲譽和利害關係人的信任。
雖然企業法學碩士用例現在很常見，但它是一項相對 印度尼西亞電話號碼數據 較新的技術。開發人員和研究人員仍在探索有關 LLM 漏洞和安全要求的未知領域。同時，攻擊者正在開發針對 LLM 的技術，有時會使用 LLM 作為攻擊工具。
常見的 LLM 安全漏洞
作為網路安全領域的權威機構，開放全球應用程式安全計畫 (OWASP)發布了與法學碩士相關的十大安全挑戰清單。一些值得注意的風險包括：
- 提示注入是操縱 LLM 產生非法、有害或暴露模型訓練資料中的私人資訊的回應的過程。這通常是透過使用具有逆向心理學或對抗性後綴的巧妙查詢來繞過模型的保護措施來完成的。雖然引發攻擊引起了人們對法學碩士和虛假資訊的擔憂，但研究人員對該技術潛在的資料竊取和其他高風險攻擊感到 不安。
- 不安全的輸出處理意味著模型在將輸出傳遞給使用者或系統之前 無法充分驗證輸出的準確性或合規性。
- 如果攻擊者在訓練之前或訓練期間存取模型的訓練數據，則可能會發生訓練資料中毒。從那裡，攻擊者可以操縱這些數據並損害模型的輸出。
- 供應鏈漏洞包括法學碩士發展過程中任何階段的安全風險。例如，即使一個沒有直接受到攻擊的模型，如果它依賴來自中毒的第三方 克服拖延：小企業主的策略 提供者的訓練數據，也可能會受到損害。
- 過度依賴法學碩士——在沒有足夠審查的情況下相信他們的成果——是危險的。缺乏對模型輸出品質的監督可能會導致錯誤訊息、有偏見的內容、安全風險和錯誤的業務決策的傳播。
確保您的 LLM 基礎設施安全：4 個基本的 LLM 安全實踐
根據思科 2024 年網路安全就緒指數，保護 消費者數據 您的 LLM 對於避免安全漏洞至關重要，這可能會為組織帶來至少 30 萬美元的損失。對於任何使用法學碩士的組織來說，資料匿名、加密和全面存取控制等策略是必不可少的安全實踐。
數據匿名化
如果您的模型正在使用敏感資料（例如個人識別資訊 (PII)）進行訓練，請在處理和用於訓練之前對此內容進行匿名化。資料匿名化使用資料屏蔽等技術來掩蓋任何機密資訊。
加密
加密確保即使資料被暴露，攻擊者也無法理解。使用第三方供應商（例如用於檢索增強產生 (RAG)的向量資料庫提供者）時，請檢查是否支援加密。並非所有提供者都提供此功能。
驗證可用於檢測可能由越獄等技術引起的惡意或操縱查詢。在 LLM 提供輸出之前，系統應驗證不準確、有害或敏感內容的提示和回應。人工智慧研究中仍在利用語言模型正規表示式引擎 (ReLM)等技術來探索驗證。
存取控制
應用全面的權限管理設定來決定誰可以存取不同類型的 LLM 輸出。例如，您的財務團隊可能需要與開發團隊不同的存取權限，而部門內的使用者可能根據其角色擁有不同的權限。
用於 LLM 部署的附加安全性協議
領先的行業人物也提倡為法學碩士採取各種安全最佳實踐，包括：
- 使用標準網路安全策略，例如防火牆、入侵偵測、紅隊、修補程式、資料備份和沙箱。
- 投資持續的網路安全監控工具來偵測威脅。
- 限制資料庫查詢的速率。這可以防止攻擊者嘗試透過拒絕服務 (DoS) 攻擊使系統過載。
- 定期審核您的安全基礎設施和效能。
- 記錄發生事件時的安全實務和程序。
- 對員工和使用者進行法學碩士安全教育並培養安全第一的文化。
對不斷發展的企業法學碩士保持警惕
採用任何新興技術都會帶來安全風險。雖然對於法學碩士來說也是如此，但這並不意味著您不能或不應該利用人工智慧創新提供的許多好處。最佳策略需要對風險有敏銳的認識，尋求技術合作夥伴的保證，確保他們正在應用業界最佳安全實踐，並投資正確的解決方案來彌補差距。 LLM 研究和安全技術不斷發展，因此隨時了解新的發現和解決方案非常重要。