2024大模型安全研究報(bào)告-將引L安全工作模式的變革

當(dāng)前，由 ChatGPT 引發(fā)的大模型技術(shù)競賽正推動人工智能由專用弱智能向通用強(qiáng)智能邁進(jìn)， 這不僅標(biāo)志著智能水平的顯著提升，也預(yù)示著人機(jī)交互方式和應(yīng)用研發(fā)模式的重大變革。大模型在 各行各業(yè)的廣泛應(yīng)用，為第四次工業(yè)革命的爆發(fā)提供了蓬勃動力和創(chuàng)新潛力。

然而，隨著大模型商業(yè)化應(yīng)用和產(chǎn)業(yè)化落地加速，大模型技術(shù)局限和惡意使用不僅加劇了原有人工 智能安全風(fēng)險(xiǎn)，也引入了模型“幻覺”、指令注入攻擊、網(wǎng)絡(luò)攻擊平民化等新型風(fēng)險(xiǎn)。面對這些挑 戰(zhàn)，國際組織和世界主要國家正通過制定治理原則、完善法律法規(guī)、研制技術(shù)標(biāo)準(zhǔn)等方式，積J開 展大模型安全治理。同時(shí)，大模型在邏輯推理、任務(wù)編排等方面的出色能力，為解決網(wǎng)絡(luò)空間安全 瓶頸問題帶來了新的機(jī)遇。

隨著各類大模型與經(jīng)濟(jì)社會的深度融合，其技術(shù)局限和潛在惡意使用不僅威脅大模型系統(tǒng)自身的安全穩(wěn)定運(yùn)行， 也可能為使用大模型的各行各業(yè)帶來非預(yù)期安全影響。

為盡可能多面應(yīng)對大模型L域的基礎(chǔ)共性安全挑戰(zhàn)，本報(bào)告優(yōu)先對語言、多模態(tài)等各類基礎(chǔ)大模型系統(tǒng)的安全 風(fēng)險(xiǎn)進(jìn)行系統(tǒng)梳理。與此同時(shí)，參考 ISO/IEC 5338-2023 《人工智能系統(tǒng)生命周期過程》國際標(biāo)準(zhǔn)，將基礎(chǔ)大 模型系統(tǒng)抽象為訓(xùn)練數(shù)據(jù)、算法模型、系統(tǒng)平臺和業(yè)務(wù)應(yīng)用四個(gè)重要組成部分，并通過描繪這四個(gè)組成部分面 臨的重要和一般安全風(fēng)險(xiǎn)，形成大模型安全風(fēng)險(xiǎn)地圖，如圖 1 所示。其中，重要風(fēng)險(xiǎn)是發(fā)生概率G和影響程度 大的風(fēng)險(xiǎn)，一般風(fēng)險(xiǎn)則反之。

短期來看，大模型將顯著提升現(xiàn)有安全技術(shù)的性能和智能化水平。得益于大模型在數(shù)據(jù)理解、意圖識別、任務(wù) 編排等方面的能力，在安全問答、安全運(yùn)營、數(shù)據(jù)分類分級、違規(guī)處理個(gè)人信息檢測、音視圖文內(nèi)容安全檢測 等關(guān)鍵網(wǎng)絡(luò)安全場景中，大模型能夠在大幅減少人工參與的同時(shí)，有效提升安全事件處理的效率和準(zhǔn)確性。

長期來看，大模型有潛力成為安全防護(hù)的核心，從而改變安全的工作模式。當(dāng)前，大模型主要扮演安全從業(yè)人 員的輔助工具，用于提G他們的工作效率和效能。未來，隨著大模型在自主研判和決策能力方面的提升，它們 預(yù)期將進(jìn)化為安全從業(yè)人員的合作伙伴，共同應(yīng)對安全風(fēng)險(xiǎn)的識別、防御、檢測、響應(yīng)和恢復(fù)等一系列復(fù)雜工作。 此外，大模型在數(shù)據(jù)安全、內(nèi)容安全等L域也將發(fā)揮關(guān)鍵作用。大模型預(yù)計(jì)將引L安全工作模式的變革，從依賴安全人員調(diào)度和使用安全工具，轉(zhuǎn)變?yōu)橐源竽Ｐ蜑楹诵恼{(diào)度并智能化使用安全工具。

附件：2024大模型安全研究報(bào)告-將引L安全工作模式的變革