生成式人工智能（Generative Artificial Intelligence，GAI），是指以大模型為重要組成部分的一系列生成文本、圖片、音頻、視頻等內(nèi)容的技術(shù)和方法的總稱。以大型語言模型為例，因其具備處理和生成復(fù)雜數(shù)據(jù)模式的能力，成為 GAI 常用的一種工具或技術(shù)手段。伴隨著計算機技術(shù)和深度學(xué)習(xí)算法的快速迭代，人工智能（AI）領(lǐng)域已從傳統(tǒng)的依賴數(shù)據(jù)驅(qū)動完成特定任務(wù)轉(zhuǎn)變?yōu)橥ㄟ^ GAI 完成復(fù)雜且具有創(chuàng)造性的任務(wù)。未來十年，AI 技術(shù)在軍事、信息技術(shù)、網(wǎng)絡(luò)安全以及經(jīng)濟領(lǐng)域的發(fā)展將帶來全球范圍內(nèi)的深刻變革。

然而，在提高社會運轉(zhuǎn)效率的同時，GAI 也給國家安全帶來了新的挑戰(zhàn)。從意大利以非法收集個人數(shù)據(jù)為由禁用 ChatGPT，到美國在選舉前夕要求將社交平臺上由 AI 生成的內(nèi)容進行標記等一系列事件，均表明 GAI 的安全風(fēng)險正受到各國越來越多的關(guān)注。因此，系統(tǒng)地審視并盡快制定應(yīng)對策略，以解決 GAI 對國家安全構(gòu)成的新挑戰(zhàn)具有重要意義。

一、生成式人工智能的發(fā)展現(xiàn)狀與特點

2022 年，以美國 OpenAI 公司推出的 ChatGPT 為代表的 GAI 大模型，能夠根據(jù)用戶的具體要求完成多樣化的復(fù)雜任務(wù)，標志著人工智能從認識、理解問題到生成、創(chuàng)造新知的跨越。自 ChatGPT 問世以來，各大互聯(lián)網(wǎng)公司也紛紛推出了自己的 GAI 大模型，例如谷歌推出的 Google Bard、百度推出的 ERNIE Bot 等。2024 年初，OpenAI 推出的文生視頻大模型 Sora，能夠根據(jù)用戶的文本提示創(chuàng)建逼真的視頻，達到深度模擬真實物理世界的效果，再次引起廣泛關(guān)注。

目前 GAI 已被廣泛用于各領(lǐng)域，其與傳統(tǒng) AI 技術(shù)相比，具有訓(xùn)練數(shù)據(jù)海量化、強大的學(xué)習(xí)能力和生成能力、功能運轉(zhuǎn)多模態(tài)化等特點。

（一）訓(xùn)練數(shù)據(jù)的海量化

生成式人工智能模型依賴于大量的數(shù)據(jù)。在訓(xùn)練模型時，GAI 服務(wù)提供商主動收集各類平臺上的數(shù)據(jù)，通常涉及各種開源存儲庫，包括公共數(shù)據(jù)庫、社交媒體平臺和在線論壇等，這些不同的數(shù)據(jù)來源為 GAI 訓(xùn)練提供了大規(guī)模和多樣化的數(shù)據(jù)集。然而，大量數(shù)據(jù)的收集也帶來了隱私問題，因為用于訓(xùn)練的數(shù)據(jù)中可能包含私有內(nèi)容，這意味著生成的內(nèi)容中可能會含有用于訓(xùn)練的敏感信息。此外，訓(xùn)練數(shù)據(jù)被儲存于終端設(shè)備中，也增加了模型和數(shù)據(jù)被惡意竊取的風(fēng)險。

（二）強大的學(xué)習(xí)能力和生成能力

作為一種深度學(xué)習(xí)技術(shù)，GAI 使用了多層構(gòu)建人工神經(jīng)網(wǎng)絡(luò)，模擬人類大腦的神經(jīng)元網(wǎng)絡(luò)結(jié)構(gòu)。這種神經(jīng)元網(wǎng)絡(luò)是受人腦結(jié)構(gòu)和功能的啟發(fā)而設(shè)計的計算模型，由人工神經(jīng)元的互聯(lián)層組成，其中神經(jīng)元節(jié)點可以對數(shù)據(jù)進行處理和轉(zhuǎn)換，通過多層神經(jīng)網(wǎng)絡(luò)，數(shù)據(jù)的特征被持續(xù)地提取和抽象化。在深度學(xué)習(xí)技術(shù)的推動下，深度生成模型已經(jīng)成為一類基于現(xiàn)有數(shù)據(jù)生成新內(nèi)容的先進深度學(xué)習(xí)模型。因此，GAI 能夠自主處理大量高度復(fù)雜的數(shù)據(jù)，進而做出智能決策，同時快速生成滿足用戶個性化需求的高質(zhì)量內(nèi)容。以 ChatGPT 為例，其擅長理解和處理各種形式的輸入文本，包括指令、新聞和文章，并能有效地提供高質(zhì)量、連貫、語法準確的自然語言響應(yīng)，同時根據(jù)用戶提供的信息定制個性化方案，展現(xiàn)出極強的交互性。

（三）生成內(nèi)容質(zhì)量的不確定性

雖然 GAI 能夠生成與人類創(chuàng)造幾乎無法區(qū)分的內(nèi)容，但有時其生成的內(nèi)容可能不正確或與要求不相關(guān)。GAI 在學(xué)習(xí)過程中對反饋數(shù)據(jù)進行查詢，主要是基于大型數(shù)據(jù)集和統(tǒng)計模式的相關(guān)性，因此，其生成內(nèi)容的質(zhì)量在很大程度上取決于訓(xùn)練數(shù)據(jù)的質(zhì)量。在數(shù)據(jù)集的選擇和處理過程中，諸如非代表性、不平衡采樣、不正確標記和誤測特征等因素都會妨礙 GAI 模型的無偏差訓(xùn)練，最終可能導(dǎo)致算法結(jié)果出現(xiàn)偏差。因此，仔細選擇適當(dāng)?shù)臄?shù)據(jù)集和模型以減輕偏差風(fēng)險至關(guān)重要。

（四）生成過程的不可預(yù)測性

AI 的“智能”體現(xiàn)在其能自動從已知數(shù)據(jù)中學(xué)習(xí)和探索某些模式及規(guī)則，并將其應(yīng)用于新數(shù)據(jù)。對于用戶來說，相應(yīng)的輸入和輸出是清晰可知的，但過程卻不透明，即所謂的“黑箱效應(yīng)”。從技術(shù)角度來看，AI 系統(tǒng)的可預(yù)測性是基于其過去、當(dāng)前和未來行為之間的一致性來評估的。而操作的可預(yù)測性受到大量變量的影響，如系統(tǒng)的技術(shù)特征（例如，它是在線還是離線學(xué)習(xí)系統(tǒng)）、部署環(huán)境的特征、系統(tǒng)之間的交互以及操作員對系統(tǒng)工作方式的理解程度等。這些變量可能會以多種方式發(fā)生變化并相互作用，使得預(yù)測 AI 系統(tǒng)可能執(zhí)行的操作及其產(chǎn)生的影響變得復(fù)雜。在特定的操作環(huán)境下，系統(tǒng)的可供性越復(fù)雜，其在部署時可能表現(xiàn)出的不可預(yù)測行為范圍就越廣。

因此，GAI 的不確定性將可能導(dǎo)致無法控制的結(jié)果。除了生成內(nèi)容的真實性容易受到質(zhì)疑外，當(dāng)普通用戶缺乏對真?zhèn)尾幻鲀?nèi)容的辨識能力時，GAI 可能會生成高度似真而實際虛假的內(nèi)容，從而欺騙用戶。

（五）功能運作的多模態(tài)化

AI 的多模態(tài)是指利用不同的神經(jīng)網(wǎng)絡(luò)處理各種類型的數(shù)據(jù)，并通過“數(shù)據(jù)融合”技術(shù)將這些數(shù)據(jù)整合在一起，以便無論輸入的類型如何，都能生成通用的響應(yīng)。與傳統(tǒng)的 AI 不同，后者僅能處理單一模式的數(shù)據(jù)，例如聲音識別系統(tǒng)只能處理聲音數(shù)據(jù)，圖像識別只能處理圖像數(shù)據(jù)。隨著 AI 技術(shù)的發(fā)展，現(xiàn)代的多模態(tài) AI 能夠像人類大腦一樣同時處理文本、圖像、語音等不同模式的數(shù)據(jù)。GAI 是典型的多模態(tài) AI 代表，它能夠解讀用戶輸入的文字、圖片和文件，并根據(jù)用戶的需求提供綜合性的回答。

多模態(tài) AI 能夠快速適應(yīng)各種下游認知任務(wù)，隨著更多感官模式被納入多模態(tài)預(yù)訓(xùn)練，以及對更先進的基礎(chǔ)模型的進一步探索，GAI 將對各領(lǐng)域產(chǎn)生廣泛的影響。目前，GAI 大模型已經(jīng)涉及文本、代碼、音頻、3D、分子發(fā)現(xiàn)等多個方面，成為合成新的虛擬工件或增強半合成工件的關(guān)鍵技術(shù)。

二、生成式人工智能對國家安全的主要挑戰(zhàn)

GAI 具備的革命性特點在提升生產(chǎn)力的同時，也帶來了新的國家安全威脅，包括泄露國家機密、傳播虛假信息以及威脅網(wǎng)絡(luò)安全等。

（一）泄露國家機密

數(shù)據(jù)輸入泄露國家機密。在使用大數(shù)據(jù)模型的過程中，GAI 可能會從用戶輸入的信息中訪問、吸收并記憶敏感信息，進而在模型訓(xùn)練和內(nèi)容生成時利用這些信息，從而導(dǎo)致隱私數(shù)據(jù)的泄露。目前，缺乏嚴格的法律規(guī)范來監(jiān)管數(shù)據(jù)管理的透明度，GAI 的生成過程對用戶而言類似于一個“黑匣子”，很難進行審計或數(shù)據(jù)驗證，這阻礙了對潛在隱私威脅的識別和預(yù)防，使得無法充分評估敏感數(shù)據(jù)風(fēng)險。當(dāng)用戶選擇使用 GAI 時，其決定主要基于對隱私政策的閱讀，但可能并不了解數(shù)據(jù)暴露的真實程度。當(dāng)意識到時，數(shù)據(jù)可能已經(jīng)被披露。這種缺乏透明度和意識滯后的情況增加了用戶對其隱私的擔(dān)憂，也對保護國家機密構(gòu)成了重大威脅。倘若國家重要領(lǐng)域的相關(guān)人員在使用過程中不慎輸入敏感信息，將直接導(dǎo)致國家機密被泄露。同時，間諜也可故意泄露國家機密，并在事后以不知情為由脫罪。

分析開源數(shù)據(jù)輸出情報。隨著傳感器的普及和大量數(shù)據(jù)集的可用性，GAI 被用于整理和融合來自各種傳感器和信息源的數(shù)據(jù)，并通過篩選來檢測和識別異常并提供見解，以提高對態(tài)勢的認識和支持決策。此前，英國信息專員辦公室（ICO）發(fā)布的《網(wǎng)絡(luò)爬取個人數(shù)據(jù)訓(xùn)練生成式人工智能模型的合法依據(jù)》征求意見稿中指出，通過網(wǎng)絡(luò)數(shù)據(jù)爬取收集數(shù)據(jù)是一種“隱形處理”的活動，被爬取者不會意識到自己的個人數(shù)據(jù)以這種方式被處理，因此，無法行使數(shù)據(jù)保護法賦予的權(quán)利。間諜組織利用這種隱秘性惡意爬取數(shù)據(jù)后，通過大數(shù)據(jù)分析便可能獲取重要的情報信息，如秘密軍事基地、政府重要官員的敏感信息等。而當(dāng)非法爬取獲取的數(shù)據(jù)被傳輸出境后，被爬取的國家便失去了對該部分數(shù)據(jù)的管理權(quán)和對境外數(shù)據(jù)的自主控制權(quán)，這為國家安全埋下了重大隱患。

目前，美國情報機構(gòu)已開始試驗自己的 GAI 程序，中央情報局（CIA）正準備推出一項類似 ChatGPT 的大模型，使分析師能更好地獲取開源情報，并與其他國家開展新的情報較量。

（二）生成虛假信息

深度偽造是一種利用 AI 等新興技術(shù)操縱音視頻、圖像或文本內(nèi)容的技術(shù)，其目的是產(chǎn)生誤導(dǎo)效果。深度偽造最初主要用于娛樂目的，但后來逐漸演變?yōu)榫W(wǎng)絡(luò)犯罪的工具，如近年來頻發(fā)的利用偽造聲音和人像進行的電信詐騙案件。在 GAI 高速發(fā)展的背景下，深度偽造技術(shù)在一些安全領(lǐng)域表現(xiàn)出被武器化的趨勢?；?GAI 的深度偽造技術(shù)極易創(chuàng)建出看似真實但實際虛假的內(nèi)容，用以惡意誘導(dǎo)，從而危害國家安全和社會穩(wěn)定。2024 年 1 月，世界經(jīng)濟論壇發(fā)布的《2024 年全球風(fēng)險報告》將“AI 衍生的錯誤信息和虛假信息及其對社會兩極分化的影響”列為未來兩年的十大風(fēng)險之首。在當(dāng)今時代，數(shù)據(jù)和信息是各個領(lǐng)域的關(guān)鍵資源，識別、檢測和區(qū)分在線內(nèi)容的真?zhèn)巫兊弥陵P(guān)重要。

干擾選舉。隨著 AI 技術(shù)的廣泛應(yīng)用，當(dāng)今的選舉也進入了“AI 時代”?！凹夹g(shù)影響政治”這一話題被擺在了前所未有的突出位置。一些利益集團或個人利用深度偽造技術(shù)制造社會輿論或?qū)Ω偁帉κ诌M行政治攻擊。例如，發(fā)布一些對手發(fā)表不當(dāng)言論的視頻，引起公眾對政府的懷疑，從而操縱輿論和干預(yù)選舉。例如，在 2023 年末的阿根廷大選中，雙方都公開使用了大量由 GAI 生成的內(nèi)容，以抹黑競爭對手并為自己助選。在這些風(fēng)波當(dāng)中，互聯(lián)網(wǎng)與 GAI 技術(shù)被用于操縱民眾輿論的規(guī)模之大、隱蔽性之高，若對此類行為發(fā)現(xiàn)不及時、解決不到位，將會引起嚴重的政治后果。

惡意國際競爭。GAI 在緊張的國際局勢中也能起到“推波助瀾”的作用。具有競爭關(guān)系的國家之間可能會利用這項技術(shù)創(chuàng)造看似更可信、具有惡意影響的外國運動，通過偽造視頻和圖像的方式試圖破壞對手國家的人民對其政府和社會的信任。二戰(zhàn)結(jié)束后，輿論戰(zhàn)便代替了軍事戰(zhàn)爭，在國與國的競爭中占據(jù)了主導(dǎo)地位。在信息時代，輿論戰(zhàn)可謂是沒有硝煙的戰(zhàn)爭，其對國家安全、意識形態(tài)安全、文化安全都將產(chǎn)生一定的影響。借助 GAI，有關(guān)國家能夠利用數(shù)據(jù)投毒等手段生成缺乏真實性和正義性的信息，并借助輿論進行傳播，以達到國際競爭的目的。

（三）造成網(wǎng)絡(luò)安全新威脅

隨著 GAI 的快速發(fā)展，越來越多的黑客將這項技術(shù)用于犯罪活動，導(dǎo)致網(wǎng)絡(luò)攻擊案件頻發(fā)。一些非法的大語言模型不受道德和法律的約束，能夠生成用于網(wǎng)絡(luò)攻擊的惡意軟件等工具。例如，被稱為 ChatGPT 的黑帽替代品 WormGPT，目前已使用超過 60 億個參數(shù)，并且利用大量與惡意軟件相關(guān)的數(shù)據(jù)或犯罪內(nèi)容進行了訓(xùn)練，成為最新的AI 網(wǎng)絡(luò)犯罪工具。網(wǎng)絡(luò)攻擊者利用 GAI 開發(fā)新工具，能夠?qū)崿F(xiàn)更快、更有效、更隱蔽的大規(guī)模網(wǎng)絡(luò)攻擊。

網(wǎng)絡(luò)攻擊對關(guān)鍵基礎(chǔ)設(shè)施的威脅最應(yīng)值得關(guān)注。惡意行為者可能利用 GAI 破壞或干擾與物聯(lián)網(wǎng)技術(shù)或物聯(lián)網(wǎng)工業(yè)系統(tǒng)相關(guān)的活動。物聯(lián)網(wǎng)技術(shù)、自動駕駛汽車、智能城市和相互連接的國家關(guān)鍵信息基礎(chǔ)設(shè)施的廣泛使用將暴露出大量安全漏洞。黑客可能會利用網(wǎng)絡(luò)攻擊幾乎不可見的特性，通過 GAI 和大數(shù)據(jù)分析來識別最脆弱的基礎(chǔ)設(shè)施，并選擇最佳時機發(fā)動最具災(zāi)難性的攻擊。如果 GAI 生成的有毒數(shù)據(jù)被傳遞到關(guān)鍵傳感器，可能會引發(fā)如服務(wù)中斷或系統(tǒng)關(guān)閉等下游影響。例如，核電站作為高度關(guān)鍵的基礎(chǔ)設(shè)施，一旦受到攻擊，可能會導(dǎo)致無法控制的核事故，造成巨大的危害。對于一些商業(yè)性的基礎(chǔ)設(shè)施而言，這一挑戰(zhàn)更加危險，因其不受政府控制，安全性可能較低，也更容易受到攻擊。

（四）影響民眾意識形態(tài)

首先，模型復(fù)雜的內(nèi)部工作原理使得人類很難完全理解它們?nèi)绾巫龀瞿承Q定或預(yù)測，從而無法有效地控制系統(tǒng)行為，并確保它們遵守人類定義的道德原則。

其次，大模型由人類提供的數(shù)據(jù)進行訓(xùn)練，但人類在行動和決策中并不總是客觀和理性的，這可能導(dǎo)致偏見的產(chǎn)生。在有偏見或歧視性的數(shù)據(jù)上訓(xùn)練的 GAI 模型可能會在其輸出中延續(xù)甚至放大這些偏見，并在無意中向用戶傳播有害的行為和歧視性的做法，從而導(dǎo)致對個人或社會產(chǎn)生有害或不公正的結(jié)果。

除了從用于訓(xùn)練的數(shù)據(jù)中獲取偏見以外，不法分子還利用數(shù)據(jù)投毒使 GAI 生成一些缺乏真實性和正當(dāng)性的信息，以潛移默化地影響人們的思想觀念。例如，利用 GAI 制造和散布謠言，發(fā)布顛覆國家政權(quán)、煽動分裂、發(fā)動恐怖襲擊等危害國家安全的煽動性言論。在輿論爆炸式發(fā)展的當(dāng)代社會，這將嚴重影響社會治理。

三、應(yīng)對生成式人工智能對國家安全的挑戰(zhàn)

在 GAI 技術(shù)迅猛發(fā)展的背景下，國家安全面臨前所未有的新型挑戰(zhàn)。為確保技術(shù)進步和國家安全的統(tǒng)一，完善國內(nèi)立法和促進國際合作顯得尤為重要。

首先，加強國內(nèi)立法，完善治理框架。在鼓勵 GAI 發(fā)展的同時，應(yīng)當(dāng)對安全風(fēng)險進行深入研判。網(wǎng)信辦發(fā)布的《生成式人工智能服務(wù)管理暫行辦法》，雖然重點聚焦于對個人安全和行業(yè)安全的保障，但對于如何保障國家安全尚未作出系統(tǒng)專門的規(guī)定。為有效應(yīng)對國家安全面臨的威脅，我們應(yīng)結(jié)合《國家安全法》《網(wǎng)絡(luò)安全法》《數(shù)據(jù)安全法》《科學(xué)技術(shù)進步法》等現(xiàn)行法律，制定更具針對性和操作性的專門規(guī)定。例如，要求大模型的開發(fā)者和部署者報告其訓(xùn)練數(shù)據(jù)的來源和使用情況，以及及時清理可能危害國家安全和社會穩(wěn)定的有害信息等。

其次，加強國際協(xié)作，促進全球治理。國際協(xié)作對于形成有效的全球治理機制至關(guān)重要，我國應(yīng)繼續(xù)積極參與和主導(dǎo)全球 AI 治理。2024 年，我國參與主導(dǎo)了《中法關(guān)于人工智能和全球治理的聯(lián)合聲明》《人工智能全球治理上海宣言》等人工智能治理倡議，這些倡議特別強調(diào)國內(nèi)的 AI 立法應(yīng)與國際監(jiān)管框架有效銜接和呼應(yīng)。面對 GAI 帶來的安全威脅，國際協(xié)作應(yīng)從以下方面著手：加強國際網(wǎng)絡(luò)安全合作，防止跨國黑客攻擊與惡意軟件應(yīng)用；在尊重國際和國內(nèi)法律框架的前提下，共同打擊操縱輿論、編造與傳播虛假信息的行為；合作防范恐怖主義、極端勢力和跨國有組織犯罪集團利用 AI 從事非法活動等。

在 GAI 快速迭代和產(chǎn)生顛覆性、革命性效應(yīng)的進程中，安全應(yīng)與發(fā)展并重。在 GAI 技術(shù)和產(chǎn)業(yè)發(fā)展的同時，應(yīng)當(dāng)重視提升其安全性、可靠性、可控性和公平性。