摘 要:人工智能正改變著人類的生產生活方式，在賦能經濟社會發展的同時也引發了多方面的風險，包括人工智能引發的國家競爭力風險、技術安全風險、網絡安全風險、經濟社會風險和意識形態風險等。我國應堅持包容審慎的監管方式，強化國家安全意識，在加強頂層設計、大力推進人工智能發展的同時，建立并逐步完善人工智能風險國家治理體系，促進我國人工智能健康有序安全發展，提高我國在人工智能領域的國際競爭力。
關鍵詞:人工智能 國家安全 網絡安全 意識形態風險
【中圖分類號】TP-9 【文獻標識碼】A
人工智能是新一輪科技革命和產業變革的重要驅動力量。加快發展人工智能是我們贏得全球科技競爭主動權的重要戰略抓手，是推動我國科技跨越發展、產業優化升級、生產力整體躍升的重要戰略資源。人工智能依靠其通用性、多模態和智能涌現能力，與千行百業深度融合，在引發生產方式、技術創新范式、內容生成方式和人機關系等多領域深刻變革的同時，也帶來諸多風險。
黨的十八大以來，以習近平同志為核心的黨中央把發展人工智能提升到戰略高度。習近平總書記指出：“我們要深入把握新一代人工智能發展的特點，加強人工智能和產業發展融合，為高質量發展提供新動能。”同時強調：“要加強人工智能發展的潛在風險研判和防范，維護人民利益和國家安全，確保人工智能安全、可靠、可控。”[1]為確保人工智能安全、可靠、可控，我國逐步加強對人工智能發展的規范和治理。例如，2019年6月，國家新一代人工智能治理專業委員會發布《新一代人工智能治理原則——發展負責任的人工智能》；2023年10月，中央網信辦發布《全球人工智能治理倡議》。在大力發展人工智能、提升我國在人工智能領域國際競爭力的同時，也要對人工智能帶來的技術安全風險、網絡安全風險、經濟社會風險、意識形態風險，以及伴隨的倫理、法律和安全問題進行約束和監管，建立并逐步完善人工智能風險治理體系，推動人工智能安全、健康、有序發展。
國家安全視角下的人工智能風險
人工智能技術逐步進入實用階段，賦能千行百業，創造出新的產品、服務和商業模式，為人類社會發展帶來重大改變。作為一種追趕人類智能的特殊技術，人工智能對社會發展的推動力、對社會倫理與秩序的沖擊力，以及其些作用背后的復雜性，都是人類既往的技術發明所不具備的。這其中蘊含著許多前所未有的、不容小覷的風險。
國家競爭力風險。人工智能是發展新質生產力的重要引擎，不僅是經濟的推動力，而且在科技創新、國防建設中都發揮著重要作用。當前，我國人工智能技術發展迅速，人工智能領域的學術論文和發明專利都居國際前列，但在人工智能原創性技術領域與美國還有一定的差距，諸如ChatGPT、Sora等里程碑式技術創新均最早出現于美國，我國尚處于“跟跑”階段。近年來，以美國為首的西方國家實施“小院高墻”政策，意圖對我國人工智能的發展進行系統性打壓，對我國造成不利影響。目前，我國的人工智能發展在人才、數據、算力等方面尚難打破西方霸權的壟斷。例如在人才方面，2019年全球頂尖人工智能研究人員中中國研究人員占10%，2022年這一比例增加到26%，美國仍然吸引最多的人工智能人才[2]。在數據方面，截至2024年，美國Common Crawl開源數據集每月對全網爬取會增加大約386TB的數據[3]，其每月增量比我國多數開源數據集的總量還大。在算力方面，國產芯片的計算速度與世界頂尖水平相比還有不小差距；與圖形處理器（GPU）配套的國產編程環境及軟硬件生態尚未成熟，制約了算力效率。整體而言，我國人工智能產業創新生態與國際人工智能產業創新生態相比尚有很大提升空間。
技術安全風險。一是人工智能“黑箱效應”可能生成偏誤信息，從而誤導使用者。人工智能模型存在非透明性的算法“黑箱”局限，使用者難以觀察模型從輸入到輸出的過程。當數據來源良莠不齊時，特別是有人使用特殊設計的輸入數據對訓練模型進行對抗性攻擊時，人工智能模型生成內容的事實解釋性以及可理解性缺失，不僅使得輸出信息秩序紊亂、傳遞內容扭曲失真，也使得審查和糾正偏見、錯誤或不當行為變得困難。再者，由于植根于人類社會根深蒂固的偏見以及因話語權不同導致的數據資料分布不均衡，人工智能模型訓練的數據是有偏的，導致人工智能模型對某些人群或事物作出不公正或不均衡推斷。二是人工智能模型訓練需要運用大量個人、企業和組織的數據，存在隱私和國家機密泄露風險。人工智能生成文本、圖像和視頻所需的大量數據可能涉及敏感的國家信息、商業信息和個人信息，在大范圍應用時經常面臨數據過度采集、竊取、泄露和濫用風險[4]。三是人工智能技術研發與應用過程中存在知識產權侵犯和知識生產生態破壞等風險。隨著人工智能技術的快速發展，人工智能在藝術作品、科學研究、發明創新等領域的應用愈發深入，這些活動涉及到版權、專利權、商標權等多個方面知識產權。如何在知識產權、原創性等方面平衡技術使用和創作者權益目前仍存在爭議，包括但不限于人工智能生成作品的版權歸屬和保護范圍、人工智能作為發明者的專利申請資格等問題。
網絡安全風險。一是人工智能技術可能引發新型、難以管控的網絡犯罪。人工智能技術能夠提高網絡攻擊的隱秘性，降低高級網絡攻擊的技術門檻[5]，拓寬網絡犯罪的時空范圍，使犯罪從傳統的個體或小團伙作案變為普及率高且低成本的活動，同時也使得國際網絡攻擊、滲透更加易發多發，加大了我國對網絡攻擊預防和溯源的難度。二是深度偽造等技術誘發傳統犯罪模式升級。人工智能的深度應用涉及經濟利益、保密利益、使用性能等多重維度，當技術被惡意利用、大規模生成誤導性信息，將帶來智能詐騙風險。這種手段比傳統的網絡釣魚和電話詐騙更具欺騙性和破壞力。還有惡意用戶通過公開或非法手段收集資料，利用深度偽造技術制作虛假甚至淫穢圖片或者視頻傳播，侮辱霸凌他人。三是人工智能技術風險可能引發網絡空間衍生災變。隨著人工智能技術與網絡空間的深度融合，人工智能的本體風險有可能隨著網絡空間特別是物聯網的泛在互聯而加以放大，衍生演化出網絡空間的重大災變[6]，給物理世界帶來巨大風險。無人機、無人駕駛汽車、醫療機器人等無人化智能系統設計缺陷可能直接威脅公民生命權和健康權[7]。例如，2018年Uber自動駕駛汽車凌晨撞死行人事故即起因于Uber系統將行人判定為塑料袋等漂浮物，導致未能及時剎車。
經濟社會風險。一是人工智能對簡單重復性勞動所產生的替代作用或將引發技術性失業。人工智能使得部分勞動密集型制造業實現了自動化生產，從而替代這部分行業中的勞動力[8]。當人工智能適用于工業設計、藥物研發、材料科學、信息服務等領域，其發展伴隨的大規模技術性失業或將引發全球結構性失業，成為經濟社會的不穩定因素。二是人工智能的技術依賴加深致使認知淺層化風險加劇。人工智能的深度應用將減少人類主動思考的機會，并限制了其視野和思維深度，或將造成認知能力缺陷。例如，Sora等生成式人工智能的應用將會抑制學生抽象邏輯和批判性思維的發展，給科學和教育事業帶來巨大挑戰[9]。三是技術復雜性帶來的數字鴻溝和信息繭房加劇社會階層分化。不同社會群體在理解和使用人工智能技術方面存在顯著差距的問題普遍存在。技術采納者在通過人工智能技術不斷優化效率、積累資源和權力的同時，致使技術知識或信息匱乏者被不斷邊緣化，從而引發社會不公平現象。此外，憑借人工智能算法繪制“數字臉譜”以精準迎合個體視覺偏好與信息需求的行為，加強了“信息繭房”的回音壁效應。用戶長時間處于同質化信息空間，容易對固有觀念產生偏執認同，滋生排他性傾向，進而誘發群體極化現象，導致經濟社會不穩定。
意識形態風險。一是人工智能語料差異內嵌意識形態，具有價值取向不可控風險。大模型訓練語料庫中的意識形態差異很有可能被利用生成大量“可信”文本，以加深對客觀事實認知的分歧。2023年5月8日，布魯金斯學會評論文章《人工智能的政治：ChatGPT和政治偏見》指出ChatGPT存在政治偏見[10]。華盛頓大學、卡內基梅隆大學和西安交通大學的一項研究發現，不同的人工智能模型具有不同的政治偏好，OpenAI的GPT-4是最左翼自由派，Meta的LLaMA是最右翼[11]。具有不同國家立場的人工智能產品在敏感事件或國際關系等問題上容易生成具有預設傾向的內容，其傳播將潛移默化地影響年輕一代的價值觀，或將為西方國家向我國進行意識形態滲透及干涉提供便利，威脅社會意識形態安全。二是人工智能技術帶來的創作者責任缺失導致各種假信息泛濫，蠱惑社會人心。技術黑箱導致確定人工智能系統行為的道德法律歸屬變得復雜，由此帶來創作者責任缺失。隨著人工智能的發展和應用，虛假新聞制作和傳播的成本變得更低。借助人工智能文本、音頻、視頻大模型，惡意用戶制造大量真假難辨的假信息，篡改歷史，偽造事實，煽風點火帶節奏，為吸引眼球不擇手段。假信息泛濫可能導致人們對數字內容的真實性產生普遍懷疑，影響社會信任與秩序。三是新型“數字殖民”引發意識形態偏移風險。在國家對于數據和算法依賴程度日益增強的情況下，領先掌握新一代人工智能技術的國家憑借技術優勢占據規則和標準制定主導地位，這種技術霸權可能產生新的“數字殖民地”。
人工智能風險的治理策略
我國應堅持包容審慎的監管方式，在大力發展人工智能的同時，加強對關鍵性風險的治理，統籌技術發展和規范引導，防范化解各種風險，構建安全與發展兼容的人工智能治理生態。
加強頂層設計和系統性治理。一是堅持系統性謀劃和整體性推進，制定人工智能發展與治理規劃。對人工智能的發展趨勢和應用前景進行綜合研判和分析，以系統觀念協調好人工智能發展和安全。在發展方面，發揮新型舉國體制優勢，建立人工智能產業良性發展生態，通過技術預見識別關鍵技術和市場需求，重點布局，推動人工智能安全有序發展。在安全方面，國家層面上成立專家委員會或咨詢委員會，遴選人工智能技術、倫理、法律、安全等領域的專家，并和社會公眾代表一起，對人工智能的風險治理提出前瞻性建議，提升全方位多維度綜合治理能力。二是構建完備法律體系，推進制度建設。加快建立健全協調安全與發展、統籌效率和公平、平衡活力與秩序、兼顧技術和倫理的法律法規體系，推動人工智能監管制度體系建設；依法出臺人工智能發展與治理的地方性法規和地方政府規章，引導創意者公平、安全、健康、有責任地將人工智能技術用于地方特色創新活動中，更有針對性地滿足地方需要。三是加快成立負責任人工智能技術的職能管理機構，加強政策引導與監管。建議成立專門的監管機構，通過制定有關人工智能技術開發和應用的政策，確保技術發展符合社會公共利益和道德標準；制定人工智能技術開發和應用的標準和規范，確保技術安全性、透明性和公平性；建立人工智能風險評估與預警機制，防止技術濫用和潛在危害。
降低數智社會轉型對民眾的沖擊。一是持續謹慎觀察人工智能帶來的“數字鴻溝”與失業風險，通過綜合性應對措施維護社會穩定。加強人工智能教育與普及，緩解數字鴻溝，提高民眾對人工智能技術的認知與應用能力；密切關注人工智能技術發展可能帶來的結構性失業、技術性失業與非對稱性失業等“創造性破壞”，建立失業預警制度，加大就業指導培訓，提供稅收優惠，出臺兜底性失業保障政策。二是面向未來培養新型技術治理和社會治理協同的復合型人才。在高校設置跨學科課程，支持人工智能相關學科建設，大力培養人工智能技術人才和管理人才，獎勵優秀人才和團隊，為人工智能技術發展與治理提供人才儲備；建立終身學習機制，提供系統化的人工智能技術職業培訓，鼓勵在職人員持續學習人工智能新技術以適應快速變化的技術環境。三是推動包容性技術發展的同時加強網絡安全保護。在人工智能技術研發和應用過程中充分考慮老年人、殘疾人等弱勢群體的特殊需求，設計和開發符合其使用習慣和能力的人工智能產品和服務，避免擴大“數字鴻溝”；建立健全數據保護法律法規，明確數據收集、存儲、處理和共享規范，提高數據全生命周期的安全性；加大對網絡犯罪的打擊力度，組建專業的網絡安全執法隊伍，提升技術偵查能力，及時發現和遏制網絡犯罪活動；提升企業信息安全責任，推動企業采取有效措施防止數據泄露和濫用；通過多種渠道和形式，向公眾普及信息安全知識和防護技能，提高民眾的信息安全意識和防范能力。
構建人工智能技術風險治理體系。一是夯實人工智能公共數字基礎設施一體化平臺建設，完善數據資源體系。加強對數據中心、超算中心、智能計算機中心等基礎設備建設，夯實數字基礎設施安全；加快推進數據共享平臺建設，制定統一的數據標準和規范，建立高質量國家級數據資源庫，以解決人工智能大模型的數據質量及算法偏見問題。二是前瞻布局人工智能大模型的風險防御技術體系，鞏固發展人工智能技術底層架構以保障產業生態安全。針對人工智能全生命周期關鍵環節進行風險預判，打造動態升級、科學前瞻的防御技術體系，通過精準安全防范措施建立人工智能技術安全保障體系；在算法安全、數據安全、模型安全、系統安全、應用安全等方面加強前沿安全技術研發，并推動關鍵核心技術應用；加強對芯片、集成電路等基礎產業的保護力度，推動國家和企業重點開發自主可控的人工智能技術，夯實核心技術安全。
完善人工智能國家治理體系。一是技術與制度雙向賦能治理機制設計。面對飛速更迭的人工智能技術與復雜多樣的國家治理應用場景，需加強技術應用與制度創新的協同治理，依靠制度設計引導技術方向的同時，通過技術發展幫助完善制度設計從而提升治理能力。二是加強人工智能意識形態風險的治理，大力開展人工智能內容識別民眾素質教育，培養民眾對人工智能獲取的信息自覺進行多源驗證；開發人工智能生成式內容溯源技術，高概率辨識可疑內容的來源；建立生成式人工智能信息失真檢查和披露平臺，把正確信息及時公示于社會。三是積極推動人工智能治理國際平臺建設，參與國際規則制定。積極與國際社會合作，建立人工智能技術聯盟，防范算法世界政治霸權和數據跨境安全風險；建立廣泛、權威的國際對話機制，依托共建“一帶一路”倡議、金磚國家、上合組織、東盟等具有國際影響力的多邊機制，合理助力后發國家進步，促進人工智能全球治理成果的普惠共享；總結國內人工智能治理經驗并強化國際交流，在促進互信共識的過程中，推動多方、多邊主體間形成公開報告、同行評議等協同機制的標桿示范，切實推動人工智能治理原則落地[12]。
【本文作者為 楊曉光，中國科學院數學與系統科學研究院研究員； 陳凱華，中國科學院大學公共政策與管理學院特聘教授、國家前沿科技融合創新研究中心副主任。本文受國家自然科學基金重大項目（T2293771）及中國科學院重大咨詢項目（2022-ZW14-Z-027）的資助；中國科學院科技戰略咨詢研究院博士研究生薛澤華、助理研究員張超對本文亦有貢獻】
注釋略
責編：周素麗／美編：石 玉