等保资讯

文 | 《中国信息安全》杂志编委会主任、教授 孙学玉

人工智能正以加速迭代的方式迅猛发展。它突破网络空间的技术局限，广泛渗透到政治、经济、社会、文化等多个领域，成为引领新一轮科技革命和产业变革的重要驱动力，成为支撑国家和地区优先发展的关键要素，也成为大国科技博弈的战略制高点。人工智能不仅推动人类社会迈向新的文明阶段，同时也带来诸多风险挑战。这些风险背后反映的是人类价值观选择、智慧应用和多元协作。为确保人工智能“向善而生”，我们必须重视研究其潜在风险，科学评估人工智能风险的具体表现，并采取有针对性的防范与治理措施。

 一、科学认识人工智能本质

科学认识人工智能是有效防范治理风险的基础。作为工业革命以来最具划时代意义的变革技术，人工智能不仅延展了人类的体力与技能，更重要的是扩展了人的心智边界，并悄然渗透至工作与生活的各个领域，改变着传统社会的基本结构和运行方式。目前，人们对其认知仍处于较浅层面，部分结论尚属逻辑推理而非严谨事实，但其带来的影响力与冲击力已清晰可感。

人工智能属于科学技术范畴。研究人工智能功能作用、创新体系等是首责，但若仅局限于此，忽视其哲学意义、“类人”表征、社会伦理规范等，则难免有失全面。从技术实现层面看，人工智能是基于数学模型建立起来的模拟人类的统计智能，是让计算机模拟人类行为并具备自主学习、推理、决策及创造力的技术科学。它通过算法与模型处理数据，进而完成理解语言、识别图像、解决问题等原本依赖人类智慧的任务，可视为一种数据模式的拟合工具和赋能技术，是人类用以理解世界、创造未来的新型工具。其底层逻辑涉及诸多关键领域和技术，包括搜索、计算机视听觉、自然语言处理、多智能体系统和可信人工智能等。其核心是从数据中学习规律，借助复杂的数学函数模拟人类思维过程，实现判断和预测。从这个意义上说，人工智能的本质是赋予机器具有人类甚至超越人类的技能和智慧。

人工智能具有对人类的替代性。如今，越来越多的软件工程师借助人工智能编写代码，逐渐从基础编码工作中解放出来，这使得传统角色面临深刻转型。职位晋升路径不再完全依赖底层技术实操，个人身份标识渐趋淡化，取而代之的是面向“客户”需求的实际问题解决能力。未来，国民财富总量取决于人工智能发展规模和人工智能效率水平。当具备类人能力的智能体数量远超人类时，劳动力成本大幅降低，产品价格降至极低水平，人类“赋闲”成为普遍生活状态，“劳动获益”的传统分配观念和契约关系必然受到冲击，推动社会加速向“按需获益”的丰裕阶段演进。同时，人工智能也将深刻重塑社会组织结构。过去，工业革命将分散的劳动主体集中起来，创造出规模化经济与社会收益。现在，人工智能则推动劳动力“再分化”，催生远程办公、即时协同、虚实融合等新型工作模式。在这一“去中心化”的趋势下，传统集中式机构——如学校、医院、监狱、军队及商场实体等，是否仍有必要维持现有形态，均需重新审视并做出适应性变革。

人工智能可以扩展人类能力。人工智能创设的初衷是为了解决特定问题、高效执行任务，而非复制人类智能。它是否可能具备甚至超越人类思想意识与价值观，目前的观点尚存分歧。一种观点认为，人工智能难以成为具备通用智能的生命体，无论其如何发展与迭代，人类始终是主导者。例如，人工智能可以辅助医生分析影像，但如何判定结果、开展诊治，需要医生根据经验做出判断和决策。从这层意义上看，人工智能作为工具具有“双刃剑”属性：既可能成为助力人类的伙伴，也可能因使用不当带来风险；其发展可能带来向善的结果，也可能被误用而作恶；既可能推动社会进入更美好的时代，也可能因失控引发问题。若将人工智能的自主性过度放大甚至神化，对其过度依赖或盲目崇拜，可能反映出人类认知的局限或隐藏其他意图。也有观点认为，超级人工智能或将以“新物种”形态出现，形成独特的语言体系和社会“关系网”，与人类形成竞争关系，甚至最终反噬人类。这一设想是纯粹幻想还是基于科学推理的预见，尚需时间检验。

从哲学角度看，人工智能可被视为人类本质力量的对象化体现。不同于其他材料制作的工具，人工智能作为一种能够模拟人类智能的技术存在，体现出一定程度的“活体”属性，与人类形成深度的协作共生关系。因此，对人工智能的探讨不能仅停留在技术层面，而应进行哲学意义上的生命反思，将其纳入社会要素的综合考量，并强化伦理道德的约束与引导。若把人工智能视为受市场机制调节的社会主体，则可能产生外部性问题，出现失灵现象。部分追求利益最大化的技术主体，将利用人工智能的隐匿性与独占性垄断相关收益，加剧社会发展的不均衡。因此，面对人工智能带来的各类风险，政府有必要积极履行公共职能，预先设定规范边界，有效防范风险失控，引导人工智能朝着符合人类整体利益的方向发展。

二、深入研究人工智能风险

被誉为“人工智能教父”的杰弗里·辛顿多次警示，“人类没什么特殊、我们并不安全”；《人类简史》作者尤瓦尔·赫拉利提醒人们，“人工智能不单是人类使用的工具，还是其可以自主掌控的‘杀人刀’”。这些观点反映出对人工智能潜在风险的深切忧虑，值得高度关注。人工智能风险不仅是技术失控的产物，也源于其与人类价值观之间的对齐偏差，对人类构成真实、严峻且多层次的威胁。因此，对人工智能风险的研究不能仅停留在技术层面，而应从技术安全、社会影响、伦理规范和法律监管等多个维度分析。在此基础上，还需提高人工智能风险检测能力，创新风险防御技术，构建有效的治理框架，防止技术被滥用或恶意使用，确保人工智能始终服务于人类社会的整体利益。

国家安全风险问题。人工智能技术的发展将对国家主权、军事安全等传统安全领域构成严峻挑战，其军事化的应用及相关竞争正深刻改变着国家间的博弈方式与战争形态，使各国面临无形战场上的多重压力。一是引发全球新的竞争。西方主要国家纷纷将发展人工智能提升至国家战略层面，推动大模型跨国落地应用，试图主导人工智能演进路径与规则体系；同时，加强对数据跨境流动管控，高筑数据壁垒，限制他国人工智能产品与服务的市场准入。美国尤其加强对中国的技术封锁，试图切断关键技术和产品供应链，对我国人工智能产业发展形成现实挑战。二是加剧军备竞赛。社会发展规律表明，技术革新一旦与军事目的结合，将进一步激化军事竞争。人工智能不仅关乎商业竞争、文化比拼，更直接牵动军备竞赛。武器化趋势为军事技术研发、开展军事战略分析和情报搜集提供了新方法与新路径，推动战争形态加速向混合战方向演进。三是导致发展失衡。国际劳工组织于2024年发布的《注意人工智能鸿沟：塑造关于未来工作的全球视野》报告指出，随着全球经济加速向人工智能驱动转型，欠发达国家面临着被更远落下的局面，加剧与发达国家间经济和社会发展鸿沟。人工智能将重塑社会权力结构，掌握核心技术的国家或企业可能拥有无限增长的权力，加剧国际力量对比的位差和不平等。在就业层面，普通劳动者面临失业风险，而资本与技术所有者的获利能力进一步增强，可能放大“富者愈富、穷者愈穷”的马太效应。

社会伦理隐患问题。人工智能技术可能形成独立于人类思维系统，甚至被用于发起更复杂的网络攻击、开发应用高危自主性武器，对社会稳定构成威胁。一是认知操控。人工智能通过算法根据用户偏好推送内容，导致个体长期处于信息同质化环境中，深陷“信息茧房”。近年来，受算法推荐机制影响，社交媒体上虚假信息的传播率显著上升。此外，利用人工智能生成的虚假图像、视频和音频，用于编造新闻及政治言论，操纵舆论，不仅影响公众判断，也加剧了社会信任危机。二是责任追偿。人工智能派生出物理与现实域交互风险，将涉及责任主体与追偿问题。例如，自动驾驶事故或医疗系统误诊，会使得责任主体的认定变得复杂。现有的法律体系在界定人工智能相关责任时存在模糊地带，未来需构建更加清晰的司法问责和裁定框架，促使开发者更负责任地推进技术迭代。三是人才挤兑。人工智能的智力与算力发展可能超越个体乃至整体人类的能力，不仅替代部分流程化、重复性工作，其替代范围还可能进一步扩大。国际货币基金组织预测，全球约40%的岗位将受到人工智能的影响，尤其是生产线工人、客服、数据录入员等。实际上，职位受冲击被替代的远不止这些蓝领阶层，相反，受冲击最大的可能是那些曾经身份光鲜的白领阶层。与此同时，一些国家出现高失业率与高经济增长并存的“经济悖论”现象，反映出人工智能在提升生产效率的同时，也可能加剧结构性失业与财富分配不公以及经济发展失衡等问题。在此背景下，政府如何推动劳动力转型、设计基本收入分配制度、重构社会福利模式，将成为各国亟待应对的公共治理课题。

技术安全漏洞问题。人工智能技术涉及算法、数据、系统和可解释性等多个层面，其内在脆弱性不容忽视。算法与模型普遍面临对抗样本攻击、模型过拟合及算法偏见等问题，即便对输入数据进行细微改动，也会导致不一样的输出。过度复杂的数据拟合使大模型在真实场景中难有理想表现，从而出现不可解释性结果。一是系统安全威胁。人工智能的互联性增加了网络空间安全漏洞的暴露面，攻击者可以利用人工智能技术生成恶意软件，实施自动化网络攻击。大模型训练依赖海量数据，促使各类机构进行大规模数据收集使用，导致数据边界模糊，加剧隐私泄露风险。当前，人脸识别、指纹验证等生物识别技术在公共服务、社区管理等领域广泛应用，若监管不足，可能导致监督技术被滥用，侵犯个人隐私。如何在促进数据驱动创新与保护个人隐私之间取得平衡，明确数据所有权归属等，法律应当作出清晰明确的规定。二是算法偏见。训练数据来源复杂，可能隐含人类历史上存在的种族、性别、地域等歧视性信息。这些偏见会被人工智能系统放大，进而影响就业、信贷、司法等关键领域的公平决策。确保算法公平性不仅依赖高质量、无偏见的数据，也需从技术设计和政策规范层面系统应对，这已成为一项重要的社会治理课题。三是超级对齐。若能力强大的人工智能系统未能与人类价值观和目标有效对齐，可能产生难以预料的后果。例如，为缓解交通压力而设定的指令，可能被曲解为禁止车辆通行；应对气候变化的指令，也可能被错误执行为过度限制人类正常活动。

三、有效治理人工智能风险

人工智能带来的风险已逐步显现，对其讨论并加以治理并非为了制造恐慌，而是为了引导技术朝着安全、可控、可持续的方向发展。治理必须与风险同步推进，做到技术应用拓展到哪里，监管框架就覆盖到哪里。

将安全战略前置。对人工智能关键领域进行前置性、预防性战略设计，构建自主可控的内生式网络安全体系。通过明确安全基线，在产品上市前落实强制性安全标准，杜绝“带病上线”，使事后补救仅作为辅助手段。战略设计应具备前瞻性和系统性，明确行为边界，避免陷入“碎片化应对”的被动局面，实现从“事后修补”向“全程防控”的转变。

加强技术创新提升。针对人工智能应用的广泛性与复杂性，监管机构需持续发展可解释、强鲁棒、能对齐的监管技术，从机制上识别并抑制算法偏见、防范失控风险。要善用技术手段应对技术挑战，例如，通过审计算法评估其公平性并监测市场风险，提升监管效率和精准度。

发展与治理并行。人工智能技术的迭代速度远超立法与治理体系的响应速度，传统监管模式已难以适应其发展特点。因此，监管部门有必要采取敏捷治理方式，在监管框架中兼顾原则性与弹性，既避免过早施加过度限制阻碍创新，也防止放任自流酿成系统性风险。可在可控环境中开展测试与创新，通过风险动态评估逐步完善规则，让法律法规、标准规范与技术发展同步推进。欧盟《人工智能法案》与我国《生成式人工智能服务管理暂行办法》等实践，都是此类治理理念的积极体现。此外，可鼓励社会力量参与监督，例如，在开源监督平台建立人工智能举报系统，引导公众反馈算法偏见等问题，提升监督回应速度和精准度。

伦理规范与道德遵从。人工智能在造福人类的同时也伴生伦理风险，必须在研究开发过程中遵循相应价值理念和行为规范。爱因斯坦曾言，“科学是一种强有力的工具，如何使用它取决于人类自己”。人类创造人工智能的根本目的是使其服务于人，而非被其反制。必须确保人工智能始终处于人类控制之下，并在行业和社会层面形成伦理共识，将其作为法律制定和技术标准设计的价值基础。可在企业内部设立“人工智能伦理委员会”，将伦理设计融入开发流程，从源头防范伦理失范。

教育普及跟进。加强人工智能教育培训，提升全民人工智能素养。国民教育体系，应从中小学起开设人工智能课程，注重培养青少年的兴趣、应用能力及伦理意识，引导其从体验、认知走向理解与创新，而非单纯记忆知识；鼓励学生提出问题、参与设计，强化批判性思维和解决实际问题的能力。在社会层面，应广泛开展人工智能安全与伦理教育，通过科普宣传、社区培训、开放反馈渠道等方式，提升公众对算法偏见、数据隐私等风险的认知与辨别能力，形成社会协同监督机制。针对领导干部，应增强其人工智能风险意识和治理能力，使其在资源分配、政策制定中把握好发展与安全的平衡，当好人工智能应用推广的“引导者”、产业转型的“促进者”、数字鸿沟的“弥合者”和公众权益的“维护者”。

四、妥善处理好几对关系

有效治理人工智能风险，需统筹把握人工智能与人类、人工智能发展与安全、技术创新与政府监管、多元竞争与共同合作的关系，构建动态平衡、兼容并蓄的治理机制。

人工智能与人类的关系。人工智能的出现，让人类首次面临非生物形态的“类主体”挑战，其无形无影、来去无踪的特性，易引发人类的认知迷茫甚至生存焦虑。人工智能源于人类智慧，其发展必须始终以服务人类为根本宗旨。同时，人工智能不仅是一种工具，更逐渐成为人类的“协作伙伴”，人机协同将推动社会在法律伦理框架、治理结构及社会分工等方面进行系统性重构。

人工智能发展与安全的关系。人工智能发展必须设定红线与底线。政府需在鼓励技术创新、产业孵化与应用场景落地的同时，为人工智能创造包容审慎的发展环境，充分释放其赋能生产力的潜力。此外，还需将国家、社会与公民安全的要求深度嵌入技术研发、模型训练、场景应用的全生命周期，确保其在伦理与安全阈值内有序推进。例如，利用人工智能生成虚假信息、煽动民族仇恨、宣扬恐怖主义甚至生成危害国家安全和社会稳定的内容，均属于触碰安全红线的行为，必须严格禁止。从另一角度看，人工智能作为时代标识性技术，任何国家和地区都不能因其存在潜在风险而拒绝或放弃发展。故步自封只会导致技术与治理脱节，反而可能引发更大的系统性风险。因此，安全不是发展的对立，而是动态的平衡和制度的保障。

技术创新与政府监管的关系。人工智能的发展是根本，监管旨在为其提供更健康、可持续的发展环境。合理的监管与创新相辅相成，有效的监管能够为创新提供安全环境，而创新则为监管提供新的思路与方法，二者的良性互动共同促进人工智能技术的广泛应用和快速发展。须认识到，法治建设通常滞后于技术发展，而立法行为本身又具有导向性，因而必须审慎而为。历史经验证明，限制或控制一种创新技术往往是徒劳的，若在技术发展初期忽视潜在风险，待问题显现时可能已难以有效管控。因此，政府对人工智能的监管应构建具有原则性、包容性和弹性的治理框架，坚持敏捷治理和分类施策，实现法律法规、标准规范与技术创新同步推进。监管既要避免过早或过度干预抑制创新活力，也要防止对风险视而不见、累积系统性隐患。对人工智能发展过程中出现的苗头性、倾向性应用及社会影响，应及时开展多维度讨论与评估，发挥“监管沙盒”等试验性机制的作用，积极引导技术走向合规、向善的发展路径。

多元竞争与共同合作的关系。科技的飞速发展与全球化的深入推进，使科技领域的竞争格局日趋多元复杂。人工智能风险具有跨国界、无疆域的特点，一旦发生重大安全事故，其影响必将波及全人类。因此，防范与治理人工智能风险必须依靠国际协同与多元共治，形成政府、企业、研究机构、社会组织及公众共同参与的治理网络，而非零和博弈或单边行动。应推动形成全球性的最低标准共识，避免出现监管“洼地”和恶性竞争。正如全球核治理有核武器不扩散条约，人工智能治理也需要构建类似的国际公约体系，约束其发展，始终服务于人类福祉，防范被误用、滥用甚至恶用。国际社会应以开放包容的态度，加强沟通协作，不断调整创新协作合作机制，共同应对风险挑战，在竞争中谋求合作，在合作中管控竞争，最终实现共同繁荣与可持续的全球治理格局。

（本文刊登于《中国信息安全》杂志2026年第2期）

作者简介：

孙学玉，全国政协委员，国家民族事务委员会原副部长级专职委员，国家“十四五”规划重大工程项目《中华民族交往交流交融史》编纂委员会副主任兼办公室主任，《中国信息安全》杂志编委会主任，教授、博士生导师。曾任中央人才工作协调小组办公室主任、中央组织部干部教育局局长，兼任教育部“长江学者”奖励计划评审委员会委员、国务院学位委员会公共管理专业硕士学位教育指导委员副主任委员等。