等保资讯

文 | 中国兵器工业计算机应用技术研究所 赵小川 樊迪

人工智能是引领新一轮科技革命和产业变革的重要驱动力量，正在对经济发展、社会进步等方面产生重大而深远的影响。在以人工智能推进高质量发展的进程中，要吸取人类历史上“先发展、后治理”的深刻教训，充分认识和评估人工智能存在的风险，加强对人工智能的安全监管，从而实现人工智能及其相关产业的高水平发展。习近平总书记高度重视统筹人工智能的发展和安全，围绕二者的辩证统一关系、筑牢国家安全屏障等作出一系列重要指示，强调要加强对人工智能发展过程中潜在风险的研判和防范，维护人民利益和国家安全，确保人工智能安全、可靠、可控。

一、数据驱动式人工智能的内涵、特征及发展

人工智能的概念于1956年在美国达特茅斯会议上提出，目标是让计算机像人一样思考与学习。从人工智能的主要驱动机制来讲，可以分为以下三类：第一类是经验规则驱动的人工智能，它模拟人类逻辑，用符号来表示知识和信息，并通过推理来处理信息，专家系统、知识图谱、基于规则的推理系统均属于经验规则驱动的人工智能；第二类是行为反馈驱动的人工智能，其理论基础是控制论和进化论，通过外部刺激和反馈来实现智能行为，主要包括遗传算法、蚁群算法、进化算法等；第三类是数据驱动式人工智能，是指利用大量数据来训练机器学习模型，使其能够识别目标、做出决策或预测趋势，主要包括传统机器学习中高度依赖数据训练的算法、深度学习、大语言模型、多模态大模型等，它是人工智能发展史上新的里程碑，在当前的应用最为广泛。

数据驱动式人工智能以大规模数据为核心驱动力，是通过机器学习算法自动从数据中提取模式、规律和知识，并基于这些学习成果进行预测、分类、生成等智能任务的人工智能技术范式。数据驱动式人工智能与前两类人工智能的根本区别在于：经验规则驱动的人工智能依赖专家知识和手工构建的规则库；行为反馈驱动的人工智能主要通过环境交互获得反馈信号进行优化；而数据驱动式人工智能则直接从大规模数据中学习，具有更强的泛化能力和适应性，能够处理更加复杂和多样化的任务。

数据驱动式人工智能的主要特征包括以下几个方面：第一，它具有强大的数据处理能力，能够处理和分析海量的数据，依赖于数据的数量和质量来提升其分析、判断、决策能力；第二，它能够根据新数据不断调整模型参数和优化算法；第三，它能够实时或近实时地提供决策，为各种应用场景提供快速响应；第四，它高度依赖硬件平台，对硬件平台的架构和算力要求较高。

数据驱动式人工智能已广泛应用于图像检测、自动驾驶、语言翻译等领域。从OpenAI的GPT系列到Google的Gemini，从百度文心一言到近期备受关注的DeepSeek等大语言模型；部署在“萝卜快跑”等无人驾驶车辆终端的深度神经网络小模型等都属于数据驱动式人工智能。当前，它正在由“小模型+判别式”向“大模型+生成式”转变，文本生成、程序编写、语音生成、视频生成、人机交互已成为数据驱动式人工智能的应用热点。

数据驱动式人工智能是一种先进的技术，应用前景广阔，对社会的发展也会产生一定的影响。然而，技术的突飞猛进也会伴随着风险的陡然上升。著名物理学家霍金就曾表示，强大人工智能的崛起，对人类来说，可能是最好的事情，也可能是最糟糕的事情。因此，我们在创新发展与广泛应用数据驱动式人工智能之时，也应加强安全性研判与前瞻性预防，最大限度地降低其所带来的风险隐患。

二、数据驱动式人工智能的安全风险分析

随着人工智能大模型、生成式人工智能等技术在各领域广泛应用，数据偏见、隐私泄露等风险也随之增加。2025年7月31日，国务院常务会议审议通过《关于深入实施“人工智能+”行动的意见》，提出要提升安全能力水平，加快形成动态敏捷、多元协同的人工智能治理格局。

（一）技术层面的风险

数据驱动式人工智能在技术层面存在多种安全风险，主要包括训练数据投毒、提示注入攻击、大模型幻觉、敏感信息泄露等，具体如下。

训练数据投毒主要是指在用于训练模型的数据中恶意加入错误数据或篡改正确数据，影响模型的训练效果，生成有瑕疵的模型，从而使模型的准确性大大降低。

提示注入攻击是指攻击者通过精心构造的输入（提示词）来诱导大模型偏离预设行为，甚至绕过安全防护，已被开放式Web应用程序安全项目（OWASP）列为2025年大语言模型应用的头号安全风险。

大模型幻觉是指大模型的生成结果中包含了无根据的或错误的内容，它不同于简单的知识性错误，而是模型在编造与真实世界脱节的信息，具有隐蔽性强的特点。

敏感信息泄露主要由数据驱动式人工智能的涌现性造成，这种涌现性意味着即使用于训练模型的数据本身并不包含敏感信息，但模型也可能通过自学能力展示出非敏感数据之间的联系及规律等结论，而这些结论可能是敏感信息，输出之后可能造成敏感信息泄露。

目前，数据驱动式人工智能的核心架构、调优算法、训练框架等，大部分来自国外。主流大模型的核心架构是美国谷歌公司设计的，调优算法是美国的OpenAI公司提出的，训练框架是基于国外的开源框架，这些技术一旦被美国封控，对我国大模型的发展势必会造成极其不利的影响。在自主可控方面，我国虽然取得了一些进步，但其兼容性、工具链的完备性等方面与国际先进水平还存在一定差距。

（二）应用层面的风险

除上述技术层面的安全风险外，数据驱动式人工智能在实际应用过程中还面临着一系列与社会生活深度融合所产生的风险。这些应用层面的风险主要体现在对用户行为、社会认知和网络安全等方面的负面影响。

一是过度的个性化推荐，易形成“信息茧房”。“信息茧房”产生的原因是智能推荐系统通常基于用户的历史行为和偏好来预测其未来的兴趣点；用户更倾向于点击与自己兴趣相符的内容，这会导致智能推荐系统不断强化这一偏好，从而形成一个反馈循环，使得用户越来越难以接触到不同的信息。人们陷入相对封闭的“信息茧房”困境而毫无觉察，导致对现实情况的误解和误判；长此以往，会导致认知扭曲。

二是“投喂式获取”，影响探索、思考的能力。生成式大模型通过深度学习和自然语言处理技术，可以快速理解人类语言并生成对应的答案。一些使用者只需在生成式大模型对话框中输入问题便能获取答案。这种“投喂式获取”方式存在以下安全隐患：首先是主动探索的兴趣逐渐减弱，使用者可能会逐渐习惯于依赖模型来获取答案，从而减少了自己查询、探索和验证信息的耐心，逐渐失去探索问题的好奇心和主动性；其次是逐渐产生思维惰性，由于生成式大模型可以快速提供答案，使用者可能不再愿意投入时间和精力去深入理解、分析复杂的问题。如果使用者，特别是青少年，总是依赖生成式大模型来提供解决方案，那么其创造性思维和解决问题的能力就会受到抑制。

三是“以假乱真”，大模型会根据用户的指令，生成虚拟的视频、图片和音频。在低成本、规模化生成内容的同时，也具备更强的舆论操控潜力，可精准传播特定信息，放大影响效应。在社会热点、灾情事故、伪科普等方面，已有多起利用人工智能生成技术制造和传播虚假信息的案例。

四是“降低网络犯罪门槛”。大模型可根据用户要求自动生成用于进行网络攻击的程序代码，给网络安全带来了极大的威胁。用户仅需向大模型输入简单的指令或需求，便可获得钓鱼软件代码、勒索程序代码等，这极大地降低了网络犯罪的难度。

三、进一步加强风险防护的方法

针对上述各类安全风险，需要构建多层次、全方位的防护体系。基于“预防为主、防治结合”的原则，从技术和应用两个维度制定相应的风险防护策略。

（一）技术层面的风险防护

在数据安全问题的风险防护方面，从技术角度来看，治理对策包括以下四点。一是加强甄别清洗效能，解决训练数据投毒问题。在模型中添加一个自动过滤预处理模块，自动剔除不合理数据；该模块的功能与人脑对输入的信息具有“去粗取精、去伪存真”的功能类似，从而快速提升输入到模型训练中的数据质量。二是加强对用户输入（提示词）的过滤，检测并拦截包含可疑关键词或符号的输入（提示词）。三是采用检索增强生成技术结合高质量、经过验证的外部知识库来增强模型输出的事实准确性。四是加强对输出信息的鉴别，解决敏感信息泄露问题。在训练好的模型输出端增加对输出信息进行鉴别的模块，对模型输出的疑似敏感信息进行脱敏处理。

在自主可控问题的风险防护方面，面向国家重大需求，针对数据驱动式人工智能领域的“卡脖子”问题，如高性能硬件平台、模型算法架构、软件开发环境，开展企业、高校、科研院所联合攻关、协同创新，以科技手段应对风险挑战；强化企业创新的主体地位，打造从底层技术、芯片到上层行业应用的全链条产业生态体系；对未来发展方向提前布局，加大支持力度，实现由“国产化替代”向“国产化引领”的跨越式转变。

（二）应用层面的风险防护

在“信息茧房”问题的风险防护方面，一是增加透明度，让推荐系统注明为什么推荐某些内容，提供更多的用户控制选项，允许用户调整系统的个性化推荐功能。二是鼓励多样性，在推荐算法中加入一定程度的随机功能。三是提升关于“信息茧房”问题的风险意识，制定相关政策和法规来减少其负面影响。

在“投喂式获取”问题的风险防护方面，一是通过科普宣传及科学引导，使人们认识到在使用生成式大模型带来便捷性的同时，也存在一些局限性和负面影响。二是将生成式大模型作为辅助工具，而不是唯一的信息来源；主动寻找多种资源来验证和扩展知识。三是对接收到的生成式大模型提供的答案保持适度的怀疑态度，进行批判性分析，而不是无条件接受；将生成式大模型的答案作为自己思考的补充材料，而不是替代品，立足自己的知识和经验来进行创新性思考。

在“以假乱真”“降低网络犯罪门槛”问题的风险防护方面，要加大智能系统生成内容的合规性检测力度。一是从政策、法规、道德、伦理等方面完善智能系统所生成内容的合规性评判准则，衔接《人工智能生成合成内容标识方法》《新一代人工智能伦理规范》等人工智能伦理规范的要求，将核心价值观深度融入人工智能模型研发的全生命周期。二是组织高校、科研机构针对“深度伪造”的检测与防御、生成的恶意代码的识别与拦截等关键技术进行持续深入的科研攻关，综合运用多特征深度分析、多模态信息交叉验证等方法，快速、准确地寻找伪造、篡改痕迹，并不断进行技术的升级迭代。三是完善视频、音频创建标识制度，对“深度伪造”的视频、音频进行标识，避免引起公众混淆或误认。

当前，世界各国及地区普遍重视人工智能安全的相关立法工作。2019年，加拿大颁布了《自动化决策指令》；2020年，新西兰制定了《算法宪章》；2022年，美国发布了《人工智能权利法案蓝图》；2024年，欧洲议会通过了欧盟《人工智能法案》；2022年至2023年，我国先后发布了《互联网信息服务算法推荐管理规定》《互联网信息服务深度合成管理规定》《生成式人工智能服务管理暂行办法》等。然而，随着数据驱动式人工智能的快速发展，应用领域的不断拓展，使用人群数量的不断增加，新的风险隐患也会不断出现，需要进一步完善相关法律法规。一是对新型隐私数据的保护。目前，人们的生活习惯、生理特征、社交行为、交通轨迹等也已成为训练数据，供大模型进行学习、优化，需要完善此类新型数据保护和隐私侵犯问题的法律监管制度。二是面向交叉领域的安全性法律法规。由于数据驱动式人工智能在应用的时候并不是孤立的，需要在不同的领域与不同的平台进行深度融合。这种融合会产生新的安全问题，所以需要加快面向交叉领域的安全相关法律法规的确立。

四、结 语

当前，新一轮科技革命和产业变革迅猛发展，人工智能等新技术方兴未艾，大幅提升了人类认识世界和改造世界的能力，同时也带来一系列难以预知的风险挑战。

数据驱动式人工智能作为新质生产力的重要推动力量，正在蓬勃发展。其独特的数据依赖性、学习适应性和生成创造性，既为经济社会发展注入强劲动能，也衍生出一系列技术、应用层面的风险。这些风险具有隐蔽性强、传播速度快、影响范围广的特点，对传统的安全治理模式提出了新的考验。面向未来，我们要秉承“边预防、边发展、边治理”的理念应对风险挑战。在技术维度，要突破核心算法、框架平台等关键环节的“卡脖子”问题；在应用维度，要强化全生命周期风险管控，对潜在的风险进行前瞻性预判，对暴露出的问题进行有效整治；在治理维度，要加快完善相关法律法规，形成政府监管、行业自律、社会监督的协同治理格局。唯有坚持发展与安全并重，创新与规范同行，才能确保数据驱动式人工智能在推动高质量发展的进程中行稳致远。

（本文刊登于《中国信息安全》杂志2025年第9期）