人工智能+安全： 筑牢大模型行业应用安全基石

编者按

为贯彻落实全国两会及2025年政府工作报告精神，确保“人工智能+”战略与新质生产力深度融合的关键任务得到有效实施，进一步推动大数据、人工智能等前沿科技领域的研究与应用，促进人工智能技术在医疗、教育、先进制造等关键领域的广泛应用，强化人工智能技术创新与产业应用的相互促进作用，全国工商联第73期德胜门大讲堂邀请业界知名专家学者、领军企业代表等，围绕“人工智能+安全”前沿技术、创新思路和实践经验展开深入探讨。现将主要观点摘编如下。

齐向东（全国工商联副主席、奇安信集团董事长）：

重技术、强治理、聚合力，系统性提升安全能力

人 工智能大模型在行业应用中面临“一个核心关切”和“三大主要挑战”。

“一个核心关切”，是确保高价值集中化的小数据安全。过去，大数据虽规模庞大，但存在碎片化和质量层次不齐等问题，难以实现数据挖掘的最高价值。在人工智能的垂直应用场景中，经过标注、清洗、学习后的数据精华，其价值得到了充分激发。然而，之前有价值的数据从散落在不同终端转为集中在一起，这些小数据一旦被窃取或泄露，企业护城河将顷刻化为乌有。对于重要单位而言，小数据与国家数据同等重要，一旦出现数据安全问题，将对国家安全造成巨大冲击。因此，解决与大模型直接相关的小数据安全问题是人工智能当前的核心挑战。

“三大主要挑战”的第一大挑战是利用大模型辅助开展网络攻击问题。人工智能技术促进了网络攻击手段的技术迭代，降低攻击的门槛。大模型以假乱真伪造信息，钓鱼威胁等行为都在加剧，攻击者利用人工智能输入虚假信息展开诈骗，或在价值观和认知安全方面产生危害。第二大挑战是大模型自身错综复杂的安全问题。人工智能大模型参数规模庞大，结构复杂，应用场景多样，各部分、各阶段都存在安全隐患。例如，在开发过程中，大模型不可避免地存在代码缺陷；在应用过程中，内部人员可能实施故意行为，如篡改模型；内部配置错误和弱口令可能导致信息泄露；云服务、接口和传统设备存在安全漏洞，这些都是大模型应用中的风险点。第三大挑战是大模型可能会成为网络攻击的放大器。当大模型被嵌入智慧城市、智慧政务和公共系统等领域时，可能会冲击传统网络的安全防线。

因此，面对大模型行业应用面临的安全挑战，需要重技术、强治理、聚合力，通过强化内生安全、实现全民数据采集、推动大路由与AI技术相结合、建设考核基础设施、实现快速生产等方式应对网络安全威胁。

云晓春 （中关村实验室首席科学家） ：

在AI技术迭代中构建网络攻防体系安全防线

以DeepSeek为代表的一系列通用大模型的出现，标志着人类社会正式迈入了人工智能时代。然而，大模型也带来了新的挑战和问题。

在训练安全方面，存在模型窃取和攻击的问题。攻击者通过API访问或对抗手段窃取模型参数、结构等机密信息，以复现、抄袭甚至攻击模型。此外，攻击者可在黑盒条件下通过知识蒸馏对大模型进行窃取攻击，利用中等规模的模型模仿大模型的输出行为，在特定任务上实现接近或超越大模型的性能，而无须了解大模型的内部结构或权重。在对抗攻击方面，大模型无法识别带有扰动的图片，可能导致模型作出错误的预测或决策。在推理安全问题方面，目标劫持、提示攻击可能导致模型原始智能外泄，越狱攻击则试图绕过大模型的安全机制，生成违法内容。在基础设施安全方面，攻击者通过破坏模型开发、训练和部署过程中使用的工具、数据或服务，篡改模型、窃取敏感信息，导致服务器被入侵或数据被窃取。此外，服务配置安全管理问题也是基础设施安全问题的一部分，通过破坏模型开发、训练和部署过程中使用的工具、数据或服务，攻击者可以篡改模型窃取敏感信息。

与此同时，大模型的出现将带来深远的变革，赋能各个应用场景。第一个场景是漏洞挖掘。随着智能化汽车、物联网的普及，软硬件供应链变得非常广泛，漏洞挖掘的难度大幅增加，传统依靠专家知识的方法效率低，难以覆盖海量设备，而利用大模型的代码分析能力，可以实现新场景的多种挖掘，大幅度提高智能化水平。第二个场景是大模型在钓鱼检测中的高效应用。钓鱼攻击、诈骗是主要的网络攻击方法。随着大模型的发展，现在生成的钓鱼邮件越来越真实。因此，利用大模型对意图的理解能力，可以对抗大模型生成的钓鱼软件，提高检测能力。第三个场景是对未知攻击的发现。随着可使用新工具越来越多，通过大模型精确定位和关联，有可能发现未知攻击。

江涛（科大讯飞联合创始人、高级副总裁）：

加快源头技术创新，增强中国大模型应用的竞争力

确保人工智能时代的网络安全，必须依靠智能技术之间的相互对抗，这需要网络安全专家和人工智能专家的紧密合作。近年来，人工智能的发展已步入加速阶段。

大模型在软件开发的各个阶段，从需求收集到规划、设计、编码，直至上线，将发挥越来越重要的作用。目前，大模型在编码阶段已能生成30%-40%的前端代码，且这一进化速度非常快。未来，大模型在前端代码生成方面将超越人类的表现。

人工智能的发展不仅局限于大型语言模型，在多模态和具身智能领域，还有巨大的提升空间。当这三个领域都达到智慧的门槛时，AGI时代就将到来，机器将能够在多种场合像人类一样执行任务。全球范围内，以家庭机器人为代表的人形机器人产业，有望成为万亿级别的市场，甚至可能是全球最大的产业。

近年来，人工智能成为中美大国博弈的焦点。中国在场景落地、制造能力、软硬件一体化、政策推动和市场规模等方面拥有比较优势。大模型技术的加速发展将进一步推动各行各业的进步。

郑文先（深圳云天励飞技术股份有限公司党委书记、副总裁）：

推动边缘AI，探索中国通用人工智能发展路径

今年1月推出了DeepSeek，意味着大模型能够在边缘侧实现落地应用。

边缘人工智能被认为是中国人工智能发展的一条有效路径。首先，在云端人工智能的发展道路上，美国各大科技巨头纷纷推出了参数庞大的大模型。

其次，边缘人工智能通过私有化部署，无须将数据上传至云端，从而有效解决了数据隐私和数据安全的问题。

第三， 边缘人工智能更接近应用场景，一方面降低了时延，另一方面能够根据客户需求快速响应对模型的调整。

随着预芯片的快速发展，人工智能产业进入了落地的快车道，将催生新的产业、新的模式和新的动能。然而，在人工智能的发展过程中，数据、框架、模型、芯片、网络等领域都存在系统级风险。此外，人工智能的落地还将带来更广泛的衍生风险，包括个人的工作生活模式、国家组织机制，以及未来全人类的可持续发展。

AI安全伴随着人工智能技术迭代和产业落地的两条发展路径，人工智能的安全治理刻不容缓。在人工智能落地过程中，只有在完善监管和加强自律的前提下，才能推动产业的健康发展，才能朝着有利于人类的方向前进。一是政府要加强顶层规范，通过出台法律来规范和引导；二是推进行业标准教育建设，通过制定自律规范和清晰的标准，完善行业自律体系；三是企业对内要建立完整的人工智能全生命周期技术数据的风险管理体系，对外则要确保提供的产品服务首先通过安全这一关。

胡振泉（360集团副总裁、360数字安全集团总裁）：

以“模”制“模”，筑牢数智安全防线

近年来，DeepSeek的兴起大大缩短了科技革命的进程，大模型将迅速普及到各行各业、走进千家万户，人工智能将引领第四次科技革命，请务必积极拥抱人工智能。

当然，大模型带来的安全问题也不容忽视。大模型的训练、推理和运营构成了一个复杂的软件生态系统，安全隐患贯穿始终。从技术角度讲，包括系统安全事件、信息内容、错误体系，以及AI的应用方式。

因此，大模型的发展应遵循四个原则：安全、向善、可信、可控。安全意味着要确保大模型的安全性，并解决数据隐私问题；向善是指确保输入输出内容的安全，使大模型的价值与社会期望相符；可信是指解决大模型可能产生的幻觉问题，避免知识模糊和胡编乱造；可控则是确保人的决策不会产生不可逆转的后果。大模型的安全问题非常复杂，超越了所有传统安全问题，就需要以模型限制模型。

大模型，更准确地说，是能力而非产品。如果模型只能进行推理和对话，功能将是有限的。因此，从安全角度来说，我们需要构建可靠的框架，将大模型的能力限制在可控范围内。维护人工智能安全是一场马拉松式的拉锯战，我们倡导开放生态，掌握多元化，共同应对不断升级和挑战的人工智能安全威胁。

龚玉山（奇安信集团观星实验室负责人）：

为企业AI应用提供全生命周期防护

大模型的应用对开发架构、算力模型、数据应用以及终端设备等方面都产生了根本性的影响。

大模型在企业应用中，数据应用和数据安全是首要考虑的问题，特别是大模型领域，数据准备和样本制作是关键。

从多个维度来看，大模型的应用需求很难通过单一场景来覆盖所有场景。我们识别了四个主要场景：首先是大模型厂商，他们主要关注数据模型训练和行业头部客户；其次是深度微调和小模型预训练；第三是利用SaaS技术模型，在模型部署领域，从模型训练到业务应用是一个漫长的过程，涉及算力平台、算法框架、数据集等；最后是模型安全，从2023年开始，大模型风险的关注度逐渐上升，这些问题可能会导致业务中断或非法滥用模型。

大模型的出现加剧了风险的复杂性，主要集中在以下几个方面：首先，大模型算力或应用平台、中间应用组件和工具可能存在缺陷；其次，违规操作，尤其是对模型训练阶段的数据操纵，意味着对模型的控制；第三，输入输出的不合规和权限的不可控；第四，针对大模型的攻击；最后，其他潜在风险。

在大模型安全技术检测方面，我们需要关注大模型自身的安全问题，如提示词泄露等。同时，智能体安全检测和大模型运行环境检测也不可或缺。最后，大模型应用安全防护需要一个体系化的解决方案。