人工智能+安全：筑牢大模型行业应用安全基石

主旨演讲：

齐向东（全国工商联副主席、奇安信集团董事长）：

重技术、强治理、聚合力，系统性提升安全能力

人工智能大模型在行业应用中面临“一个核心关切”和“三大主要挑战”。

“一个核心关切”，是确保高价值集中化的小数据安全。过去，大数据虽规模庞大，但存在碎片化和质量层次不齐等问题，难以实现数据挖掘的最高价值。在人工智能的垂直应用场景中，经过标注、清洗、学习后的数据精华，其价值得到了充分激发。然而，之前有价值的数据从散落在不同终端转为集中在一起，这些小数据一旦被窃取或泄露，企业护城河将顷刻化为乌有。对于重要单位而言，小数据与国家数据同等重要，一旦出现数据安全问题，将对国家安全造成巨大冲击。因此，解决与大模型直接相关的小数据安全问题是人工智能当前的核心挑战。

“三大主要挑战”的第一大挑战是利用大模型辅助开展网络攻击问题。人工智能技术促进了网络攻击手段的技术迭代，降低攻击的门槛。大模型以假乱真伪造信息，钓鱼威胁等行为都在加剧，攻击者利用人工智能输入虚假信息展开诈骗，或在价值观和认知安全方面产生危害。第二大挑战是大模型自身错综复杂的安全问题。人工智能大模型参数规模庞大，结构复杂，应用场景多样，各部分、各阶段都存在安全隐患。例如，在开发过程中，大模型不可避免地存在代码缺陷；在应用过程中，内部人员可能实施故意行为，如篡改模型；内部配置错误和弱口令可能导致信息泄露；云服务、接口和传统设备存在安全漏洞，这些都是大模型应用中的风险点。第三大挑战是大模型可能会成为网络攻击的放大器。当大模型被嵌入智慧城市、智慧政务和公共系统等领域时，可能会冲击传统网络的安全防线。

因此，面对大模型行业应用面临的安全挑战，需要重技术、强治理、聚合力，通过强化内生安全、实现全民数据采集、推动大路由与AI技术相结合、建设考核基础设施、实现快速生产等方式应对网络安全威胁。

云晓春 （中关村实验室首席科学家） ：

在AI技术迭代中构建网络攻防体系安全防线

以DeepSeek为代表的一系列通用大模型的出现，标志着人类社会正式迈入了人工智能时代。然而，大模型也带来了新的挑战和问题。

在训练安全方面，存在模型窃取和攻击的问题。攻击者通过API访问或对抗手段窃取模型参数、结构等机密信息，以复现、抄袭甚至攻击模型。此外，攻击者可在黑盒条件下通过知识蒸馏对大模型进行窃取攻击，利用中等规模的模型模仿大模型的输出行为，在特定任务上实现接近或超越大模型的性能，而无须了解大模型的内部结构或权重。在对抗攻击方面，大模型无法识别带有扰动的图片，可能导致模型作出错误的预测或决策。在推理安全问题方面，目标劫持、提示攻击可能导致模型原始智能外泄，越狱攻击则试图绕过大模型的安全机制，生成违法内容。在基础设施安全方面，攻击者通过破坏模型开发、训练和部署过程中使用的工具、数据或服务，篡改模型、窃取敏感信息，导致服务器被入侵或数据被窃取。此外，服务配置安全管理问题也是基础设施安全问题的一部分，通过破坏模型开发、训练和部署过程中使用的工具、数据或服务，攻击者可以篡改模型窃取敏感信息。

与此同时，大模型的出现将带来深远的变革，赋能各个应用场景。第一个场景是漏洞挖掘。随着智能化汽车、物联网的普及，软硬件供应链变得非常广泛，漏洞挖掘的难度大幅增加，传统依靠专家知识的方法效率低，难以覆盖海量设备，而利用大模型的代码分析能力，可以实现新场景的多种挖掘，大幅度提高智能化水平。第二个场景是大模型在钓鱼检测中的高效应用。钓鱼攻击、诈骗是主要的网络攻击方法。随着大模型的发展，现在生成的钓鱼邮件越来越真实。因此，利用大模型对意图的理解能力，可以对抗大模型生成的钓鱼软件，提高检测能力。第三个场景是对未知攻击的发现。随着可使用新工具越来越多，通过大模型精确定位和关联，有可能发现未知攻击。

江涛（科大讯飞联合创始人、高级副总裁）：

加快源头技术创新，增强中国大模型应用的竞争力

确保人工智能时代的网络安全，必须依靠智能技术之间的相互对抗，这需要网络安全专家和人工智能专家的紧密合作。近年来，人工智能的发展已步入加速阶段。

大模型在软件开发的各个阶段，从需求收集到规划、设计、编码，直至上线，将发挥越来越重要的作用。目前，大模型在编码阶段已能生成30%-40%的前端代码，且这一进化速度非常快。未来，大模型在前端代码生成方面将超越人类的表现。

人工智能的发展不仅局限于大型语言模型，在多模态和具身智能领域，还有巨大的提升空间。当这三个领域都达到智慧的门槛时，AGI时代就将到来，机器将能够在多种场合像人类一样执行任务。全球范围内，以家庭机器人为代表的人形机器人产业，有望成为万亿级别的市场，甚至可能是全球最大的产业。

近年来，人工智能成为中美大国博弈的焦点。中国在场景落地、制造能力、软硬件一体化、政策推动和市场规模等方面拥有比较优势。大模型技术的加速发展将进一步推动各行各业的进步。

郑文先（深圳云天励飞技术股份有限公司党委书记、副总裁）：

推动边缘AI，探索中国通用人工智能发展路径

今年1月推出了DeepSeek，意味着大模型能够在边缘侧实现落地应用。

边缘人工智能被认为是中国人工智能发展的一条有效路径。首先，在云端人工智能的发展道路上，美国各大科技巨头纷纷推出了参数庞大的大模型。

其次，边缘人工智能通过私有化部署，无须将数据上传至云端，从而有效解决了数据隐私和数据安全的问题。

第三， 边缘人工智能更接近应用场景，一方面降低了时延，另一方面能够根据客户需求快速响应对模型的调整。

随着预芯片的快速发展，人工智能产业进入了落地的快车道，将催生新的产业、新的模式和新的动能。然而，在人工智能的发展过程中，数据、框架、模型、芯片、网络等领域都存在系统级风险。此外，人工智能的落地还将带来更广泛的衍生风险，包括个人的工作生活模式、国家组织机制，以及未来全人类的可持续发展。

AI安全伴随着人工智能技术迭代和产业落地的两条发展路径，人工智能的安全治理刻不容缓。在人工智能落地过程中，只有在完善监管和加强自律的前提下，才能推动产业的健康发展，才能朝着有利于人类的方向前进。一是政府要加强顶层规范，通过出台法律来规范和引导；二是推进行业标准教育建设，通过制定自律规范和清晰的标准，完善行业自律体系；三是企业对内要建立完整的人工智能全生命周期技术数据的风险管理体系，对外则要确保提供的产品服务首先通过安全这一关。

胡振泉（360集团副总裁、360数字安全集团总裁）：

以“模”制“模”，筑牢数智安全防线

近年来，DeepSeek的兴起大大缩短了科技革命的进程，大模型将迅速普及到各行各业、走进千家万户，人工智能将引领第四次科技革命，请务必积极拥抱人工智能。

当然，大模型带来的安全问题也不容忽视。大模型的训练、推理和运营构成了一个复杂的软件生态系统，安全隐患贯穿始终。从技术角度讲，包括系统安全事件、信息内容、错误体系，以及AI的应用方式。

因此，大模型的发展应遵循四个原则：安全、向善、可信、可控。安全意味着要确保大模型的安全性，并解决数据隐私问题；向善是指确保输入输出内容的安全，使大模型的价值与社会期望相符；可信是指解决大模型可能产生的幻觉问题，避免知识模糊和胡编乱造；可控则是确保人的决策不会产生不可逆转的后果。大模型的安全问题非常复杂，超越了所有传统安全问题，就需要以模型限制模型。

大模型，更准确地说，是能力而非产品。如果模型只能进行推理和对话，功能将是有限的。因此，从安全角度来说，我们需要构建可靠的框架，将大模型的能力限制在可控范围内。维护人工智能安全是一场马拉松式的拉锯战，我们倡导开放生态，掌握多元化，共同应对不断升级和挑战的人工智能安全威胁。

龚玉山（奇安信集团观星实验室负责人）：

为企业AI应用提供全生命周期防护

大模型的应用对开发架构、算力模型、数据应用以及终端设备等方面都产生了根本性的影响。

大模型在企业应用中，数据应用和数据安全是首要考虑的问题，特别是大模型领域，数据准备和样本制作是关键。

从多个维度来看，大模型的应用需求很难通过单一场景来覆盖所有场景。我们识别了四个主要场景：首先是大模型厂商，他们主要关注数据模型训练和行业头部客户；其次是深度微调和小模型预训练；第三是利用SaaS技术模型，在模型部署领域，从模型训练到业务应用是一个漫长的过程，涉及算力平台、算法框架、数据集等；最后是模型安全，从2023年开始，大模型风险的关注度逐渐上升，这些问题可能会导致业务中断或非法滥用模型。

大模型的出现加剧了风险的复杂性，主要集中在以下几个方面：首先，大模型算力或应用平台、中间应用组件和工具可能存在缺陷；其次，违规操作，尤其是对模型训练阶段的数据操纵，意味着对模型的控制；第三，输入输出的不合规和权限的不可控；第四，针对大模型的攻击；最后，其他潜在风险。

在大模型安全技术检测方面，我们需要关注大模型自身的安全问题，如提示词泄露等。同时，智能体安全检测和大模型运行环境检测也不可或缺。最后，大模型应用安全防护需要一个体系化的解决方案。

圆桌对话：创新 安全 向善——探索大模型行业应用的协同路径

高丹（赛迪顾问股份有限公司总裁助理、赛迪数科技术有限公司总经理）：

完善制度，维护人的基本权利

近两年我们目睹了AI应用的爆发式增长，AI的安全性和治理问题已被提上重要议程。许多国家已经出台了关于AI治理的政策，针对生成式AI发布了相应的管理政策。从顶层逻辑来看，科技向善、安全是不可阻挡的趋势。

然而，从治理的角度出发，如何确保科技向善？首先，在AI应用或技术突破的过程中，创新必须基于大量信息和数据，同时必须尊重每个人的权益，尤其是个人隐私。其次，随着AI技术在某些应用场景中的显著进步，我们预见其未来可能对伦理道德产生影响，因此在治理的过程中，如何设计相关法律条文，是值得深思的问题。第三，从政策角度出发，在AI创新和推动产业发展的过程中，政策制定者应确保AI发展的公平性，确保产品研发得到正确引导，维护人的基本权利。

刘文懋（绿盟科技集团首席创新官）：

建立与现有企业制度相关的全流程AI制度

各类安全事件的威胁，主要集中在算法、算力和算智上。由于训练数据中可能包含敏感信息，数据本身也可能导致大量敏感信息的泄露。此外，模型还会引发版权和所有权的问题。人工智能作为一种新兴应用，涉及开发团队、测试团队、安全合规团队以及AI业务团队，目前缺乏统一的决策机制来管理新出现的风险。建议借鉴语音技术或敏捷开发的模式，将所有环节整合起来，将安全纳入考量。在上线测试环节，需要进行评估；在运行管理环节，需要有输入输出的控制；还需要建立相应的安全围栏等措施，这些都需要与业务紧密结合。希望企业设立CAIO （首席人工智能官） 等职位；同时，建立与现有企业制度相关的AI制度，将各种技术纳入其中，形成最佳实践。

于中灏〔第四范式（北京）技术有限公司副董事长〕：

AI应用商应通过技术设计主动适配监管要求

在大模型发展初期，我们致力于开发人工智能应用场景，始终以如何为客户创造更高价值、提升模型效果为出发点。在实践中，客户提供的反馈极为重要。尽管模型效果是关键考量因素，但安全性以及金融监管所关注的模型科技问题同样不容忽视。有时为了确保数据合规和数据治理的安全环境，不得不牺牲部分模型效果。从企业或监管层的角度来看，模型效果的提升，其差异可能并不显著。

我们掌握了一定的人工智能先进技术，若不加以适当限制，这些技术可能会导致数据隐私的泄露，对社会造成危害。作为企业，首要任务是开展对社会有益的活动。

从另一个角度来看，技术研究也能够促进监管政策的实施。监管政策的推行需要设定传达机制，但技术进步同样需要解决风险问题。我们不仅需要设立惩罚机制，更应从技术层面确保数据安全。例如，在隐私计算研究的产品开发过程中，致力于保护核心隐私数据不被泄露，通过传递参数而非直接传递数据，从根本上消除数据安全隐患，就是对合规、安全的有力推动。

以发展的眼光来看，技术必将迎来更多、更新的突破和迭代。相应地，监管体系也需要不断更新和完善。当企业都能够坚守底线，就应当思考如何为客户创造更高的价值。

刘会福（软通动力集团首席技术官）：

以确定能力应对不确定未来

尽管人工智能充满活力，但在实际落地过程中，面临着极高的要求和难度。创新与安全之间的平衡本身就是一项复杂的任务，正是这些严格的要求，催生了众多商机。AI网络安全是一个较新的领域，希望在AI安全项目落地时，能有一个平台作为支撑。

大模型软件本身，颠覆性难以预测，但居安思危是必要的。大模型是以软件为牵引的产业，而以智能模型以及AI模式为核心的形态，可能会改变过去做软件的简单模式。所以，要了解这个过程中的能力落地问题，把客户AI项目做好实际交付，以确定能力来应对不确定的未来，这是软件产业变迁要经历的过程。

（本文原载自《中国工商》2025年第5期）