AI时代开启 数字安全呼唤新范式

网文内容

IDC数据显示，2022年中国网络安全软件市场规模达39.2亿美元，同比增长12.5%。

12.5%

8月9日，以“安全即服务开启人工智能时代数字安全新范式”为主题的“ISC 2023第十一届互联网安全大会”在北京开幕。与会嘉宾表示，人工智能时代的数据安全问题尤为突出，解决AI大模型安全问题需要技术、监管共同发力；应前瞻布局人工智能与网络安全技术融合创新，增强产业链、供应链韧性和安全水平。

AI大模型安全成热点

当前，AI大模型安全问题成为影响AI行业深入发展的热点话题。中央网信办网络安全协调局副局长罗锋盈表示，生成式人工智能大力推动我国经济社会发展，同时存在生成信息准确性、真实性等亟需解决的问题。中国工程院院士邬江兴表示，AI大模型存在“三不可”内生安全个性问题，以及漏洞、后门等内生安全共性问题。

“人工智能的应用系统由基础软硬件、数据系统和人工智能算法、模型和上层应用组成，自身存在内生安全问题。”邬江兴介绍，深度学习AI模型存在“三不可”内生安全个性问题，这也是AI技术的基因缺陷。一是神经网络“黑箱”特点导致人工智能存在不可解释性；二是深度学习对训练样本过度依赖，导致学习结果的不可判定性；三是神经网络前向推进过程的不可逆，导致结果不可推论性。

此外，内生安全共性问题不可忽视。“AI应用系统硬件环境总要放在服务器上，有操作系统、CPU、存储器等，这些数据软硬件环节存在漏洞、后门等内生安全共性问题。内生安全个性和共性问题往往是交织存在的，使得AI应用系统的安全问题变得极其复杂，给政府、企业使用和维护应用带来前所未有的挑战。”邬江兴表示。

“人工智能时代的数据安全问题尤为突出。”中国工程院院士、ISC名誉主席邬贺铨认为，大模型训练依托海量数据，开源数据集、互联网数据容易得到，但数据集的质量值得推敲。如果拿这些数据来训练，内容风险程度可想而知。如果用企业自有数据进行大模型训练，就要考虑数据泄露的安全风险。

罗锋盈表示，要把数据资源真正转换成数字经济的发展动力，不仅要看地区总量上存储的数据规模有多大，还要看真正可提供、可共享给企业、机构、个人的数据有多少。

邬贺铨称，当前AI安全评估工作主要由企业自己负责，不少互联网公司有安全评估资质，国家也有安全评估中心，但仍有很多安全问题没有被评估出来。“人工智能技术发展和它带来的安全问题，我们认识还不够。”邬贺铨坦言。

坚持协同创新

业内人士表示，AI大模型安全问题需要企业、监管部门共同发力。

从技术解决办法来看，网络安全企业、参与AI大模型技术研发和产品开发的企业是解决安全问题的主力军。

“AI大模型安全超越许多传统安全经验，不能用解决网络安全的思想解决数据安全问题，不能简单利用解决数据安全的思路解决人工智能安全。”360集团创始人周鸿祎表示，解决AI大模型安全问题需要技术跨界，让具备AI大模型研发能力和网络安全建设能力的企业在其中发挥作用。越了解AI大模型工作原理，越有能力解决它的安全风险。

邬江兴提出了一个新思路，即利用内生安全理论中的动态异构冗余（DHR）构造方法，赋能AI应用系统内生安全实验。

邬江兴表示，紫金山实验室将在今年四季度举办第六届国际精英挑战赛，并新设AI应用系统安全赛道，这是世界上首次针对AI应用系统内生安全问题进行人机对抗的比赛。他呼吁更多的专家学者和企业界人士参与到AI应用系统内生安全研究和实践中来，共同推动AI时代的网络空间安全发展。

安全监管方面，罗锋盈表示，在AI大模型安全问题受到广泛重视的背景下，中央网信办会同相关部门起草并发布了《生成式人工智能服务管理暂行办法》，办法将于8月15日正式施行。

“在起草过程中，我们始终把推进人工智能等新技术发展应用作为工作的重要出发点和落脚点，支持和促进人工智能产业发展。将规范的范围限制在生成式人工智能，自动驾驶等其他人工智能应用不受影响，并且只规范向公众提供服务的情形，企业、科研机构、高校等开展科研攻关不在监管之列。”罗锋盈称。

中国互联网协会理事长尚冰建议，解决生成式人工智能带来的网络安全新挑战，要坚持协同创新。互联网龙头企业要积极开展原创性、引领性、基础性安全技术攻关，延伸技术领域拓展产品服务范围，完善产品矩阵。互联网初创企业要发挥快速灵活、资源集中的特点，以创新技术和产品切入细分领域，推动产品服务和行业发展紧密结合。坚持合规发展，提升安全治理水平。互联网企业应严格落实网络安全相关法律法规和政策文件要求，加强自身安全能力建设，构建全流程、全环节隐私合规体系。

网络安全市场逐步扩容

中国网络安全市场规模稳步扩大。IDC数据显示，2022年中国网络安全软件市场规模达39.2亿美元，同比增长12.5%。