人工智能安全发展报告(2024—2025)电子书

主编简介

国家工业信息安全发展研究中心简介

摘要

全球篇

B.1 2024年全球人工智能产业发展综述

一、人工智能技术边界持续延伸，产业维持高速发展强劲态势

（一）人工智能市场潜力凸显，人工智能投融资逆势增长

（二）人工智能技术加速迭代升级，多模态大模型、世界模型、推理模型成年度热点

（三）开源大模型加速人工智能普惠化，融合应用向纵深推进

（四）人工智能治理政策法规相继出台，国际合作持续深化拓展

二、美国：致力于强化人工智能领域的全球领先地位

（一）美国人工智能政策呈现“对内松绑、对外筑墙”特点

（二）美企在算力与模型等关键领域仍处于领先地位

（三）全球资本加注美国人工智能企业

三、中国：以“人工智能+”为核心，推动人工智能产业融合发展

（一）政策体系持续深化，央地协同加速生态构建

（二）市场规模增长迅猛，全链条能力进一步增强

（三）人才储备与创新能力显著提升

四、欧盟：利用严监管主导人工智能发展，通过加大投资支持创新

（一）人工智能法案正式落地，监管政策迎来重大进展

（二）设立组织机构，确保人工智能法案贯彻实施

（三）人工智能投资力度不断加大，算力和大模型成为重点

五、韩国：通过立法为人工智能应用创造可靠的环境

（一）推动人工智能立法，平衡人工智能发展与安全治理

（二）制定产业发展战略，打造人工智能创新生态

六、人工智能技术纵深发展，融合应用赋能行业转型升级

（一）技术发展将向多模态融合、大小模型协同、人机协同等方向发展

（二）算力提升将成为人工智能产业发展的关键战略

（三）融合应用将向产业链高价值环节渗透

技术篇

B.2 推理大模型：技术发展、产业现状、问题与未来趋势分析

一、技术发展现状呈现多维突破与场景适配特征

（一）概念演进与分类体系呈现多维协同创新特征

（二）技术关键点突破重塑模型推理范式

（三）国内外技术竞争呈现差异化发展格局

二、产业规模化部署提速，生态分化初现

（一）产业规模加速扩张，推理侧需求成为增长核心引擎

（二）产业生态化协同趋势加速，多模态协同与产业链上下游整合成为关键

（三）市场呈现头部效应，巨头垄断与中小企业生态位争夺并存

三、存在的问题

（一）架构创新滞后制约复杂任务处理能力

（二）数据治理缺陷威胁模型可靠性根基

（三）数据质量问题影响推理大模型性能和可靠性

（四）商业化落地难题阻碍推理大模型产业价值实现

四、推理大模型未来发展趋势

（一）认知架构创新开启智能进化新阶段

（二）轻量化技术推动产业应用普惠化

（三）开源与闭源并行，构建混合商业模式

B.3 AI算法本地化部署带动端侧算力需求

一、多种算力模式同步发展，端侧算力应用广泛

（一）AI计算网络的三种模式及端侧算力的特点

（二）端侧算力应用领域解析

二、各类型端侧算力设备发展多样，高性能端侧设备需求逐渐增长

（一）低算力端侧设备产业发展现状

（二）中等算力端侧设备产业发展现状

（三）高算力端侧设备产业发展现状

（四）极高算力端侧设备产业发展现状

三、大模型推理效率亟待提升，国产高性能推理芯片仍显不足

（一）大模型推理效率难以满足端侧实时交互需求

（二）国产高性能推理芯片生态尚未健全

（三）能耗与算力的平衡仍待突破

四、端侧算力设备演进趋势展望

（一）专用推理芯片性能持续提升，助力大模型本地完整部署

（二）多模态大模型轻量化落地，赋能丰富终端智能体验

（三）能耗与性能进一步优化，推动低功耗智能设备普及

（四）端侧算力网络初具雏形，设备间协同推理成为可能

安全篇

B.4 全球人工智能安全治理研究

一、人工智能安全的内涵分析

二、全球人工智能安全治理总体态势

（一）人工智能安全风险不断加速暴露

（二）全球人工智能安全治理加快落地

（三）全球合作寻求人工智能安全共识

三、各国人工智能安全治理探索与实践

（一）美国：推行“宽松式”治理，注重引导行业自律

（二）欧盟：推动分级管理，围绕高风险系统开展事后监测

（三）新加坡：发布治理框架和测评工具，务实指导各类组织自我评估

（四）日本：推行敏捷治理，指导企业开展相关安全治理

四、构建人工智能安全治理体系的建议

（一）构建人工智能安全风险治理体系的原则

（二）构建人工智能安全风险治理体系的主要思路

B.5 美国商务部发布人工智能安全研究所计划启示

一、美国白宫发布行政令构筑人工智能治理战略蓝图，美商务部积极出台指南工具推动部署落实

（一）美国白宫出台第14110号行政命令，全方位打造美国人工智能治理蓝图

（二）美商务部推动治理政策工具落地，积极发挥在人工智能治理部署中的核心作用

（三）美国商务部成立人工智能安全研究所，发布治理指南以响应拜登政府行政命令

（四）美国商务部治理指南以实践为导向，提供了人工智能风险管理、系统测试与标准化最新成果

二、美国商务部系列指南工具内容丰富，涵盖双重用途模型滥用风险防范、生成式模型风险管理、软件开发安全管理、测试工具及全球标准参与计划等人工智能治理各重要领域

（一）发布双重用途基础模型滥用风险管理最佳实践

（二）推出生成式人工智能详细风险管理指南

（三）提供降低生成式人工智能和两用基础模型数据安全风险的软件开发最佳实践

（四）发布集成于Dioptra平台的AI系统对抗性攻击开源测试工具

（五）推出人工智能标准全球参与计划

三、美国商务部指南工具展示了美国在解锁人工智能潜力和应对挑战方面的最新动向，对全球人工智能治理提供了参考

（一）强化人工智能治理战略谋划

（二）巩固人工智能安全技术优势

（三）抢夺全球人工智能治理标准话语权

四、借鉴美国人工智能治理经验，加强我国人工智能安全治理体系建设

（一）建立专门机构，系统推进安全治理体系建设

（二）推动技术攻关，加强安全检测技术、工具研发

（三）加强规则引导，构建“政策+标准+法律”的一体化监管框架

（四）加强国际合作，构建人工智能国际治理框架

融合篇

B.6 人工智能加速赋能新型工业化，助力制造业高质量发展

一、人工智能引领新一轮革命，重塑经济社会发展形式

（一）人工智能是新一轮科技革命与产业变革的重要驱动力量

（二）人工智能是制造业转型升级的强大动力源泉

二、各国政府加强政策引导，积极推动人工智能与制造业融合应用

（一）中国：高度重视人工智能产业应用，聚焦人工智能与制造业深度融合，大力推进人工智能赋能新型工业化

（二）美国：致力于推动“再工业化”，以保持美国在先进制造业的全球领先地位

（三）欧盟：大力推动人工智能基础设施建设，为制造业转型提供有力支撑

（四）日韩：重视官民合作，推动全社会共建人工智能

（五）越南：以政府体制改革和政策制定为引导，加速人工智能落地

三、制造业企业已达成普遍共识，生成式人工智能成为新秀

（一）产业层面：全球制造业龙头企业积极引入人工智能，加快布局智能制造

（二）技术层面：生成式人工智能技术愈加成为制造业企业关注焦点

四、人工智能与制造业深度融合，高效赋能多样化应用场景

（一）研发设计

（二）中试验证

（三）生产制造

（四）运营管理

（五）营销服务

五、制造业领域智能化程度不一，人工智能赋能新型工业化仍存诸多问题挑战

（一）工业机理及生产运行机制复杂多样，通用AI算法难以应对细分领域需求

（二）制造业企业算力资源有限，无法有效支撑高性能及大参数AI模型计算

（三）海量工业数据资源尚未挖掘，专业知识亟待构建

（四）AI算法模型存在不可解释性，恐给制造业生产带来安全隐患

六、人工智能持续迭代更新，引领未来制造业发展趋势

（一）大模型技术从通用向垂直专业领域深度适配

（二）合成数据弥补高质量工业数据集缺口

（三）人工智能创新场景持续深入制造业全链条

（四）制造业人工智能安全成为关注焦点

B.7 政务大模型助力提升政府治理效能

一、政务大模型赋能政务效能提升的现实需求与意义

二、国内外推动政务大模型应用的发展现状

（一）国内政务大模型应用现状

（二）国外政务大模型应用现状

三、构建政务大模型实现政务智能化的关键核心技术

（一）面向政务场景的数据集构建技术

（二）基于政务数据的大模型微调技术

（三）政务大模型内容安全管理技术

四、应用政务大模型优化政务办公的典型场景

（一）辅助政策研究

（二）辅助公文写作

（三）辅助建议提案办理

（四）辅助信访投诉

五、应用政务大模型带来的潜在风险与问题挑战

（一）大模型自身存在“幻觉”现象，错误生成内容恐影响政府公信力

（二）政务数据资源利用不充分，高质量数据集亟待补充拓展

（三）政务信息系统软硬件性能不足，制约高性能模型进一步应用

（四）政务信息系统安全性要求高，大模型内容保密机制研究滞后

六、政务大模型赋能政府治理效能的未来发展趋势

（一）场景创新成为促进政务大模型深入应用的重要路径

（二）多模态数据集成为拓展政务大模型能力的重要资源

（三）测试评估成为推进政务大模型安全合规的重要前提

B.8 人工智能推动金融行业发展变革

一、人工智能成为金融行业变革核心驱动力

二、金融领域人工智能发展态势向好

（一）金融行业积极推进人工智能布局

（二）大模型引领金融技术实现突破

（三）人工智能中台搭建成为数字化转型新基建

（四）人工智能在金融领域应用场景拓展多元化

三、人工智能与金融融合应用面临风险与挑战

（一）数据隐私与安全构成人工智能与金融融合应用挑战

（二）数据获取阻碍人工智能与金融融合应用发展

四、人工智能在金融领域融合应用前景明朗

（一）人工智能与金融监管协同并进

（二）人工智能驱动金融服务个性化与场景化发展

B.9 人工智能赋能低空经济开启智能航空新纪元

一、人工智能在低空经济领域的深度融合，推动低空经济创新发展

（一）技术融合：人工智能赋能低空经济的关键领域

（二）场景融合：人工智能扩展低空经济应用边界

（三）生态融合：构建人工智能+低空经济的基础设施

二、人工智能+低空经济发展应用场景不断更新，我国与欧美国家竞争进入关键期

（一）欧美人工智能+低空经济起步早、投入大、成效明显

（二）我国低空经济已具备较好的发展基础，低空经济将成为国家经济增长新引擎

三、人工智能+低空经济发展面临四大问题

（一）低空空域利用限制难突破，低空经济场景规模化应用受制约

（二）关键零部件国产化能力不足，多重核心技术待突破

（三）低空管控手段和能力欠缺，监管平台数据共享难度大

（四）人才供给和管理模式有待加强

四、人工智能赋能低空经济，开启创新发展新格局

（一）政策引领低空经济发展，加速产业布局升级

（二）加强行业安全监管，优化法规监管体系

（三）加大空域管理改革力度，创新动态空域治理模式

（四）加强人才培养与国际合作，打造跨学科人才矩阵

专题篇

B.10 大模型的未来

一、大模型未来三大发展趋势

（一）通用性进一步提升，全面对齐人类认知

（二）模型进一步轻量化，搭载终端更加灵活

（三）融合程度逐渐加深，落地场景不断丰富

二、去概率化大模型成为大模型发展的主要框架

（一）常识与理解有限

（二）推理与记忆能力受限

（三）缺乏目标导向性

（四）去概率化大模型的优势

三、目标驱动的AI新架构

（一）目标驱动架构的核心理念

（二）目标驱动架构的实现过程

四、相关研究与实践

（一）联合嵌入预测架构（JEPA）

（二）JEPA的应用场景

B.11 AI智能体2024年发展现状及未来趋势

一、AI智能体及其技术演进历程

二、模型与工具并举，助力智能体成熟与普及

（一）AI智能体的工作原理

（二）多智能体：群体协作提升系统性能

（三）MCP：AI工具统一接口，释放智能体空前潜力

（四）模型厂商“以价换量”，多层推理带动算力升级

三、AI智能体撬动产业重构，从效率革命到场景拓展

（一）AI智能体重构全球产业格局，提升运行效率

（二）AI智能体的商业模式不断创新

（三）在商业实践中，AI智能体不断实现场景化突破

四、AI智能体未来在技术走向、生态形态、应用场景拓展等方面迎来新的发展

（一）技术演进：小模型、低能耗、多模态

（二）生态重构：开放平台与社区共创

（三）应用拓展：全场景覆盖与行业深耕

（四）智能化与自主化：从工具到协作者

（五）云边端协同：下一代智能范式

五、AI智能体在算力、数据、应用泛化、伦理与道德方面仍面临挑战

（一）算力基础设施瓶颈

（二）数据获取与处理难题

（三）应用泛化能力不足

（四）伦理与道德风险

B.12 具身智能：人工智能的下一站

一、全球具身智能发展态势与趋势分析

（一）具身智能：从理论构想到技术革新

（二）具身智能：技术积累与突破的历程

（三）具身智能：技术突破如何重塑产业格局

二、国际具身智能提速发展

（一）我国具身智能：市场规模与政策机遇

（二）国际具身智能：各国战略布局与技术竞争

三、具身智能产业链图谱及应用领域

（一）具身智能产业链：构成要素与技术驱动

（二）具身智能应用场景：行业渗透与多元落地

四、具身智能发展面临的挑战与应对策略

（一）数据、算力与多模态大模型：具身智能的技术瓶颈与突破路径

（二）安全与伦理：具身智能的规范发展与风险防控

（三）标准化与合规化：具身智能产业的协同发展与规范治理

五、具身智能的未来展望与战略路径

（一）跨模态交互：具身智能的感知与行动革命

（二）与人类协作：具身智能的伙伴角色与价值创造

（三）自主学习与持续进化：具身智能的自我优化与适应能力

B.13 人工智能标准化研究

一、标准化引领人工智能规范化发展

二、人工智能领域标准化现状

（一）国际层面人工智能标准化分析

（二）国内层面人工智能标准化分析

三、人工智能领域标准化体系分析

（一）国际国内体系差异分析

（二）未来发展趋势

四、典型领域标准化实践与案例

（一）自动驾驶标准化突破

（二）医疗人工智能标准化创新

五、人工智能标准化挑战与应对策略

（一）核心挑战解析

（二）应对策略建议

B.14 人工智能开源社区发展建设研究

一、国外人工智能开源社区凭借技术、平台和资源优势，成功吸引了全球开发者积极参与

（一）依托核心模型算法开源和配套工具聚集驱动开源社区创新发展

（二）借助国际顶尖企业的号召力壮大开源社区力量

（三）构建完善的开发环境维持开源社区“吸引力”

二、国内人工智能开源社区发展势头强劲，但仍处于在早期成长阶段

（一）国内人工智能开源社区发展迅猛，开源开发者生态逐步壮大

（二）国内人工智能开源社区普遍用户活跃度低

（三）国内人工智能企业仍将国际平台作为开源首选

（四）国内开源社区间尚未形成资源合力

三、国内人工智能开源建设面临开源意识薄弱、无序竞争、运营机制不健全等挑战

（一）国内人工智能开源意识薄弱

（二）无序竞争制约开源社区整体发展速度

（三）运营机制不健全导致开源社区规范治理进程滞后

四、加快人工智能开源社区建设对策建议

（一）强化开源社区顶层政策规划引导

（二）建立适合国情的开源社区运营机制

（三）推动开源教育并建立信任制度

（四）促进标准化与国际化协作

B.15 人工智能投资触底反弹聚焦AIGC

一、全球人工智能产业投融资热度回升

（一）全球人工智能投融资回暖，OpenAI引发投资热潮

（二）国际巨头收购升温，资源倾斜头部企业

（三）OpenAI狂揽融资，AI投融资马太效应显著

二、中国人工智能市场资本趋于理性

（一）人工智能市场投融资回归理性，投资规模持续紧缩

（二）北京融资规模稳居榜首，区域形成产业集群

（三）AI应用层主导行业融资，赛道分化特征加剧

三、OpenAI引领全球资本聚焦AIGC

（一）AI行业应用吸引广泛关注，资本聚焦AIGC

（二）AI大模型投融资热度走高，吸引战略投资

（三）云计算企业估值持续攀升，盈利增长降速

四、AIGC头部企业连续获得巨额投资

（一）CoreWeave完成75亿美元战略融资和11亿美元C轮融资

（二）OpenAI完成81亿美元战略融资

（三）xAI先后完成60亿美元B轮融资、50亿美元战略融资和60亿美元C轮融资

（四）Waymo完成56亿美元战略融资

（五）Anthropic获得67.5亿美元战略融资

（六）G42获得15亿美元战略融资

五、投融资热潮与收益不匹配或将引发投资泡沫

（一）投资者押注行业巨头，积极布局创新浪潮

（二）行业科技投融资缩减，基础设施更受青睐

（三）独角兽企业快速崛起，商业模式尚欠东风

附录A 2024年人工智能产业十大热点事件

附录B 全球人工智能产业链各环节布局情况

Abstract