科技行业：人工智能安全框架(2020年)

　　人工智能安全现状

    　　(一)人工智能安全挑战

    　　1.人工智能“基建化”加速，基础设施面临安全挑战2020 年5 月，我国《政府工作报告》提出以5G、人工智能等为代表的新型基础设施建设政策，此举按下了人工智能国家战略推进的快进键。随后，25 省市发布“新基建”政策方案，累计投资30 余万亿人民币，加快推动人工智能算力、算法和数据基础设施建设。在新基建推动催化下，人工智能技术将加快转变为像水、电一样的基础设施，向社会全行业全领域赋能。然而，人工智能基础设施却潜藏安全风险。

    　　以机器学习开源框架平台和预训练模型库为代表的算法基础设施因开发者蓄意破坏或代码实现不完善面临算法后门嵌入、代码安全漏洞等风险。2020 年9 月，安全厂商360 公开披露谷歌开源框架平台TensorFlow 存在24 个安全漏洞。开源数据集以及提供数据采集、清洗、标注等服务的人工智能基础数据设施面临训练数据不均衡、训练数据投毒、训练数据泄露等安全风险。2020 年，美国麻省理工学院的研究人员通过实验证实CIFAR-100-LT、ImageNet-LT、SVHN-LT 等广泛应用的数据集存在严重不均衡问题。

    　　2.人工智能“协同性”增强，设计研发安全风险突出联邦学习、迁移学习等人工智能新技术的应用，促进跨机构间人工智能研发协作进一步增多。因遵循了不同目标和规范，使得人工智能设计研发阶段的安全风险更加复杂且难以检测发现。一是人工智能算法自身存在技术脆弱性。当前，人工智能尚处于依托海量数据驱动知识学习的阶段，以深度神经网络为代表的人工智能算法仍存在弱鲁棒性、不可解释性、偏见歧视等尚未克服的技术局限。二是人工智能新型安全攻击不断涌现。近年来，对抗样本攻击、算法后门攻击、模型窃取攻击、模型反馈误导、数据逆向还原、成员推理攻击等破坏人工智能算法和数据机密性、完整性、可用性的新型安全攻击快速涌现，人工智能安全性获得全球学术界和工业界广泛关注。三是算法设计实施有误产生非预期结果。人工智能算法的设计和实施有可能无法实现设计者的预设目标，导致产生偏离预期的不可控行为。例如设计者为算法定义了错误的目标函数，导致算法在执行任务时对周围环境造成不良影响。

    　　3.人工智能“内嵌化”加深，应用失控风险危害显著产业智能转型升级的内在驱动，不断推动人工智能深度内嵌于各行各业各环节中，真正实现物理世界变化实时映射于数字世界，以及数字世界演进优化带动物理世界发展的双向融合。然而，人工智能各行业应用带来的数字和物理世界双向融合，将促使人工智能在数字世界中的安全风险向物理世界和人类社会蔓延。一是威胁物理环境安全。应用于农业、化工、核工业等领域的智能系统非正常运行或遭受攻击，可能破坏土壤、海洋、大气等环境安全。二是威胁人身财产安全。自动驾驶、无人机、医疗机器人、智慧金融等智能系统的非正常运行将可能直接危害人类身体健康和财产安全。三是威胁国家社会安全。不法分子恶意利用基于人工智能的换脸换声技术伪造政治领袖和公众人物的高逼真度新闻视频，可能引发民众骚乱甚至国内动乱，威胁国家安全。

    　　(二)人工智能风险地图

    　　与人工智能系统设计运营等全流程相结合，详尽剖析人工智能系统在各生命周期阶段面临的安全风险，将有助于分析定位人工智能安全风险来源，研究和部署针对性安全防御理论和技术。国际标准化组织（ISO）开展了《人工智能系统生命周期过程》标准项目，将人工智能系统全生命周期概括为初始、设计研发、检验验证、部署、运行监控、持续验证、重新评估、废弃八个阶段。基于ISO 对于人工智能系统全生命周期的划分，项目组描绘出人工智能全生命周期安全风险地图。

    　　初始阶段安全风险。初始阶段是指将想法转化为有形系统的过程，主要包括任务分析、需求定义、风险管理等过程。这个阶段的安全风险主要表现为对人工智能应用目标的设定有悖国家法律法规和社会伦理规范。

    　　设计研发阶段安全风险。设计研发阶段是指完成可部署人工智能系统创建的过程，主要包括确定设计方法、定义系统框架、软件代码实现、风险管理等过程。这个阶段的安全风险主要表现为人工智能基础设施不完善、技术脆弱性以及设计研发有误等引发的安全风险。