人工智能网络安全威胁图谱 强调了人工智能安全的相关挑战
12月15日,欧盟网络与信息安全局(ENISA)发布了题为《人工智能的网络安全挑战:人工智能威胁图谱》(Artificial Intelligence Cybersecurity Challenges: Threat Landscape for Artificial Intelligence)的报告,报告对人工智能网络安全生态系统及威胁图谱进行了描述,还强调了人工智能安全的相关挑战。
1.简介
人工智能不断影响着我们的生活,并通过自动化决策能力在数字化转型中起着关键的作用。作为新兴技术,人工智能带来的优势是非常明显的,但同时也带来了潜在的风险。比如,人工智能技术在自动驾驶汽车、智慧医疗等安全关键领域的应用可能会给个人和企业带来新的、有可能不可预测的风险中,也可能会带来新的攻击方法和技术,并创建新的数据保护挑战。
要确保人工智能本身的安全,那么需要:了解要确保什么的安全;了解相关的数据治理模型;在多方参与的生态系统中以一种综合的方式管理威胁;开发特定的控制方式来确保人工智能本身是安全的。
人工智能和网络安全具有多维关系,并且具有一系列的相互依赖性。
人工智能的网络安全问题。人工智能模型和算法缺乏鲁棒性,存在安全漏洞,比如对抗模型干扰和操纵,针对人工智能赋能的空间物理系统的攻击、对人工智能系统使用的数据的攻击等。 人工智能赋能网络安全。人工智能作为一种工具,可以通过开发更有效的安全工具来创造更强的网络安全能力;并利用人工智能来帮助执法机构等更好地应对网络犯罪,比如大数据分析调查取证、人工智能在犯罪活动中的应用等。 人工智能的恶意使用。人工智能的恶意使用可以创建更复杂的攻击,比如人工智能用于恶意软件生成、高级社会工程、DDoS攻击、深度生成模型生成虚假数据、口令破解等。这类使用既包括针对现有人工智能系统的攻击,也包括人工智能应用于攻击活动中。
2.AI生命周期
人工智能系统的生命周期包括几个相互依赖的阶段,从设计和开发(包括需求分析、数据收集、培训、测试、集成等子阶段)、安装、部署、操作、维护和处置。
2.1 数据
数据是人工智能中最有价值的资产之一,在人工智能生命周期中会不断地进行转化。图2是数据在人工智能生命周期内不同阶段的转化过程:数据引入(Data Ingestion)、数据探索(Data Exploration)、数据预处理(Data Pre-processing)、特征重要性(Feature Importance,类似特征提取)、培训、测试和评估(Training, Testing and Evaluation)。人工智能生命周期中的数据转换涉及其他几种类型的资产,如参与者、计算资源、软件等,甚至包括一些非有形资产,如流程、文化等,参与者的经验和知识可能带来潜在的非故意的威胁。
2.2 人工智能生命周期的参与者
在完整的人工智能生命周期中有不同类型的参与者,其中包括人工智能系统设计和创建工程中的人工智能设计者和人工智能应用开发者。此外,还有开发人工智能系统中所用的软件和算法的人工智能开发者。他们的经验和能力在安全的人工智能系统开发中起着非常重要的作用。
人工智能开发者和设计者的工作与数据科学家联系非常紧密。
数据科学家的工作包括帮助设计和开发人工智能模型 。数据科学家还参与收集和翻译数据的工作,主要是从数据中提取知识和观点。 数据工程师主要是从不同的源中提取和收集数据,然后进行转化、清理、标准化并存储。数据工程师主要是对数据流进行设计、管理和优化。
人工智能生命周期中其他的主要参与者还包括数据所有者。数据所有者是用于训练或验证人工智能系统的数据集的所有者。数据所有者也可以是数据提供者或数据代理商。
人工智能生命周期的参与者还包括模型提供商,负责提供经过训练或调整的模型。其中一些模型提供商是云提供者,以模型即服务的形式提供模型。也有第三方的提供者向开发者提供用于训练人工智能系统的第三方框架和库。
最后是使用人工智能系统的终端用户,也就是服务的消费者。
3. AI资产
威胁图谱中非常重要的一个元素就是可能暴露给威胁的资产种类。除了数据、软件、硬件、通信网络等与ICT相关的通用资产外,人工智能还有模型、数据等特定的资产,具体包括以下6大类:数据;模型;参与者;过程;环境/工具;相关产物Artefacts。
3.1 数据
数据资产包括原始数据、标记的数据集、公开数据集、训练数据、测试数据集、验证数据集、评估数据、预处理数据集等。
3.2 模型
模型资产包括算法、数据预处理算法、特征选择算法、模型、模型参数、模型性能、训练参数、超参数、训练后的模型、微调过的模型等。
3.3 参与者
参与者资产包括数据所有者、数据科学家、人工智能开发者、数据工程师、终端用户、数据提供者/代理人、云服务提供者、模型提供者、服务消费者/模型用户等。
3.4 过程
过程资产包括数据引入、数据存储、数据探索/预处理、数据理解、数据标记、数据收集、特征选择、模型选择/构建、训练和测试、模型微调、模型适应-迁移学习/模型部署、模型维护等。
3.5 环境/工具
环境/工具资产包括通信网络、通信协议、云、数据引入平台、数据探索平台、DBMS(数据库管理系统)、分布式文件系统、计算平台、集成开发环境、库、监控工具、操作系统/软件、优化技术、机器学习平台、处理器、可视化工具。
3.6 相关产物Artefacts
相关产物资产包括访问控制列表、用例、数据管理、价值主张和商业模型、数据管理策略、描述性统计参数、模型框架、软件、固件和硬件、高级测试用例、模型架构、模型已经按设计、数据和元数据方案、数据索引。
4. AI威胁
根据ENISA威胁分类方法,人工智能安全威胁主要可以分为以下几类:
恶意活动/滥用(NAA):指通过恶意行为,以窃取、更改或摧毁特定目标为目的,针对ICT系统、基础设施和网络的蓄意行为。 窃听/拦截/劫持(EIH):在未经用户同意的情况下监听、拦截或控制第三方通信的行为。 物理攻击(PA):旨在摧毁、暴露、更改、禁用、窃取或获得对基础设施、硬件或互联的物理资产的未经授权访问的行为。 非故意损害(UD):造成财产或人员的破坏、伤害或伤害,并导致失效或降低效用的无意行为。 故障或故障(FM):硬件或软件等资产部分或全部功能失效。 停机(OUT):服务意外中断或质量下降至要求水平以下。 灾害:造成重大损害或生命损失的突发事故或自然灾害。 法律(LEG):第三方根据法律采取的行动进行诉讼或赔偿损失。
4.1 恶意活动/滥用(NAA)
对数据集和数据转移过程的非授权访问; 对数据集和数据转移过程的操作; 对模型代码的非授权访问; 入侵和限制人工智能结果; 入侵人工智能干扰正确的数据; 入侵机器学习干扰正确的数据; 数据投毒; 数据修改; 权限提升; 内部威胁; 优化算法的操作; 基于对抗样本的错误分类; 模型投毒; 对抗攻击的转移; 在线系统操纵; 白盒、定向或非定向攻击; 标记数据操纵; 针对训练数据集的后门插入攻击; 入侵机器学习训练验证数据; 对抗样本; 降低数据准确率; 机器学习模型完整性操纵; DDoS攻击; 入侵机器学习预处理; 入侵模型框架; 数据索引破坏; 降低人工智能机器学习结果的有效性; 模型后门。
4.2 窃听/拦截/劫持(EIH)
数据干扰; 数据窃取; 模型泄露; 弱加密。
4.3 物理攻击(PA)
由于不可靠数据基础设施引发的错误或限制; 模型破坏; 针对基础设施系统的物理攻击; 通信网络攻击; 其他蓄意破坏。
4.4 非故意损害(UD)
入侵或限制人工智能结果; 在数据操作过程中破坏隐私; 破坏特征选择; 人工智能系统的操作配置或错误处理; 机器学习模型性能降级; 在线系统操纵; 数据缺乏充分的表示; 统计数据错误处理; 降低数据准确率; 模型的错误配置; 数据所有者引入的偏见; 个人信息泄露; 模型框架破坏。
4.5 故障(FM)
由于不可靠数据基础设施引发的错误; 第三方提供商故障; 机器学习模型性能降级; 数据质量检查缺失; 弱需求分析; 资源规划不足; 弱数据管理策略; 数据索引破坏; 入侵机器学习预处理; 入侵模型框架。
4.6 停机(OUT)
基础设置/系统停机; 通信网络停机。
4.7 灾害
地震、洪水、火灾等自然灾害; 气候变化等。
4.8 法律(LEG)
数据索引破坏; 厂商锁定; 弱需求分析; 缺乏数据治理策略; 个人信息泄露。
5.结论
ENISA人工智能威胁图谱是即将发布的网络安全政策倡议和技术指导的基础,还介绍了人工智能相关的挑战。其中一个特别重要的领域是与人工智能相关的供应链。因此,强调包括人工智能供应链的所有要素在内的欧盟生态系统对安全可靠人工智能是非常重要的。欧盟的安全人工智能生态系统应将网络安全和数据保护放在首位,并促进相关的创新、能力建设、提高认识和开展研发活动。
关键词: 人工智能
相关阅读
-
Misty为Furhat收购机器人公司Misty Robotics
Misty经历了一段地狱般的旅程。在从Foundry和Venrock筹集了1150万美... -
人物形象丰富多样,AI合成人物商业应用渐热
我是新华社AI合成主播新小浩,我们不仅仅长得像主播本人,还可以不... -
瑞士研究人员进行一个利用人工智能和机...
建筑和施工总是悄悄地处于技术和材料趋势的前沿。因此,特别是在像... -
Alphabet 正致力于将机器人带到办公...
谷歌的母公司 Alphabet 正致力于将机器人带到办公室来执行日常任... -
ModelMesh使开发者能够在Kubernetes之上...
模型服务是AI用例的一个关键组成部分。它涉及从人工智能模型中提供... -
研究人员:85%的人口受到人类活动引起的...
据外媒CNET报道,气候变化已经到来。如果我们不尽快采取行动,它将...
精彩推送
-
女子追尾后 质问前车司机为何刹车:急...
女子追尾后质问前车司机为何刹车:急得直跺脚 -
疑似东风本田2022年新车规划:新一代CR-...
疑似东风本田2022年新车规划:新一代CR-V、思域Type-R要来! -
车载摄像头真有这么香?特斯拉前脚释出...
车载摄像头真有这么香?特斯拉前脚释出大额订单知名日企也官宣入局 -
月薪5000也能买!2021款比亚迪e2试驾体...
月薪5000也能买!2021款比亚迪e2试驾体验:颜值、动力俱佳 -
轴距加长130mm、后排秒变“跑马场”!国...
轴距加长130mm、后排秒变“跑马场”!国产宝马X5长轴版曝光 -
奔驰销量暴跌 德系车在德国卖不动了:...
奔驰销量暴跌德系车在德国卖不动了:买特斯拉的狂增1 3倍 -
领克01被曝疑似虚假宣传?车顶钢材强度...
领克01被曝疑似虚假宣传?车顶钢材强度与宣传不符 -
雅迪电动车征服“中国最冷小镇”成功挑...
雅迪电动车征服“中国最冷小镇”成功挑战极寒天气续航200公里 -
没想到 新蒙迪欧成了中国设计“全球化...
没想到新蒙迪欧成了中国设计“全球化”的见证者 -
行业首家 小鹏超充贯通全国337城:何小...
行业首家小鹏超充贯通全国337城:何小鹏大赞! -
红旗向中国获奖奥运健儿交付11辆H9 直...
红旗向中国获奖奥运健儿交付11辆H9直接赠送和免费使用 -
皇冠轿车中国“复活”!曝一汽丰田将原...
皇冠轿车中国“复活”!曝一汽丰田将原装进口日本皇冠:35万起 -
宝马V12动力最后的荣光!M760i将限量发...
宝马V12动力最后的荣光!M760i将限量发售:起售127万 -
配剪刀门、升降式激光雷达!集度首款概...
配剪刀门、升降式激光雷达!集度首款概念车细节曝光 -
胡润世界八强榜单:特斯拉为唯一上榜车...
胡润世界八强榜单:特斯拉为唯一上榜车企位居第五 -
高速施工封路 大货避让不及撞废轿车:...
高速施工封路大货避让不及撞废轿车:人员全部奇迹生还 -
顺丰快递电动车高速上自燃 拖车紧急卸...
顺丰快递电动车高速上自燃拖车紧急卸车避险 -
马斯克被特斯拉股东起诉 索赔归还130亿美元
马斯克被特斯拉股东起诉索赔归还130亿美元 -
奔驰、吉利联手打造!Smart精灵#1量产版...
奔驰、吉利联手打造!Smart精灵 1量产版上路:取消对开门 -
特斯拉自动驾驶闯红灯撞向思域导致两人...
特斯拉自动驾驶闯红灯撞向思域导致两人死亡:司机被控过失杀人 -
雪铁龙凡尔赛被曝加速抖动 厂商拒不回...
雪铁龙凡尔赛被曝加速抖动厂商拒不回应车主投诉无门 -
女子结婚租到“盗版劳斯莱斯” 商家:...
女子结婚租到“盗版劳斯莱斯”商家:劳斯莱斯是形容词 -
贾跃亭要遵守约定!官方确认FF 91量产...
贾跃亭要遵守约定!官方确认FF91量产时间售价欲超200万元 -
新Mac Pro曝光:将搭载4个M1 Max处理器
据外媒最新报道称,苹果将在今年年底发布新一代Mac Pro,其最顶配... -
EFF基金会要求在iPhone手机中加入关闭2G...
GSM 2G网络已经有30年多年历史了,现在还有很多服务需要2G,但是该... -
三星GalaxyS22+的详细信息曝光:屏幕尺...
1月18日消息,MySmartPrice曝光了三星GalaxyS22+的详细信息。和Gala... -
Intel 12代酷睿i3曝光:超频幅度高达57%
通过超外频的方式,德国大神Der8auer将原本锁频的i5-12400、i5-1260... -
曝苹果SE机型可能会采用5.7英寸或6.1英...
据最新报道,显示屏行业顾问公司DSCC创始人兼CEO Ross Young在社... -
Intel 13代酷睿更新:接口保持不变 主板不兼容
IntelAlder Lake 12代酷睿采用了全新的LGA1700接口,必须搭配600... -
入门款新iPad曝光:可能被改造成支持5G
据最新消息称,苹果将在2022年底发布第十代iPad,在2023年进行更重... -
魅族专利公布一年后 手机终于要用上50W快充
去年年底魅族公布了自家分流式电池充放电控制系统及其控制方法、电... -
微软发布Win7/10/11紧急更新:修复多个W...
今天微软发布了紧急更新,主要是修复多个Windows版本问题,建议用户... -
首批RTX 3050曝光:多光线追踪
据介绍,RTX 3050本次供货主要以电商、线上、直播等平台为主,预测... -
Intel NUC 11廉价版曝光:规格性能实现飞跃
Intel今天为NUC 11迷你机家族增加了新的入门款NUC 11 Essential(... -
《关于紫光集团重整计划获法院裁定批准...
今晚,紫光集团通过官微,正式发布了《关于紫光集团重整计划获法院... -
Intel 13代酷睿曝光:接口与12代酷睿保持一致
据爆料,13代酷睿将会在今年第四季度发布,接口与12代酷睿保持一致... -
西安交大学生私自驾车离校至成都:关大...
西安交大学生私自驾车离校至成都:关大灯驶上草坪绕开检查 -
CEO做对一件事!福特市值首达1000亿美元
CEO做对一件事!福特市值首达1000亿美元 -
欧洲汽车大暴跌!原因太无奈:缺芯+疫情
欧洲汽车大暴跌!原因太无奈:缺芯+疫情 -
马斯克玩“无间道”!特斯拉成香饽饽 ...
马斯克玩“无间道”!特斯拉成香饽饽印度各地官员疯抢 -
爷青回!一汽发布全新企业LOGO:形似新...
爷青回!一汽发布全新企业LOGO:形似新飞冰箱标识 -
特斯拉Model Y USB-C快充模块拆解:遗...
特斯拉ModelYUSB-C快充模块拆解:遗憾砍掉数据传输 -
宁德时代正式发布换电品牌 蔚来回应:...
宁德时代正式发布换电品牌蔚来回应:表示欢迎 -
三星试产4080圆柱形电池:媲美特斯拉468...
三星试产4080圆柱形电池:媲美特斯拉4680、能量密度大增 -
宁德时代玩换电 曾毓群请吃“巧克力”...
宁德时代玩换电曾毓群请吃“巧克力”:1分钟换1块未来适配80%车型 -
中东部地区大面积雨雪、大雾天气!交管...
中东部地区大面积雨雪、大雾天气!交管部门发布驾驶人提醒 -
实测不到6个油 全新丰田汉兰达获CCRT测...
实测不到6个油全新丰田汉兰达获CCRT测评综合得分86 3分 -
宁德时代换电品牌“EVOGO”正式发布:1...
宁德时代换电品牌“EVOGO”正式发布:1分钟全自动换电面向所有汽车 -
谁能抵抗一个会撒娇的萝莉呢?《原神》...
谁能抵抗一个会撒娇的萝莉呢?《原神》首款导航语音上线 -
宁德时代乐行换电正式发布 宣传片惊现...
宁德时代乐行换电正式发布宣传片惊现蔚来网友:砸场子! -
比亚迪全新中型SUV谍照曝光:或为巡洋舰...
比亚迪全新中型SUV谍照曝光:或为巡洋舰05主打DM-i动力 -
iPhone XS Max可降级iOS 14.1,为何...
我们都知道,苹果每次在推送新版iOS之后,都会关闭上一个正式版系统... -
四维图新发布业绩预告:2021年实现扭亏为盈
1月16日晚,四维图新NavInfo官方宣布了其2021年度的业绩预告,该公... -
被炮轰刷新底线!团车闻伟:造车不会儿...
被炮轰刷新底线!团车闻伟:造车不会儿戏邀请李想参加产品发布会 -
零百加速超17秒 40年前经典奥迪被拍卖...
零百加速超17秒40年前经典奥迪被拍卖:最高出价6 7万元 -
“青蛙眼”大灯瞩目!欧拉闪电猫量产版...
“青蛙眼”大灯瞩目!欧拉闪电猫量产版谍照曝光:最快5月上市 -
SIAL国际食品展(上海)启动之际,“中食...
日前,中共中央、国务院印发了《知识产权强国建设纲要(2021—2035年... -
CrowdStrike野外样本增加,进行分布式拒...
根据 CrowdStrike 的威胁遥测数据 ,在 2021 年针对 Linux ... -
2022年会成为Linux桌面元年吗?
2022 年会成为 Linux 桌面元年吗?答案可能依然是否定的,但我们... -
比亚迪半导体MCU曝光:最高工作频率48MHz
今日,据比亚迪半导体公众号消息,继2020年8月推出国内首款集成触摸... -
XPOWER XS70 PCIe 4.0固态硬盘曝光:...
Silicon Power(SP)近日面向玩家,推出了全新的 XPOWER XS70 PCI... -
一加6和一加6T将正式停止官方软件支持
近日,一加海外社区官方人员正式确认,一加6和一加6T的官方支持已经... -
Misty为Furhat收购机器人公司Misty Robotics
Misty经历了一段地狱般的旅程。在从Foundry和Venrock筹集了1150万美... -
曝骁龙8 Plus旗舰Q3曝光:改用4nm工艺Plus版本
按照此前多方消息显示,高通会在今年下半年推出改用台积电4nm工艺的... -
宁德时代进军“换电”市场 注册多个商标
日前,宁德时代官方消息,宁德时代将于1月18日15:30举办发布会,推... -
业界首个!集度汽车机器人车标发布:百...
业界首个!集度汽车机器人车标发布:百度、吉利联合打造 -
比亚迪、中国一汽成立动力电池合资公司...
比亚迪、中国一汽成立动力电池合资公司:产能超百万辆电动车 -
中毒了 中国汽车活化石大变样!新一代B...
中毒了中国汽车活化石大变样!新一代BJ212外形堪比路虎卫士 -
丰田章男用毛笔写下年度汉字“動”!中...
丰田章男用毛笔写下年度汉字“動”!中日文一语双关 -
四缸增程器、零百加速不到6秒!售价50万...
四缸增程器、零百加速不到6秒!售价50万的理想X01买吗 -
富豪驾布加迪德国高速狂飙至417km/h 9...
富豪驾布加迪德国高速狂飙至417km h9分钟能烧干一箱油 -
日本佳能关闭珠海工厂:主要停产数码相...
最近日本相机巨头佳能关闭珠海工厂的消息引发热议,佳能中国已经确... -
外媒:CarKey有望发布 可用iPhone解锁汽车
据国外媒体报道,苹果分析师马克 · 格尔曼(Mark Gurman )表示... -
外媒:LG Innotek将向特斯拉提供价值超...
据国外媒体报道,LG Innotek将向特斯拉提供价值超过1万亿韩元的电... -
Forbes发表观点性文章,揭示2022年量子...
Safe Quantum安全首席执行官兼创始人John Prisco日前在Forbes发表... -
高清概念渲染图曝光 揭开Galaxy Tab...
预计下个月,三星会在 2022 年度首场GalaxyUnpacked 发布会上,... -
中际旭创预计今年全球数通市场光模块需...
中际旭创近日举行了投资者关系活动。中际旭创副总裁、董事会秘书王... -
苹果Safari浏览器Bug曝光:影响使用苹果...
据 MacRumors 报道,根据浏览器指纹识别服务提供商 FingerprintJ... -
14nm显卡性能曝光:追上GTX 1050 功耗为30W
1月17日,景嘉微在投资者关系活动中表示,公司历经十余年发展,成功... -
NVIDIA RTX 3090 Ti功耗曝光:高达48...
今天,某厂商的旗舰型RTX 3090 Ti规格参数被泄露出来,可以看到满... -
外媒:苹果内部讨论传闻已久的VR/AR设备...
据国外媒体报道,苹果产品方面的资深记者日前表示,苹果内部已经讨... -
网友发现新版微信支持搜索后批量删除好友
前不久,iOS版微信率先更新了8 0 17版。除了万众期待的语音消息暂... -
云网融合打造生态系统,产业链企业数量...
近日,Semtech举办媒体沟通会,宣布公司与腾讯云达成协议,LoRa Cl... -
便宜又好用 中国制造的电动车在日本成...
便宜又好用中国制造的电动车在日本成了香饽饽 -
零百加速5.9秒力压埃尔法!全球最速MPV...
零百加速5 9秒力压埃尔法!全球最速MPV岚图梦想家白车身下线 -
比亚迪宋DM-i最强对手!奇瑞星途追风PHE...
比亚迪宋DM-i最强对手!奇瑞星途追风PHEV亮相:亏电油耗4 8L -
真实起火率统计对比:混动车危险系数最...
真实起火率统计对比:混动车危险系数最高、电动车排在燃油车之后 -
全球首款续航破千电动车!广汽Aion Lx...
全球首款续航破千电动车!广汽AionLxPlus冬季媒体实测:最高960Km -
四缸增程器、续航800公里!理想X01路测...
四缸增程器、续航800公里!理想X01路测谍照曝光:售价约50万买吗 -
比丰田埃尔法还豪华 红旗全新MPV内饰曝...
比丰田埃尔法还豪华红旗全新MPV内饰曝光:二排座椅是亮点! -
配坦克300同款档杆、一体式双联屏!哈弗...
配坦克300同款档杆、一体式双联屏!哈弗酷狗内饰曝光 -
“元宇宙”热火蔓延车圈!中国车企首个N...
“元宇宙”热火蔓延车圈!中国车企首个NFT拍卖到来:送真车一辆 -
零下35℃雪天在特斯拉里过夜:10万km电...
零下35℃雪天在特斯拉里过夜:10万km电池坚持了一天半 -
被李想炮轰后 团车CEO首次回应:别成为...
被李想炮轰后团车CEO首次回应:别成为自己最记恨的那波人 -
印度提议本国生产所有车型 至少配备六...
印度提议本国生产所有车型至少配备六个气囊!网友:远超中国标准 -
实测1067马力超官方数据!最强特斯拉Mod...
实测1067马力超官方数据!最强特斯拉ModelS动力测试结果出炉 -
威马汽车私自“锁电”引众怒 173名车主...
威马汽车私自“锁电”引众怒173名车主联名发律师函向厂家维权 -
比长城还会玩!上汽大众凌度L公开征求昵...
比长城还会玩!上汽大众凌度L公开征求昵称:辣馒头、麻辣烫在内 -
宁德时代进军“换电”市场 注册“巨无...
宁德时代进军“换电”市场注册“巨无霸换电块”商标 -
大众集团全球销量出炉 超大众成行业榜首
随着大众集团全球销量出炉,一年一度的汽车行业榜首之争一锤定音。...