用“小AI”解决人工智能的“大”烦恼 三个方面缩小现有模型
人工智能在不断发展的同时,其背后算力的消耗也十分惊人。有统计显示,谷歌公司研发的伯特预训练语言模型,拥有3.4亿个数据参数,而训练它一次所需的电力足够一个美国家庭使用50天。
承载了人类未来大梦想、大可能和巨大挑战的人工智能, 火了这么些年,取得了长足的发展,与之相辅相成的,是人工智能日益“庞大”的架构体系,诸如常以十亿计的计算单位,庞大的云计算数据中心……越来越“大”是人工智能的现实与未来吗?
近日《麻省理工科技评论》公布年度十大突破性技术排行榜,微型人工智能技术(Tiny AI)位列其中。从大到小,难道是人工智能正在“返璞归真”的途中?
不可持续的“大”人工智能
我们都知道,随着研究人员不断给算法“喂养”大量数据,机器学习变得越来越聪明,但它们是否也变得更环保呢?答案是否定的。
不可否认,人工智能在过去几年中取得了许多突破。深度学习是许多人工智能系统实现高精度的突破之一。研究人员发现,虽然人工智能每一天都在变得更加精确,但同时也带来了隐藏的环境代价。
“当前人工智能携带着庞大的数据集被输入到云数据中心,然后由无穷无尽的算法进行分析。”威海北洋电气集团股份有限公司副总工程师秦志亮表示,数据上传到云中心的过程,以及通过复杂的算法结构和精巧的训练方式获得高精度的算法模型,不仅会产生惊人的碳排放量,而且限制了算法模型的运行与部署速度,同时带来很多隐私问题。
美国马萨诸塞大学阿默斯特分校研究人员的一项研究结论对秦志亮的说法提供了佐证。他们通过揭示算法训练的能量强度发现,训练一种算法产生的二氧化碳排放量相当于一辆普通汽车终生二氧化碳排放量的5倍,或者相当于飞机在纽约和旧金山之间大约300次的往返飞行。研究人员认为,在寻求人工智能高准确性的过程中,人们似乎失去了对能源效率的关注。
事实上,“大”人工智能也不适合离线和实时决策,比如自动驾驶解决方案,且日益依赖于巨大的能量、巨大的带宽,这种模式在经济和生态上同样具有不可持续性。
另外,更让研究人员担心的是,这一趋势还可能加速人工智能研究集中到少数科技巨头手中,在学术界或资源较少的国家,资源不足的实验室根本没有办法使用或开发计算成本昂贵的模型。
去中心化或是未来趋势
人工智能虽已融入大众生活,但最终的成功还要取决于“落地”,实现大规模商用,这应该是推动微型人工智能发展的直接原因。
“为了实现人类对人工智能远大的梦想,我们必须从小处着想,甚至很小。云数据主导的趋势正在转变,未来的人工智能环境将是去中心化的。”海南普适智能科技有限公司CEO陈啸翔说。
海南中智信信息技术有限公司总经理于建港认为,“这是一条与计算机发展相反的路径,计算机的发展经历了从个人终端,然后到互联网化、虚拟化的过程。而微型人工智能是先互联网化、虚拟化,再终端化。”
以伯特(Bert)为例。伯特是谷歌公司高级研发科学家雅各布·德夫林(Jacob Devlin)和他的团队开发的预训练语言模型(PLM),它可以理解单词和上下文,可以为写作提出建议或独立完成的句子。《麻省理工科技评论》报道中称,伯特拥有3.4亿个数据参数。此外,训练它一次所需的电力足够一个美国家庭使用50天。
华为研究人员则发表文章称,他们制作了微型伯特(Tiny Bert)模型,尺寸比伯特缩小7.5倍,速度还快了近10倍。来自谷歌的研究人员也发表文章说,他们已经造出了一个比伯特小了60多倍的版本,但其语言理解能力略差于华为的版本。
华为和谷歌他们是如何做到的?其实,这两家公司都使用了一种常见的压缩技术的变体,这种技术被称为“知识提取”,可以让想要缩小的大型人工智能模型去训练其图像中的小得多的模型,类似于老师训练学生。
我们可以这样理解,微型人工智能应是人工智能研究界为缩小算法规模所做的努力。这不仅是减少模型的大小,而且还加快推理速度,保持了高水平的准确性。此外,还可以在边缘部署小得多的算法,无需将数据发送到云,而是在设备上进行决策。
三个方面缩小现有模型
微小数据、微小硬件、新型材料、微小算法,微型人工智能是一种综合方法,涉及数据、硬件和算法的共同开发。
如何在不明显影响模型准确度的前提下,缩小现有的深度学习模型,秦志亮认为,可以从三个方面着手。一是硬件方面的边缘端计算,二是算法方面的模型简化,三是数据方面的小样本训练。
无论是新技术还是新理念,大众的关注点还是其在市场上的普及率,特别是产品量产与应用。
“微型人工智能具体落地场景包括语音助手、数字化妆等,涉及到即时场景理解,边缘端目标检测等技术;此外,微型人工智能也将使新的应用成为可能,比如基于移动端的医学影像分析,或对反应时间要求更快的自动驾驶模型的开发。”秦志亮说。
“现在微型算法一般在几百兆到几个G,完全可以装在到手机上。”于建港说,微型人工智能可以应用在所有需要前端控制的应用上,即使5G已加速覆盖了,网络时延降低,但是像工控、自动驾驶、航天等需要快速反应的应用,都需要本地部署人工智能算法。他认为,将来的业务形态应该是终端做出简单快速的反馈,服务器做出重大决策。
在2019年年底的安博会上,已有人工智能初创企业推出“Tiny AI”,该公司将低功耗、小体积的NPU与MCU整合,适配市场上各种主流的2D/3D传感器,满足2D/3D图像、语音等识别需求的AI解决方案受到了业界的关注。此外,英伟达(NVIDIA)和华为等公司,也都陆续推出了终端型图形处理器,体型较小、功耗较低、功能可以满足简单的算法。
技术初期期待宽松发展环境
微型人工智能尚处于初期发展阶段,该领域的安全、伦理、隐私等问题也同样引起人们的关注。
秦志亮担心的问题有两个。一是算法歧视可能激增。他说,算法歧视之所以难以解决,归根结底在于算法的可解释性与训练数据的不均衡,相比于传统的云端训练,微型人工智能的训练数据集样本较少,数据的分布可能更加偏颇。另一个隐患是数据伪造的影响。GAN(Generative Adversarial Network)和深度伪造技术为代表的视频与图像技术一直是人工智能算法研究的热点。随着这些技术的普及,未来的用户端极有可能接收或产生大量的虚拟伪造数据。微型人工智能受限于计算力的制约,在分散式网络架构中,如何有效地甄别这些伪造数据,这很可能是一个隐患。
于建港则认为,微型人工智能会导致分布式人工智能的兴起,每个终端都成为一个AI节点,各自都能独立存活,出现类似区块链的应用。网络侧的控制力度将降低,政府的管控风险加大。不过,技术都是两面性的,于建港分析,虽然有这些风险,但是对人工智能的管控技术也在发展,应该相信微型人工智能的正面作用,不应该在技术初期就限定太多条条框框。(王祝华)
关键词: 人工智能
相关阅读
-
机器人保险新道理 智能机器人也有工伤险
在工厂车间,24小时不停流转的机器人工人与人类协作互通,共同从事... -
2022年人工智能技术成熟度曲线报告 决...
Gartner发布了最新的《2022年人工智能技术成熟度曲线》报告,报告称... -
首届人工智能安全大赛收官 决出三大冠军
以共筑AI安全 安享智能未来为主题的AISC首届人工智能安全大赛圆满... -
特斯拉有望在明年一季度开始生产电池 ...
9月14日消息,据国外媒体报道,特斯拉2019年确定建设的柏林超级工厂... -
韩国半导体出口同比增长近8% 芯片仍占...
9月13日消息,据国外媒体报道,韩国贸易、工业和能源部此前公布的数... -
2022年上半年智能汽车 净利同比增近2000%
近期,我国多家智能汽车供应链上市公司陆续公布了2022年中报,盖世...
精彩推送
-
2024 年助力品牌全域经营 SaaS 工具
海量智能是一家专注于智能营销工具研发和用户运营解决方案的创新型 -
实现全流程国产化 蜜巢政务大模型3.0重...
2024年7月4日,2024世界人工智能大会暨人工智能全球治理高级别会议 -
加速“人工智能+”总台研究院主办活动来啦
“人工智能必须是发展与治理同步,政府要划定边界,特别要在国际上加 -
国科微全系边端AI芯片闪耀WAIC2024:加...
7月4日,2024世界人工智能大会(以下简称“WAIC2024”)在上海开幕 -
钛虎科技机器人震撼发布:T170A“瑶光”...
2024年7月4日 —— 在全球瞩目的2024世界人工智能大会(WAIC)暨人... -
拐点已在眼前,北汽蓝谷积聚向上势能
伴随着中国新能源汽车市场的高速发展,各家新能源汽车企业的表现都备 -
年轻员工猝死频发:沃民高科AI引擎驱动...
在科技快速发展的今天,高强度的工作节奏已成为许多行业尤其是科技 -
强者恒存!曙光存储重磅新品再破存力上限
6月25日,曙光存储召开了主题为“先进存力,凝聚数据要素”的新品暨... -
国产“Omniverse”诞生! 联想新视界重...
近年来,以英伟达Omniverse为代表的元宇宙平台在元宇宙国际竞争中呈 -
丝芭传媒旗下美踏元宇宙和鹦鹉人启动内...
6月26日,丝芭传媒旗下酝酿已久的创新AIGPT及AIGC生成工具APP“鹦鹉 -
李德毅院士:人类的四种基本认知模式
编者按人类认知的整个活动,就是如何解释、解决人类在生存和繁衍过 -
视觉生成式AI如何引领各行各业创新?CVP...
导语:50+ 论文成果、CVPR 自动驾驶大挑战赛“端到端规模驾驶“获 -
AI下半场 宁畅智算中心以全栈全液助推...
当前,人工智能以前所未有的速度塑造各行各业,全国范围内对智算中 -
身怀全栈全液能力 宁畅打造智算中心部...
当前,人工智能以前所未有的速度塑造各行各业,全国范围内对智算中 -
淘宝直播“勇往直前的CEO”再添一员,AI...
自淘宝推出勇往直前的CEO计划以来,一大拨企业家正涌向淘宝直播间。6... -
存算“全能王”!中科可控重磅发布新一...
当前,人工智能应用快速落地、多模态大模型加速迭代,亿万数据让计 -
高能来袭|联想拯救者携手《黑神话:悟空...
从2020年首次发布实机演示视频以来,《黑神话:悟空》便在全球范围 -
YYDS!联发科携最新AI创新应用亮相COMPUTEX
近日,备受全球瞩目的COMPUTEX 2024科技展会在热烈的氛围中拉开帷 -
广西村支书用AI制作视频带货,网友:接...
近日,一则广西勒水村的新闻屡见报端,当地村民用AI做短视频带货,推广 -
COMPUTEX 2024开展:联发科大秀全景AI...
在最近开幕的COMPUTEX 2024科技展会上,联发科展示了其最新的AI技 -
“AI+全场景”!中科可控AI工作站来袭
近年来人工智能技术极速发展,“AI+”已然成为行业用户对于体验升级... -
阿丘科技:生成式AI与行业视觉大模型驱...
5月21日,阿丘科技CEO黄耀应邀参加北京机器视觉助力智能制造创新发展 -
AI赋能 智赢百业 中国移动成功举办AI+...
5月25日,在第七届数字中国建设峰会期间,中国移动举办了以“AI赋能 -
直击2024年数字中国峰会中国移动AI+行业...
5月25日,数字中国峰会中国移动AI+行业分论坛在福建福州盛大召开, -
5月23日-27日@数字中国建设峰会,每日互...
一年一度,相约福州。5月23日至27日,第七届数字中国建设峰会系列活 -
天工AI搜索解读《如懿传》的“招黑体质”
《如懿传》又“火”了。同为“宫斗”题材的清宫戏,相比于至今仍在... -
AVK119简介:SCI 最新的变频涡旋压缩机
AVK119采用三菱电机专利的最新椭圆形涡旋技术设计,与相同尺寸的压 -
普惠AI破局视觉智能化 中小企业迎来发...
在数字化转型浪潮席卷全球之际,视觉智能化作为AI技术的重要分支,正 -
官宣!仰韶彩陶坊酒连续十一年荣膺“黄...
三月三,拜轩辕。在中国传统文化的传承中,这一敬拜黄帝先祖的节日 -
全国人大代表、中国移动辽宁公司总经理...
“数字乡村建设有助于促进农业全面升级、农村全面进步、农民全面发 -
热辣滚烫 盈出精彩|LG gram Pro AI...
LG gram于今年1月份上市了首款AI超轻薄本。它延续了轻薄长续航的基 -
从这部微电影开始,传承一杯“家乡味”
年中,一曲土中带潮的《恐龙抗狼》,火爆全网;年终,一支笑中带泪 -
生成式AI就绪 英特尔发布第五代至强可...
实用化 AI 算力又升上了一个新台阶。随着AI大模型加速迭代,智能 -
泰瑞应急数字孪生底座赋能防灾减灾,提...
近年来,灾害频发,给人们的生命和财产安全带来了巨大威胁。为提升 -
借助AI 数字人,光谷电商科技为什么成...
随着AI技术的蓬勃发展,数字化时代的大幕正式拉开。在这个时代,电 -
性价比提升超30%,腾讯云发布新一代基于...
基础设施的硬实力,愈发成为云厂商的核心竞争力。11月24日,腾讯云 -
山东原创《丝路》动画片央视首播
由枣庄市一甲动漫制作股份有限公司打造的大型原创52集《丝路》动画 -
2023深圳高交会今日开展,AI创新先睹为快!
2023深圳高交会今日盛大开幕,数据显示有超过100个国家和地区组团, -
2023深圳高交会IT展盛况:AI技术成焦点...
11月15日-19日,中国国际高新技术成果交易会(简称:高交会)在深圳 -
2023第二届长三角国际汽车产业及供应链...
2023第二届长三角国际汽车产业及供应链博览会将于2023年10月26-28日 -
“全球精品家轿”2024款艾瑞泽5焕芯上市...
畅销全球80多个国家和地区、斩获全球100万用户的艾瑞泽5,再次焕新 -
Colossal-AI助力智能化升级新时代
在这个快速发展的数字化时代,人工智能(AI)作为推动社会进步的核 -
当远铁路跨焦柳线特大桥成功转体
10月11日凌晨,湖北铁路集团当远铁路跨焦柳线特大桥转体成功,为当 -
微盟集团同时入选恒生人工智能、传媒指...
9月25日,恒生指数公司推出恒生人工智能主题指数和恒生传媒指数,微 -
锐进 求新 创无限 | 品达集团产品战...
2023年9月20日,“锐进、求新、创无限” 品达集团产品战略发布会暨 -
生态出海高歌猛进,海外月销3万辆,日系...
如今,中国汽车迎来了百年一遇的窗口期,同时汽车市场也进入了白热 -
孙树峰院士:激光技术的革命,开启未来...
9月1日,在智能制造助力高质量发展高峰论坛上,俄罗斯自然科学院外籍院 -
国产车赢麻了!中国品牌车企占泰国电动...
国产车赢麻了!中国品牌车企占泰国电动车市场8成份额 -
2023新思科技开发者大会:以创新引领航...
中国上海–9月8日,芯片行业年度嘉年华“2023新思科技开发者大会”... -
基于Android™ 14 Beta的 ColorOS 1...
9月11日,OPPO开启了基于Android™14Beta的ColorOS14全球公测尝鲜,首 -
公司回应禁止管理层买、开理想汽车:情...
公司回应禁止管理层买、开理想汽车:情况属实、律师 理想官方表态 -
上市告吹后 开心汽车宣布并购威马
上市告吹后开心汽车宣布并购威马 -
格局打开!小米汽车获SIG认证:支持苹果...
格局打开!小米汽车获SIG认证:支持苹果CarPlay -
TrendForce集邦咨询: NAND Flash第四...
Sep 11,2023----近日,三星(Samsung)为应对需求持续减弱,宣布9月起扩 -
真“自动挡”来了!特斯拉新款Model 3...
真“自动挡”来了!特斯拉新款Model3可自动选择前进后退 -
“人工智能+”,点燃智能制造发展新引擎...
近日,21ic有幸采访了辽宁省人工智能学会理事长李鸿儒教授,围绕“... -
全国唯一综合性种植资源库 四川省种质...
9月9日,第二届天府国际种业博览会暨四川省种质资源中心库揭牌仪式在成 -
问界M9率先用上!华为AR-HUD有多强:75...
问界M9率先用上!华为AR-HUD有多强:75寸画幅彻底干掉仪表盘 -
一万买到多少续航?新势力又出奇怪榜单...
一万买到多少续航?新势力又出奇怪榜单:特斯拉倒数第一 -
无锡相关部门回复网友反映某学校使用过...
2023年9月8日14时50分,有网友反映无锡市梁溪区连元街小学午餐使用了过 -
礼让救护车、搬抬婴儿车……青岛街头,...
救护车呼啸而至,驾驶员快速打方向盘让出生命“通道”;乘客推婴儿... -
我要打十个!消息称华为ADS 2.0年底开...
我要打十个!消息称华为ADS2 0年底开城数量调整:覆盖全国 -
坚守三尺讲台 潜心教书育人(教育时评)
金秋九月,1800多万名人民教师迎来属于自己的节日——第三十九个教... -
联想S205CPU更换(联想s205)
来为大家解答以上问题,联想S205CPU更换,联想s205很多人还不知道,现 -
获近40亿补贴!中国电池制造商国轩高科1...
获近40亿补贴!中国电池制造商国轩高科147亿在美建厂计划敲定 -
2023年9月9日云南省南瓜批发价格行情
2023年9月9日云南省南瓜批发市场价格最新行情监测显示:2023年9月9日云 -
西甲官方:马竞vs塞维利亚将在12月23日补赛
西甲官方宣布,此前由于暴雨延期的第四轮马竞vs塞维利亚的比赛,将会推 -
国家统计局:8月份居民消费价格同比上涨...
证券时报网讯,据国家统计局,2023年8月份,全国居民消费价格同比上涨0 -
10天内至少24城“认房不认贷”,效果如...
从“认房又认贷”到“认房不认贷”,一字之别的背后,是13年来我国... -
哈尔滨多车加油后开出不远就熄火 加油...
哈尔滨多车加油后开出不远就熄火加油站:进水了、已赔付 -
坚守三尺讲台 潜心教书育人(教育时评)
金秋九月,1800多万名人民教师迎来属于自己的节日——第三十九个教... -
长江通信:9月8日融资买入553.36万元,...
9月8日,长江通信(600345)融资买入553 36万元,融资偿还567 15万元, -
八音之韵丨来听听大音希声的太古之音
于高山流水之间 聆听声律之美 于明月松林之中 感受万物空明 这是人 -
华为加持的阿维塔新车 敢要价40万?
华为加持的阿维塔新车敢要价40万? -
抽奖券怎么写(抽奖卷模板)
今天之间网超哥来为大家解答以上的问题。抽奖券怎么写,抽奖卷模板相信 -
2035年停售燃油车不现实 世界第四大汽...
2035年停售燃油车不现实世界第四大汽车集团:我要卖到2050年 -
中国首款自研车规级7纳米芯片 “龙鹰一...
中国首款自研车规级7纳米芯片“龙鹰一号”性能如何?稍差于骁龙8155 -
行业首个!Flyme Auto获得泰尔“卓越级...
行业首个!FlymeAuto获得泰尔“卓越级”认证魅族:遥遥领先 -
领克08正式上市:92英寸无界AR-HUD 20.88万起
领克08正式上市:92英寸无界AR-HUD20 88万起 -
车评头条:中期提速能力意外 海马M3 1...
汽车已经成为人们生活的必须品了,很多车的适不适合自己很生疏,现在汽 -
近况曝光!72岁知名老戏骨街头被偶遇,...
所以如今有网友在社交平台上晒出偶遇到郑则仕,并且对方还如此精神,就 -
dnf二次觉醒任务(二次觉醒任务流程)
很多人对dnf二次觉醒任务,二次觉醒任务流程不是很了解那具体是什么情 -
暑假出游景点(暑假出游好去处)
诸多的对于暑假出游景点,暑假出游好去处这个问题都颇为感兴趣的,为大 -
兆邦基地产(01660.HK):张彧获委任为执...
格隆汇9月8日丨兆邦基地产(01660 HK)公告,董事会宣布:(i)许志聪已获 -
广汇能源遭遇外资抛售49.6万股|外资买卖
外资卖出:广汇能源(600256)(600256)于2023年9月7日遭遇外资抛售,数 -
白露至 各地一片农忙景象
白露节气已至,各地农民抢抓农时,田间地头一片农忙景象。在湖北省襄阳 -
张艺谋遗憾《坚如磐石》迟到:于和伟的...
极目新闻记者戎钰国庆档看什么?由张艺谋执导的都市罪案题材电影《坚如 -
警察叔叔发布“挑战令”全市7248人挑战成功
9月8日,第三届“百日零违法文明交通好榜样”颁奖仪式在清城区举行... -
或将采用“国风”设计:哪吒X内饰公布 ...
或将采用“国风”设计:哪吒X内饰公布专为年轻人打造 -
三种配色 7座布局 广汽合创MPV V09内...
三种配色7座布局广汽合创MPVV09内饰曝光10月13日上市首发 -
担保期过不过怎么办
担保期是否已经届满,需要根据具体情况分析。1、如果在担保合同中约定 -
中国正在开展HCFCs加速淘汰行动
中新社北京9月8日电(记者阮煜琳)中国生态环境部大气环境司有关负责人8 -
大众再放大招:ID.6 CROZZ 限时官降4....
大众再放大招:ID 6CROZZ限时官降4 5万售价25 89万起 -
138度超广角!70迈3K夜视流媒体后视镜将...
138度超广角!70迈3K夜视流媒体后视镜将开售:一次能看三车道 -
乘联会:8月乘用车市场零售192万辆,同...
乘联会:8月乘用车市场零售192万辆,同比增长2 5%,零售,乘联会,乘用车市场 -
载歌载舞打一个生肖 载歌载舞打一个生...
小枫来为解答以上问题。载歌载舞打一个生肖,载歌载舞打一个生肖具体是 -
交付1.2万成合资黑马!别克E5迎首次OTA...
交付1 2万成合资黑马!别克E5迎首次OTA:上电逻辑不再反人类 -
阿塞拜疆vs比利时比赛预测 阿塞拜疆vs...
阿塞拜疆vs比利时比赛预测,风暴体育讯北京时间9月9日21:00,新赛季欧 -
工行首席技术官:银行业财富管理面临挑...
工行首席技术官:银行业财富管理面临挑战,数字化转型是大势所趋,工行, -
“原子弹之父”奥本海默开什么车?凯迪...
“原子弹之父”奥本海默开什么车?凯迪拉克认领:1941款敞篷经典