数字视网膜:让智慧城市从“看清”向“看懂”进化,智慧城市建设加快推进
创新是引领发展的第一动力。今年两会,科技创新成为高频热词。近年来,我国科技创新成果不断涌现,高铁、5G、人工智能等一些高新技术产业进入世界前列,智慧城市建设加快推进,应用成果惠及更多老百姓。
在人工智能的部分领域,我国从基础研究到技术应用都发展很快。比如,中国工程院院士、北京大学教授高文提出的“数字视网膜”,既是一种理念创新,也是一个新的产业机遇,对智慧城市的建设意义重大,本期邀请他详细解读。
数字视网膜并非真的要做一种仿生视网膜的硬件,而是希望能够改变目前摄像头只能看或者单一链路识别的功能。让摄像头本身拥有一定的AI处理能力,对识别到的车、人、场景主动进行特征提取。从而让摄像头上传到云端的视频数据,一路通过高效编码作为数据存储;另一路经过特征提取直接作为智能大脑的“可读物”。“云大脑”与摄像头的结合,就像是给智慧城市安装了一层新的“数字视网膜”。
1.数字视网膜的八个基本要素
现在比较典型的“城市大脑”,一般是传感数据、收集、存储、数据交换和集成,还有开放的算法平台。另外,还有运行和服务平台。在平台里面,实际数据量最大的是视频数据,大概占到90%以上,这些数据能识别是车还是人,车牌号等,然后传到云端。目前的视频数据,最长存三个月。因为大量的数据不等于大数据,而且随着城市摄像头越装越多,数据增长速度非常快,海量数据的价值很少。
目前的视觉感知系统,也只是对原始信号只进行了简单的编码压缩就送到云端。视觉系统的进化实际是经过了一个漫长的历史阶段,如果看眼睛的进化,不管是昆虫还是高脊椎动物,进化是不一样的,比如昆虫是浮眼,可以完成对天敌快速识别的功能,眼睛进化实际发生了非常长的时间。
视觉通道是把视网膜上看到的东西,通过视觉通道送到脑的视觉,最后形成认知和感知。中间的网络传输通道是非常重要的,整个视网膜大概有1.2亿个感官细胞,包括锥状细胞和感知细胞,最后通过神经连接到了大脑。从视网膜到大脑之间的连通通道,并不是每一个感光细胞直接连接到了大脑,而是通过视神经连接过去,视神经的个数和视网膜本身的个数有一个比,大概126∶1,也就是说从视网膜每个感光细胞往大脑送的视觉连接通道大概有126∶1左右的压缩率,这个压缩不是简单的视频压缩,它是特征抽取,这个过程是今天的“城市大脑”要好好学习的。
如果神经系统进化不好就会产生很多问题,比如说自闭症,可能在小时候发育的时候,这种连接增长速度太快,可能会形成自闭症。所以想让“城市大脑”健康,就要视网膜或者摄像头要有很好的分工协调机制,这是从生命系统得到的启发。根据这个启发,我们在设计新的第二代“城市大脑”或者云视觉系统的时候,在中间的视觉神经通道要好好学习,我们把这个工作叫作数字视网膜。
数字视网膜的定义,包括八个基本要素,这八个基本要素包括有统一的时间戳,有全局的位置信息,有高效的视频编码功能,有高效的特征编码功能、联合优化等,要有机制和软件可定义的一些功能,这样就比较容易进行升级。这八个基本的功能要求我们分成了三组。第一组叫作全局统一的时空ID,作为一个“城市大脑”,一个全局的视觉系统来说,全局统一的时空ID非常关键。第二组特征把高效视频编码、高效特征编码和连接优化,这三个定义成第二组功能,把它叫作多层次视网膜表示,包括视频编码、特征编码、联合优化三大块。第三组特征,是把高效的模型可定义功能组合到一起。这三个组合在一起,就不会像以前的摄像头,一个硬件做进去之后改变不了什么了,按照这种数字视网膜设计出来的摄像头,可以与时俱进,可以进行一些新功能的更新。
2.数字视网膜和传统云视觉计算系统不一样
数字视网膜和传统的云视觉计算系统是不一样的,传统的视觉系统一个摄像机只能输出一个流,要么是视频编码流,要么是结果流。新的视网膜系统,每个摄像头可能会有三个流,会有视频编码流、特征编码流、模型编码流,这三个流混合在一起就可以对整个系统更优化。
现在的云视觉系统不是太有效,要想提高效率,可以通过类似于像数字视网膜的新的概念和技术,让它做得更有效,比如说数字视网膜至少可以让在编码上用了新的最有效的视觉编码工具,可以使它的码率更低,可以使延迟更低和准确率更高,原来的系统是先编码再到云端解码,提取特征再分析,现在所有的特征提取在摄像头就完成了,就可以降低延迟。因为没有解码过程,没有提取特征解码的过程,准确率可以比原来提高20%左右。
3.数字视网膜领域的四大技术
过去两三年,在数字视网膜领域,很多技术在推进,希望这些技术能够落地。第一个叫高效视频编码,要做出全世界最好的视频编码放到数字视网膜里,才能叫作高效。过去二十年主要在做视频编码,在这个领域做了大量的工作,把视频里面按照帧处理的场景下,包括空间、时间、编码的冗余,用各种各样的数学工具去处理,包括使用滤波器做预测编码工具,利用熵编码去除冗余的工具,构造出一代又一代的视频编码的标准,这个工具对整个编码的效率提高是很大的,可以使编码的效率提升差不多40%左右。
世界的视频编码有广播电视、互联网视频、视频监控等需求,技术演进是差不多每十年演进一代,中国的科学家从2002年开始做AVS做中国自主的标准,这个标准到目前为止已经进入第三代了,第二代已经成为国家标准和广电标准,为了标准能走出国内,也专门在IEEE成立了工作组,最近刚刚把工作组上升为数据编码的标准委员会。AVS3时间上已经领先于国际标准了。
第二个技术就是特征编码技术,在我们的推动下,跟国际专家完成的两个国际标准,MPEG7是的第13和15部分,是CDVS和CDVA,是做视频特征编码的工作。
这个标准做完以后,深度网络就热起来了,所以我们经常去讲CDVS怎么样的时候,会场反映最多的问题就是你的标准支不支持深度网络,深度学习。这个标准现在也完成了,成为国际标准了。
第三个就是把视频编码和联合编码优化起来,让码率对两边都有利。因为视频编码和特征编码使用的优化模型是不一样的,视频编码使用的是2D优化模型,码率和损失的优化模型。特征编码联合使用的是R-A模型,码率和召回准确率的模型,这两个模型的曲线方向完全是不一样的,所以通常你要单个做的话没有问题,把它合一起怎么做没有人知道,所以我们提出联合优化模型,所以把R-A和2D变成一个目标函数,求联合函数的优化解,具体有一套解法,这是关于在2D模型上优化的解法,我们写成了联合优化函数,求最优解就可以得到联合优化。
第四个技术,现在用的不是脉冲神经网络,用的还是卷积神经网络,现在可以做到在摄像头这一端可以模型更新,这里涉及了一些模型的重用技术、模型的压缩技术。
(作者:高文,系中国工程院院士、鹏城实验室主任)
关键词: 视网膜
相关阅读
-
谷歌与联想合作,推出摄像头音条和触摸...
由于混合和远程工作预计将成为新的常态,谷歌正在与Avocor合作,推... -
外媒:Facebook被发现在测试一项新功能...
据外媒TechCrunch报道,Facebook已经被发现在测试一项新功能,让Fac... -
天文学家利用人工智能去除天文数据中由...
日本天文学家开发了一种新的人工智能(AI)技术,以去除天文数据中由... -
微软官方Windows账号再次放出预热推文
微软的 Windows 11 发布会将会在今晚 23 点正式开幕,本站也将... -
新的指纹技术可以检测可卡因的使用 ...
工程与物理科学研究委员会(EPSRC)的团队已经发现,即使不洗手,接触... -
智能科技发展带来新机遇 听听业界怎么说
为期三天的第五届世界智能大会20日在天津梅江会展中心开幕,本届大...
精彩推送
-
澳大利亚工程师新发明:无需接入电网 ...
澳大利亚工程师新发明:无需接入电网废弃食用油为电动车充电 -
年度新能源保值率榜:宏光MINI EV夺...
年度新能源保值率榜:宏光MINIEV夺冠!曾传单车利润仅89块钱 -
女子追尾后 质问前车司机为何刹车:急...
女子追尾后质问前车司机为何刹车:急得直跺脚 -
疑似东风本田2022年新车规划:新一代CR-...
疑似东风本田2022年新车规划:新一代CR-V、思域Type-R要来! -
车载摄像头真有这么香?特斯拉前脚释出...
车载摄像头真有这么香?特斯拉前脚释出大额订单知名日企也官宣入局 -
月薪5000也能买!2021款比亚迪e2试驾体...
月薪5000也能买!2021款比亚迪e2试驾体验:颜值、动力俱佳 -
轴距加长130mm、后排秒变“跑马场”!国...
轴距加长130mm、后排秒变“跑马场”!国产宝马X5长轴版曝光 -
奔驰销量暴跌 德系车在德国卖不动了:...
奔驰销量暴跌德系车在德国卖不动了:买特斯拉的狂增1 3倍 -
领克01被曝疑似虚假宣传?车顶钢材强度...
领克01被曝疑似虚假宣传?车顶钢材强度与宣传不符 -
雅迪电动车征服“中国最冷小镇”成功挑...
雅迪电动车征服“中国最冷小镇”成功挑战极寒天气续航200公里 -
没想到 新蒙迪欧成了中国设计“全球化...
没想到新蒙迪欧成了中国设计“全球化”的见证者 -
行业首家 小鹏超充贯通全国337城:何小...
行业首家小鹏超充贯通全国337城:何小鹏大赞! -
红旗向中国获奖奥运健儿交付11辆H9 直...
红旗向中国获奖奥运健儿交付11辆H9直接赠送和免费使用 -
皇冠轿车中国“复活”!曝一汽丰田将原...
皇冠轿车中国“复活”!曝一汽丰田将原装进口日本皇冠:35万起 -
宝马V12动力最后的荣光!M760i将限量发...
宝马V12动力最后的荣光!M760i将限量发售:起售127万 -
配剪刀门、升降式激光雷达!集度首款概...
配剪刀门、升降式激光雷达!集度首款概念车细节曝光 -
胡润世界八强榜单:特斯拉为唯一上榜车...
胡润世界八强榜单:特斯拉为唯一上榜车企位居第五 -
高速施工封路 大货避让不及撞废轿车:...
高速施工封路大货避让不及撞废轿车:人员全部奇迹生还 -
顺丰快递电动车高速上自燃 拖车紧急卸...
顺丰快递电动车高速上自燃拖车紧急卸车避险 -
马斯克被特斯拉股东起诉 索赔归还130亿美元
马斯克被特斯拉股东起诉索赔归还130亿美元 -
奔驰、吉利联手打造!Smart精灵#1量产版...
奔驰、吉利联手打造!Smart精灵 1量产版上路:取消对开门 -
特斯拉自动驾驶闯红灯撞向思域导致两人...
特斯拉自动驾驶闯红灯撞向思域导致两人死亡:司机被控过失杀人 -
雪铁龙凡尔赛被曝加速抖动 厂商拒不回...
雪铁龙凡尔赛被曝加速抖动厂商拒不回应车主投诉无门 -
女子结婚租到“盗版劳斯莱斯” 商家:...
女子结婚租到“盗版劳斯莱斯”商家:劳斯莱斯是形容词 -
贾跃亭要遵守约定!官方确认FF 91量产...
贾跃亭要遵守约定!官方确认FF91量产时间售价欲超200万元 -
新Mac Pro曝光:将搭载4个M1 Max处理器
据外媒最新报道称,苹果将在今年年底发布新一代Mac Pro,其最顶配... -
EFF基金会要求在iPhone手机中加入关闭2G...
GSM 2G网络已经有30年多年历史了,现在还有很多服务需要2G,但是该... -
三星GalaxyS22+的详细信息曝光:屏幕尺...
1月18日消息,MySmartPrice曝光了三星GalaxyS22+的详细信息。和Gala... -
Intel 12代酷睿i3曝光:超频幅度高达57%
通过超外频的方式,德国大神Der8auer将原本锁频的i5-12400、i5-1260... -
曝苹果SE机型可能会采用5.7英寸或6.1英...
据最新报道,显示屏行业顾问公司DSCC创始人兼CEO Ross Young在社... -
Intel 13代酷睿更新:接口保持不变 主板不兼容
IntelAlder Lake 12代酷睿采用了全新的LGA1700接口,必须搭配600... -
入门款新iPad曝光:可能被改造成支持5G
据最新消息称,苹果将在2022年底发布第十代iPad,在2023年进行更重... -
魅族专利公布一年后 手机终于要用上50W快充
去年年底魅族公布了自家分流式电池充放电控制系统及其控制方法、电... -
微软发布Win7/10/11紧急更新:修复多个W...
今天微软发布了紧急更新,主要是修复多个Windows版本问题,建议用户... -
首批RTX 3050曝光:多光线追踪
据介绍,RTX 3050本次供货主要以电商、线上、直播等平台为主,预测... -
Intel NUC 11廉价版曝光:规格性能实现飞跃
Intel今天为NUC 11迷你机家族增加了新的入门款NUC 11 Essential(... -
《关于紫光集团重整计划获法院裁定批准...
今晚,紫光集团通过官微,正式发布了《关于紫光集团重整计划获法院... -
Intel 13代酷睿曝光:接口与12代酷睿保持一致
据爆料,13代酷睿将会在今年第四季度发布,接口与12代酷睿保持一致... -
西安交大学生私自驾车离校至成都:关大...
西安交大学生私自驾车离校至成都:关大灯驶上草坪绕开检查 -
CEO做对一件事!福特市值首达1000亿美元
CEO做对一件事!福特市值首达1000亿美元 -
欧洲汽车大暴跌!原因太无奈:缺芯+疫情
欧洲汽车大暴跌!原因太无奈:缺芯+疫情 -
马斯克玩“无间道”!特斯拉成香饽饽 ...
马斯克玩“无间道”!特斯拉成香饽饽印度各地官员疯抢 -
爷青回!一汽发布全新企业LOGO:形似新...
爷青回!一汽发布全新企业LOGO:形似新飞冰箱标识 -
特斯拉Model Y USB-C快充模块拆解:遗...
特斯拉ModelYUSB-C快充模块拆解:遗憾砍掉数据传输 -
宁德时代正式发布换电品牌 蔚来回应:...
宁德时代正式发布换电品牌蔚来回应:表示欢迎 -
三星试产4080圆柱形电池:媲美特斯拉468...
三星试产4080圆柱形电池:媲美特斯拉4680、能量密度大增 -
宁德时代玩换电 曾毓群请吃“巧克力”...
宁德时代玩换电曾毓群请吃“巧克力”:1分钟换1块未来适配80%车型 -
中东部地区大面积雨雪、大雾天气!交管...
中东部地区大面积雨雪、大雾天气!交管部门发布驾驶人提醒 -
实测不到6个油 全新丰田汉兰达获CCRT测...
实测不到6个油全新丰田汉兰达获CCRT测评综合得分86 3分 -
宁德时代换电品牌“EVOGO”正式发布:1...
宁德时代换电品牌“EVOGO”正式发布:1分钟全自动换电面向所有汽车 -
谁能抵抗一个会撒娇的萝莉呢?《原神》...
谁能抵抗一个会撒娇的萝莉呢?《原神》首款导航语音上线 -
宁德时代乐行换电正式发布 宣传片惊现...
宁德时代乐行换电正式发布宣传片惊现蔚来网友:砸场子! -
比亚迪全新中型SUV谍照曝光:或为巡洋舰...
比亚迪全新中型SUV谍照曝光:或为巡洋舰05主打DM-i动力 -
iPhone XS Max可降级iOS 14.1,为何...
我们都知道,苹果每次在推送新版iOS之后,都会关闭上一个正式版系统... -
四维图新发布业绩预告:2021年实现扭亏为盈
1月16日晚,四维图新NavInfo官方宣布了其2021年度的业绩预告,该公... -
被炮轰刷新底线!团车闻伟:造车不会儿...
被炮轰刷新底线!团车闻伟:造车不会儿戏邀请李想参加产品发布会 -
零百加速超17秒 40年前经典奥迪被拍卖...
零百加速超17秒40年前经典奥迪被拍卖:最高出价6 7万元 -
“青蛙眼”大灯瞩目!欧拉闪电猫量产版...
“青蛙眼”大灯瞩目!欧拉闪电猫量产版谍照曝光:最快5月上市 -
SIAL国际食品展(上海)启动之际,“中食...
日前,中共中央、国务院印发了《知识产权强国建设纲要(2021—2035年... -
CrowdStrike野外样本增加,进行分布式拒...
根据 CrowdStrike 的威胁遥测数据 ,在 2021 年针对 Linux ... -
2022年会成为Linux桌面元年吗?
2022 年会成为 Linux 桌面元年吗?答案可能依然是否定的,但我们... -
比亚迪半导体MCU曝光:最高工作频率48MHz
今日,据比亚迪半导体公众号消息,继2020年8月推出国内首款集成触摸... -
XPOWER XS70 PCIe 4.0固态硬盘曝光:...
Silicon Power(SP)近日面向玩家,推出了全新的 XPOWER XS70 PCI... -
一加6和一加6T将正式停止官方软件支持
近日,一加海外社区官方人员正式确认,一加6和一加6T的官方支持已经... -
Misty为Furhat收购机器人公司Misty Robotics
Misty经历了一段地狱般的旅程。在从Foundry和Venrock筹集了1150万美... -
曝骁龙8 Plus旗舰Q3曝光:改用4nm工艺Plus版本
按照此前多方消息显示,高通会在今年下半年推出改用台积电4nm工艺的... -
宁德时代进军“换电”市场 注册多个商标
日前,宁德时代官方消息,宁德时代将于1月18日15:30举办发布会,推... -
业界首个!集度汽车机器人车标发布:百...
业界首个!集度汽车机器人车标发布:百度、吉利联合打造 -
比亚迪、中国一汽成立动力电池合资公司...
比亚迪、中国一汽成立动力电池合资公司:产能超百万辆电动车 -
中毒了 中国汽车活化石大变样!新一代B...
中毒了中国汽车活化石大变样!新一代BJ212外形堪比路虎卫士 -
丰田章男用毛笔写下年度汉字“動”!中...
丰田章男用毛笔写下年度汉字“動”!中日文一语双关 -
四缸增程器、零百加速不到6秒!售价50万...
四缸增程器、零百加速不到6秒!售价50万的理想X01买吗 -
富豪驾布加迪德国高速狂飙至417km/h 9...
富豪驾布加迪德国高速狂飙至417km h9分钟能烧干一箱油 -
日本佳能关闭珠海工厂:主要停产数码相...
最近日本相机巨头佳能关闭珠海工厂的消息引发热议,佳能中国已经确... -
外媒:CarKey有望发布 可用iPhone解锁汽车
据国外媒体报道,苹果分析师马克 · 格尔曼(Mark Gurman )表示... -
外媒:LG Innotek将向特斯拉提供价值超...
据国外媒体报道,LG Innotek将向特斯拉提供价值超过1万亿韩元的电... -
Forbes发表观点性文章,揭示2022年量子...
Safe Quantum安全首席执行官兼创始人John Prisco日前在Forbes发表... -
高清概念渲染图曝光 揭开Galaxy Tab...
预计下个月,三星会在 2022 年度首场GalaxyUnpacked 发布会上,... -
中际旭创预计今年全球数通市场光模块需...
中际旭创近日举行了投资者关系活动。中际旭创副总裁、董事会秘书王... -
苹果Safari浏览器Bug曝光:影响使用苹果...
据 MacRumors 报道,根据浏览器指纹识别服务提供商 FingerprintJ... -
14nm显卡性能曝光:追上GTX 1050 功耗为30W
1月17日,景嘉微在投资者关系活动中表示,公司历经十余年发展,成功... -
NVIDIA RTX 3090 Ti功耗曝光:高达48...
今天,某厂商的旗舰型RTX 3090 Ti规格参数被泄露出来,可以看到满... -
外媒:苹果内部讨论传闻已久的VR/AR设备...
据国外媒体报道,苹果产品方面的资深记者日前表示,苹果内部已经讨... -
网友发现新版微信支持搜索后批量删除好友
前不久,iOS版微信率先更新了8 0 17版。除了万众期待的语音消息暂... -
云网融合打造生态系统,产业链企业数量...
近日,Semtech举办媒体沟通会,宣布公司与腾讯云达成协议,LoRa Cl... -
便宜又好用 中国制造的电动车在日本成...
便宜又好用中国制造的电动车在日本成了香饽饽 -
零百加速5.9秒力压埃尔法!全球最速MPV...
零百加速5 9秒力压埃尔法!全球最速MPV岚图梦想家白车身下线 -
比亚迪宋DM-i最强对手!奇瑞星途追风PHE...
比亚迪宋DM-i最强对手!奇瑞星途追风PHEV亮相:亏电油耗4 8L -
真实起火率统计对比:混动车危险系数最...
真实起火率统计对比:混动车危险系数最高、电动车排在燃油车之后 -
全球首款续航破千电动车!广汽Aion Lx...
全球首款续航破千电动车!广汽AionLxPlus冬季媒体实测:最高960Km -
四缸增程器、续航800公里!理想X01路测...
四缸增程器、续航800公里!理想X01路测谍照曝光:售价约50万买吗 -
比丰田埃尔法还豪华 红旗全新MPV内饰曝...
比丰田埃尔法还豪华红旗全新MPV内饰曝光:二排座椅是亮点! -
配坦克300同款档杆、一体式双联屏!哈弗...
配坦克300同款档杆、一体式双联屏!哈弗酷狗内饰曝光 -
“元宇宙”热火蔓延车圈!中国车企首个N...
“元宇宙”热火蔓延车圈!中国车企首个NFT拍卖到来:送真车一辆 -
零下35℃雪天在特斯拉里过夜:10万km电...
零下35℃雪天在特斯拉里过夜:10万km电池坚持了一天半 -
被李想炮轰后 团车CEO首次回应:别成为...
被李想炮轰后团车CEO首次回应:别成为自己最记恨的那波人 -
印度提议本国生产所有车型 至少配备六...
印度提议本国生产所有车型至少配备六个气囊!网友:远超中国标准 -
实测1067马力超官方数据!最强特斯拉Mod...
实测1067马力超官方数据!最强特斯拉ModelS动力测试结果出炉 -
威马汽车私自“锁电”引众怒 173名车主...
威马汽车私自“锁电”引众怒173名车主联名发律师函向厂家维权 -
比长城还会玩!上汽大众凌度L公开征求昵...
比长城还会玩!上汽大众凌度L公开征求昵称:辣馒头、麻辣烫在内