每日视点!NVIDIA前资深架构师解读:如今人工智能处于什么阶段?
我在NVIDIA研究深度学习已达四年之久,作为一名解决方案架构师,专门研究深度学习相关技术,为客户提供可能的解决方案,并加以实施。
在我加入NVIDIA时,人工智能已经成为一个非常普遍的应用术语,但经常被模棱两可的使用,甚至错误的被描述为深度学习和机器学习。我想从一些简单的定义出发,去一步步深入解读其中含义,不足之处,以及采用新构架创建更完整能力“AI”的一些步骤。
(资料图片)
机器学习——将函数与数据进行拟合,并使用这些函数对数据进行分组或对未来数据进行预测。(抱歉,我大大简化了概念。)
深度学习——将函数与数据进行拟合,如下图所示,函数就是节点层,用于和前后节点相连,其中拟合的参数是这些连接节点的权重。
深度学习就是如今经常被成为AI的概念,但实际上只是非常精细的模式识别和统计建模。最常见的技术/算法是卷积神经网络(CNNs)、递归神经网络(RNNs)和强化学习(RL)。
卷积神经网络(CNNs)具有分层结构,通过(训练过的)卷积滤波器将图像采样到一个低分辨率的映射中,该映射表示每个点上卷积运算的值。从图像中来看,它是从高分辨像素到特征(边缘、圆形、……),再到粗糙特征(脸上的鼻子、眼睛、嘴唇……),然后再到能够识别图像内容的完整连接层。CNNs很酷的一点是,其卷积滤波器是随机初始化的,当你训练网络时,你实际是在训练卷积滤波器。几十年来,计算机视觉研究人员一直在手工制作类似的滤波器,但无法像CNNs那样的精准结果。此外,CNN的输出可以是2D图而不是单个值,从而为我们提供图像分割。CNNs还可以用于许多其他类型的1D、2D甚至3D数据。
递归神经网络(RNN)适用于顺序或时间序列数据。基本上,RNN中的每个“神经”节点都是存储门,通常是LSTM(长短期记忆)或者长短期的存储单元。当他们被连接到层神经网络时,RNN将状态在自身网络中循环传递,因此可以接受更广泛的时间序列结构输入。比如:语言处理或者翻译,以及信号处理,文本到语音,语音到文本……
强化学习是第三种主要的深度学习(DL)方法,强调如何基于环境而行动,以取得最大化的预期利益。一个例子就是迷宫,其中每个单元都存在各自的“状态”,拥有四个移动的方向,在每个单元格某方向的移动的概率来形成策略。
通过反复运行状态和可能的操作,并奖励产生良好结果的操作序列(通过增加策略中这些操作的概率),惩罚产生负面结果的操作(降低概率)。随着时间的推移,你会得到一个最优的策略,它有最高的可能性来取得一个成功的结果。通常在训练的时候,你会对更早的行为的惩罚/奖励打折扣。
在我们的迷宫事例中,先允许代理穿过迷宫,选择一个方向,使用已有的概率策略,当它达到死胡同时,惩罚它选择的路径(降低每个单元移动该方向的概率)。如果找到了出口,我们则增加每个单元移动方向的概率作为奖励。随着时间的推移,代理通过学习,找到了最快方式。强化学习的这种变化就是AlphaGo AI和Atari电子游戏AI的核心。
最后值得关注的是GANs(生成对抗网络),它更多的是一门技术而不是架构。目前它与CNNs一起用于制作图像鉴别器和发生器。鉴别器是经过训练以识别图像的CNN,生成器是一个反向网络,它采用随机种子生成图像。鉴别器评估发生器的输出并向发生器发送关于如何改进的信号,发生器依次向鉴别器发送信号以提高其准确性,在零和博弈游戏(zero-sum game)中反复往返,直到两者收敛到最佳质量。这是一种向神经系统提供自我强化反馈的方法。
当然,所有这些方法以及其他方法都有丰富的变化和组合,但是一旦你尝试将它们用于特定问题之外的问题时,这些技术有时不会有效。对于实际问题,即使你可以扩展和重新设计网络拓扑并对其进行调整,它们有时也表现不加。往往我们只是没有足够的数据来训练它们,以使得它们在部署中更加精准。
同样,许多应用需要将多种DL技术结合在一起并找到融合它们的方法。一个简单的例子就是视频标记——你通过CNN传送视频帧,在顶部有一个RNN来捕捉这些视频中的那些随着和时间有关的行为。曾经我帮助研究人员使用这种技术来识别四肢瘫痪者的面部表情,向他们轮椅和机器假肢发出命令,每个指令对应不同的面部表情/手势。这起到了一定的效果,但当你扩大规模时,开发和训练它可能会花费更多时间,且变得非常棘手。因为你现在必须调整交织在一起的两种不同类型的DL网络,有时很难知道这些调整会产生什么影响。
现在想象一下,你有多个CNN/RNN网络提供输出,一个深度强化学习引擎对输入状态做出决策,然后驱动生成网络产生输出。其实是很多特定的DL技术组合在一起来完成一组任务。你可以说这是“魔鬼式”的疯狂调参。它会奏效吗?我不知道,如此一来,它将耗费大量资金和时间才开始工作,并且不确定它是否能够很好的训练,甚至在现实条件下进行训练。
我个人观点是,我们目前的DL技术各自代表一个子集,用来简化大脑网络和神经系统的工作。虽然我们称之为“神经”,但实际上并不是,它们都是专门用于特定的任务。
事实上,大多训练DL或者人工智能的人都没有意识到,如今深度学习中的“神经网络”和“神经元”只是更大、更丰富的合成神经元、神经网络和方法。我们今天在DL中使用的大多数人分层我网络和CNN属于前馈神经网络的较小一部分,只是简单地对每个节点处进行加权输入求和,应用简单的传递函数,将结果传递给下一层。
这并不是大脑处理工作的方式,甚至RNN和强化学习也没有给我们真正的人工智能,只是将非常大和复杂函数的参数拟合到大量数据,并使用统计数据找到模式并做出决定。
上图顶部和左侧的方法,特别是SNNs(Spiking Neural Networks),给出了一个更准确的模型,来运行真正的神经元工作方式。就像“数积分-火-模型”、Izhikevich脉冲神经元模型那样高效。像“Hodgkin-Huxley”一样接近模拟生物神经元的行为。
在真实的神经元中,时域信号脉冲沿着树突传播,然后独立到达神经元体,并在其内部的时间和空间中被整合(一些激发、一些抑制)。当神经元体被触发时,它就会在轴突上产生一系列依赖时间的脉冲,这些脉冲在分支时分裂,并需要时间到达突触。当化学神经递质信号经过突触并最终触发突触后树突中的信号时,突触本身就表现出非线性、延迟、依赖时间依赖的整合。在这一过程中,如果两边的神经元在一定的时间间隔内一起点燃,也就是学习过程中的突触即学习,即学习,就会得到加强。我们可能永远无法在硬件或软件中完全复制真实生物神经元的所有电化学过程,但是我们可以寻找足够复杂的模型来代表我们的尖峰人工神经网络中需要的许多有用行为。
这将让我们更像人工智能,因为真正的大脑从信号通过神经元、轴突、突触和树突的传递,获得了更多的计算、感官处理和身体控制能力,从而在复杂的依赖时间的电路中穿行,这种复杂的电路甚至可以有反馈回路,以制造定时器或振荡器等电路,类似于可重复的级联模式激活的神经回路,向肌肉/致动信号的群体发送特定的依赖模式。这些网络也是通过直接加强神经元之间的联系来学习的,这些被称为Hebbian学习。为了进行更复杂的人工智能和决策,它们比我们在上面的例子中使用的CNNs、静态的RNN甚至是深度强化学习都要强大得多。
但是有一个巨大的缺点——目前还没有一种方法可以把这类网络安装到数据上来“训练”它们。没有反向传播,也没有调整神经元之间突触权重的梯度下降操作。突触只是增强或减弱,因此尖峰神经网络在运作的过程中学习,使用Hebbian学习来进行操作,这在实践上可能有效训练我们的合成网络,因为他们首先必须结构正确,以达到一个有用的解决方案。这是一个正在进行的研究领域,在这一领域的突破可能是非常重要的。
我认为,如果我们可以开始解决这些问题,走向更加功能性更强的神经结构,更加充分地展示大脑、神经系统和真正的神经元的工作和学习方式,我们就可以开始将今天使用的那种单一的、更灵活的深度学习方法整合到这些功能更强大和灵活的架构中,这些架构以更优雅的设计来处理多种功能。而且通过这些模型,我们将开启新的神经计算形式,我们将能够将它们应用到计算机视觉、机器人运动控制、听觉、言语,甚至是更像人脑的认知等任务中去。
简单总结一句话:“我们还没有达到人类层面的认知。”
相关阅读
-
每日视点!NVIDIA前资深架构师解读:如...
我在NVIDIA研究深度学习已达四年之久,作为一名解决方案架构师,专... -
热门看点:裁员?打死我也不承认
我经常梦到自己在考试:“看不懂的文言文”,“稀奇古怪的英文单词... -
世界热推荐:这份裁员“恐惧”榜单,到...
最近国外一家社交网络Blind,深入一些科技公司工作场所,对员工进行... -
人设“画皮”
上周情人节,笔者稍微扒了一些半导体行业大佬的感情经历,成文发表... -
环球快看:必应一时无回应,百度永远在渡劫
“有的人活着,他已经死了;有的人死了,他还活着。”中学那会儿刚... -
世界简讯:来自外星人的信号?同样的源头...
“不要回答,不要回答,不要回答。”这重复三遍的四个字开启了《三...
精彩推送
-
人设“画皮”
上周情人节,笔者稍微扒了一些半导体行业大佬的感情经历,成文发表... -
世界热推荐:这份裁员“恐惧”榜单,到...
最近国外一家社交网络Blind,深入一些科技公司工作场所,对员工进行... -
热门看点:裁员?打死我也不承认
我经常梦到自己在考试:“看不懂的文言文”,“稀奇古怪的英文单词... -
每日视点!NVIDIA前资深架构师解读:如...
我在NVIDIA研究深度学习已达四年之久,作为一名解决方案架构师,专... -
环球快看:必应一时无回应,百度永远在渡劫
“有的人活着,他已经死了;有的人死了,他还活着。”中学那会儿刚... -
世界首富要离多少次婚,才能成为穷光蛋?
“和平分手”+“还是好朋友”,我们“90后”的套路居然被这位大佬学... -
世界简讯:来自外星人的信号?同样的源头...
“不要回答,不要回答,不要回答。”这重复三遍的四个字开启了《三... -
比亚迪大屏立功 中国乘用车仪表盘平均...
比亚迪大屏立功中国乘用车仪表盘平均尺寸将增至近10英寸 -
微资讯!特斯拉毫无价值?诺奖得主:就...
特斯拉毫无价值?诺奖得主:就像比特币、完全靠炒作和信仰支撑 -
特斯拉国产化第一步,马斯克:先给自己...
刚处理完一个,这会儿又来了马斯克。马斯克显然比库克激动,去年年... -
【播资讯】抓人更准!交通技术监控成像...
抓人更准!交通技术监控成像补光装置新标准明年实施 -
当前通讯!再撑一秒
年底满屏的坏消息中,到处是进退抉择的故事。ofo小黄车创始人戴威在... -
快播:科技跨年五大关键词
据电动汽车新闻网站Electrek报道,知情人士透露,特斯拉截至上周末... -
今日热闻!自动驾驶+物流,会产生怎样的...
12月19日,中国首家干线物流联合创新中心在上海国际汽车城汽车创新... -
33.98万起售 理想L7更多信息曝光:后排...
33 98万起售理想L7更多信息曝光:后排瞬间可成“大床” -
【热闻】日东科技出席2022深圳智造大会...
12月20日,由深圳市电子装备产业协会、深圳市智能装备产业协会联合... -
天天微资讯!瑞萨电子的“活法”:打通...
江湖上一直流传日本半导体的传说:1995年,世界半导体企业前十中,N... -
天天观天下!未发布先火!广州车展疑似...
未发布先火!广州车展疑似一阿尔特展车起火现场火焰狂窜 -
快资讯:Brewer Science:扛着摩尔定律...
“半导体产业的发展,离不开历史上几个重要节点。1947年贝尔实验室... -
宁做昂贵的“调参狗”,不做高校科研大神?
前不久,“人工智能博士应届生80万年薪”的话题引起“酸”议。光这... -
全球今日讯!竹子都是空心的吗?实心竹...
实心竹子产地在哪,众所周知,竹子都是属于空心的,可事实并不是如... -
世界热门:dnf死亡之塔怎么玩?dnf死亡之...
dnf死亡之塔96层怎么过,1、把无敌技能拖到快捷键,为了更方便快捷... -
世界最资讯丨服务器是什么设备?服务器...
关于服务器和存储的关系,服务器可以是服务器主机加服务器存储,即... -
环球观焦点:指鹿为马主人公是谁?指鹿...
指鹿为马是谁,指鹿为马的是赵高。指鹿为马一词出自《史记秦始皇本... -
热消息:“刽子手”达芬奇?
2015年2月份的一场失败的手术再次被摆到了人们的面前,本月5日起,... -
实时焦点:win7如何进入dos杀毒?杀毒方...
win7如何进入dos杀毒,win7进入dos杀毒方法如下:1、点击“开始”按... -
焦点快播:气的笔顺写法是什么?基本释...
气的笔顺怎么写,1、气的笔顺写法是撇、横、横、横折弯钩 横斜钩。... -
天天热讯:乐小米苍耳是什么小说?苍耳内...
乐小米苍耳的简介,《苍耳》的内容简介:《苍耳》是一篇长篇小说,... -
环球快播:2020年立秋时间是哪一天?进...
2020年什么时间立秋,2020年立秋时间为08月07日。庚子年六月十八星... -
信息:固态硬盘简称什么?是什么设备?
固态硬盘有坏道吗,固态硬盘不会有坏道,由磁头、磁道、扇区、柱面... -
焦点热讯:别克GL8秀自动泊车技术 结果...
别克GL8秀自动泊车技术结果尴尬:车头撞墙 -
天天要闻:短视频app应该怎么开发?参考...
短视频app应该怎么开发,短视频APP开发可以参考以下内容: ... -
每日速递:西楚霸王主演有哪些?影片讲...
西楚霸王的演员,吕良伟、张丰毅、巩俐、关之琳、吴兴国、张世、Pao... -
立春是什么节气?2015年立春具体时间是...
2015年2日4日几点钟立春,2015年立春具体时间:公历2015年2月4日11... -
环球微资讯!龙之牧场变异龙怎么得?合...
龙之牧场变异龙怎么得,《龙之牧场》中变异龙的合成配方有:1、用火... -
天天速看:歇后语和尚打伞后一句是什么...
和尚打伞歇后语,1、和尚打伞歇后语是无法无天。2、解释:和尚没有... -
【全球播资讯】聂政刺侠累的故事记载在...
聂政刺侠累成功了没,聂政刺侠累的故事见于《战国策》中,这是一种... -
全球微速讯:hope释义是什么?hope有哪...
hope的用法,1、hope释义:n 希望,期望;希望的东西;被寄予希望的... -
当前速读:炒黄金合法吗?有哪些投资渠道?
炒黄金合法吗个人可以炒吗,合法。黄金作为现在一种投资项目,是合... -
qq语音通话怎么录音?操作方法是什么?
qq语音通话怎么录音,操作方法:可以使用手机的录音功能来录制,以i... -
支付宝集五福是什么活动?怎么获得全家福?
支付宝集五福怎么获得全家福,支付宝集五福来了,我们想获得全家福... -
Qorvo® 荣获 2022 年全球半导体联盟...
中国北京–2022年12月29日–移动应用、基础设施与航空航天、国防应... -
男主角长的很漂亮的都市玄幻小说有哪些...
男主角长的很漂亮的都市玄幻小说,1、《都市修仙》,作者:纸上飞雪... -
【快播报】国际环境局势冲击,估2022年...
Dec 29,2022----据TrendForce集邦咨询研究,2022年受国际环境动荡... -
世界热推荐:Automechanika Shanghai ...
随着“新十条”的发布,国内持续优化疫情防控措施,为商务聚会的举... -
【世界新要闻】单身猛于虎
一年一度“光棍节”来临,其实“光棍”“单身狗”这些称谓都是调侃... -
世界滚动:对标理想L8、问界M7 魏牌首款...
对标理想L8、问界M7魏牌首款大六座SUV官宣:设计很有料 -
IBM史上最大“豪赌”:340亿美元收购红...
国际商业机器(IBM)公司周日表示,已经同意以340亿美元(包含债务)收... -
破产先还钱 宁德时代申请冻结广汽菲克1...
破产先还钱宁德时代申请冻结广汽菲克1250万财产 -
全球快消息!全球第三个汽车客户中心落...
10月23日,是德科技全球第三个汽车客户中心落地上海嘉定汽车创新港... -
红海杀价,还是探索新市场?国产测试测...
10月31日,“第92届中国电子展”在上海新国际博览中心如约而至,很... -
每日热文:人社部:IC、云计算以及AI等...
据业内信息,近日人社部网站发布公告,国家人力资源社会保障部办公... -
天天热资讯!10亿图像传感器将重构服务...
2018年10月16日,Arm宣布推出面向IT基础设施的Neoverse处理器IP产品... -
当前看点!基于北斗定位实现!高德地图在...
基于北斗定位实现!高德地图在全国近360城上线“绿灯导航” -
天天观察:让电动车不再是“电动爹”:...
让电动车不再是“电动爹”:比亚迪发布DM-i冬季用车指南 -
世界报道:发明汽车造过坦克,两个女人名...
1886年,两个机械狂人各自攒出了一辆自己概念中的汽车。卡尔·本茨... -
科大讯飞与鳄鱼抢地盘?人工智能明星企...
科技明星企业、人工智能第一股科大讯飞近日出现在了央视节目中,这... -
焦点日报:股市“惊魂”,特朗普差一点...
他不得不这么说,因为当天的美股可谓遭遇了“血洗”。美国股市三大... -
天天新消息丨LED闪烁危及交通安全,豪威...
从路灯、交通灯,到车载照明,低功耗、长寿命、高可靠的LED正在快速... -
比亚迪仰望品牌发布定档:1月5日见
12月28日,比亚迪高端品牌仰望汽车发布消息称,仰望品牌暨技术发布... -
贾跃亭要踢恒大出局,只因“败光”8亿美...
恒大正式入主FF是在今年6月25日,当时恒大健康公告称,恒大集团以67... -
每日头条!说好的比加油方便呢:英国特斯...
说好的比加油方便呢:英国特斯拉车主抱怨充电要排队数小时 -
天天报道:扒一扒此次的谷歌新品发布会
10月9日晚,谷歌召开了今年的硬件新品发布会,会上推出了包括Pixel... -
世界视讯!慧示实力再受认可!同时斩获...
12月26日,第18届AVF中国音视频产业大会暨“科技创新奖”颁奖礼在北... -
【世界新要闻】发挥物联网优势,实现物...
当2G和3G网络关闭时,LPWA网络将填补这一空白,但会进行增强。这些... -
环球播报:科大讯飞AI同传造假,人工智能...
9月20日晚,一篇名为《科大讯飞,你的AI同传操(qi)作(zha)能更... -
高效可扩展模块化方案,NI汽车测试方案...
新能源、自动驾驶与车载通信正在改变现代汽车,为用户提供更环保节... -
雅阁、CR-V均中招!本田中国召回近20万...
雅阁、CR-V均中招!本田中国召回近20万辆混动车润滑油不够 -
世界速递!混动版用上比亚迪电池 全新...
混动版用上比亚迪电池全新福特锐界更名锐界L:剑指丰田汉兰达 -
综合续航超1200公里:长城魏牌首款旗舰...
综合续航超1200公里:长城魏牌首款旗舰六座SUV或命名“蓝山” -
快报:物联网是新一代信息技术的重要组...
物联网是新一代信息技术的重要组成部分。与互联网不同,物联网主要... -
怎么在微信上面开店?微信开店步骤有哪些?
首先,我们打开手机进入到微信,搜索微信小店后,点击小商店助手;然... -
word文档中如何输入对号√ 呢?word文...
先打开WORD2010,找到插入菜单选择插入菜单下的符号--其它符号在符... -
尺寸链计算步骤及方法是什么?尺寸链的...
1确定封闭环。正确地确定封闭环是求解尺寸链问题的基础。封闭环是加... -
显卡怎么安装?台式机如何装显卡?
将主机拆开先将你的电脑主机给拆开,露出里面的零部件和各个接口。... -
修改wifi密码具体步骤是什么?无线网密...
点击WiFi打开设置,点击WiFi。点击进入找到你需要查看WiFi的网络,... -
ppt怎么设置动画效果?PPT动画效果该咋设置?
选择动画打开ppt,在工具栏点击动画。选择添加在动画选项下,点击添... -
如何用Google翻译网页?谷歌浏览器怎么...
打开谷歌浏览器右上角的菜单栏,并找到设置功能。在设置中我们将页... -
qq版本过低怎么升级?老版本的QQ怎样升...
点击头像点击进入QQAPP,点击头像。点击设置左侧弹出页面点击设置。... -
ppt文件怎么打开?ppt在电脑上怎么打开?
右键点击PPT文件。展开打开方式。选择其他应用。展开更多应用。找到... -
每日短讯:硬着头皮上市能有“蔚来”?
北京时间9月12日晚,蔚来正式在纽交所挂牌上市,股票代码为“NIO”... -
QQ消息列表怎么查看?QQ消息列表查看步...
第一步,首先打开QQ,点击头像的选项进入。第二步,点击右上角更多... -
淘宝店铺怎么开?开淘宝店铺的方法是什么?
在淘宝我的界面, 点击右上角的设置图标。在设置界面,点击商家入... -
qq翻译功能怎么开启?qq怎么开启自动翻...
点击一个好友聊天。手机打开QQ,双击要翻译的消息。在聊天页面,点... -
office2010怎么激活?Office2010激活工...
下载office2010激活工具。下载完成后双击打开双击压缩文件里面的可... -
天天微速讯:自主品牌颜值最高 长安逸...
自主品牌颜值最高长安逸达 VIIA概念车全球首发:看了都想买 -
设计时速250公里!银兰高铁全线开通运营...
设计时速250公里!银兰高铁全线开通运营:最快3小时可达 -
钢筋符号字体安装方法是什么?使用详细...
网上搜索并下载钢筋符号SJQY字体。双击打开钢筋符号SJQY字体文件夹... -
word怎么制作艺术字?word艺术字体如何设置?
打开word文件,输入文字选中文字,在插入中选择艺术字选择艺术字的... -
ANSYS入门教程是什么?Ansys基础入门步...
以ANSYS16 0为例,在安装好软件后,首先要正确打开软件,方法是:... -
怎么裁剪图片?怎么裁剪图片的一部分?
我们选中自己需要裁剪的图片,点击鼠标右键,选择编辑在打开的画图... -
微信怎么截图?微信截图的方法是什么?
进入好友对话框打开微信客户端软件来到主页,进入与好友的对话框。... -
mp3文件怎么压缩大小?mp3文件太大怎么...
步骤1,先打开电脑,因为我们要压缩mp3文件的大小,所点击优速音频... -
调制解调器的作用是什么?调制解调器是...
1、主要是用来拨号上网,目前很多家庭上网都是拨号上网,用到的就是... -
全球要闻:“英雄”贾跃亭,“骗子”马斯克
美西时间2018年8月28日(北京时间8月29日)早上11点,FaradayFuture... -
环球播报:盘点那些一不小心就轰动世界的...
黑客对于一般人来说,往往是一个神秘的词汇。他们像一个“鹰眼”潜... -
天天热门:拯救马斯克
在乔·罗冈(JoeRogan)9月6日(美国时间)的直播节目中,马斯克面... -
当前消息!风河:从英特尔独立出来以后...
“在过去的几年里,风河与英特尔紧密合作。一方面,风河帮助英特尔... -
精彩看点:创新浪潮中的汽车:变与不变
大家好,非常高兴来到这里,我们将讨论一下在这个变革时代的汽车行... -
视焦点讯!加速云邬刚:人工智能现在只...
这一轮人工智能热潮,已经延续了数年。根据乌镇智库《全球人工智能...