NLP玩得溜,都有哪些模型表现可圈可点?
要说自然语言处理领域当今最fashion的“神兵”,恐怕非预训练语言模型莫属。
2018年BERT横空出世,那真可谓是打开了NLP新世界的大门。
且在这条预训练+微调的修行之路上,各路高手那叫一个百花齐放,各领风骚。
你看XLNet才把BERT从榜单之巅拉下马,那厢RoBERTa便进一步“榨干”BERT性能,重归榜首。
还不仅仅是西方选手轮番登台,文心ERNIE等东方身影也不乏精彩表现。
所以这两年多以来,都有哪些模型表现可圈可点?
今天,诸位看官便不妨随我盘点一番~
且看GLUE兵器谱
如果把预训练语言模型都比喻成兵器,那江湖上自有“百晓生兵器谱”,能给它们排个一二三四五。
GLUE就是自然语言处理领域的权威排行榜之一。
该榜单由纽约大学、华盛顿大学、DeepMind等机构联合推出,一直以来被视作评估NLP研究进展的行业标准。
因此,这GLUE榜首之争,那真是相当的激烈。能够夺魁的“神兵”,自然也各有各的文章。
玄铁重剑 BERT
就说这BERT,甫一亮相,就以预训练+微调的2-Stage模式,直接将GLUE基准拉高7.7%,端的是惊艳了众NLP开发者。
具体而言,BERT是基于Transformer的深度双向语言表征模型。预训练模型只需要增加一个输出层就可以进行微调,从而适应更广泛的新任务。
这种概念上的简练,正可谓是重剑无锋,大巧不工。
鸳鸯剑 XLNet
BERT虽好,但缺点也不是没有。比如预训练时的MASK标记在微调时并不会被看到,会产生忽略两个实体之间关联的情况,产生预训练-微调差异。
自回归模型可以避免这样的问题。于是,“鸳鸯剑”XLNet就登场了——这是一个双向特征表示的自回归模型。
并且,作为一个泛化自回归语言模型,XLNet不依赖残缺数据。
倚天剑 RoBERTa
不过就在XLNet“霸榜”一个月之后,BERT的强势继承人就出现了。
Facebook把BERT改进了一番,进一步“榨干”了BERT的性能,以RoBERTa之名重回巅峰。那架势恰是“倚天一出,谁与争锋”。
简单来说,RoBERTa主要做了这样的修改:更长的训练时间,更大的batch,更多的数据……
单从数据来看,原始的BERT使用了13GB大小的数据集,而RoBERTa使用了包含6300万条英文新闻的160GB数据集。
而在训练时间上,RoBERTa需要使用1024个英伟达V100训练大约1天的时间。
说到这,诸位看官可能会问,那咱们国内的“兵器”们,可曾榜上留名,与这些西方名兵交映生辉啊?
答案是肯定的。
屠龙刀 文心ERNIE
百度家大名文心的二妮(ERNIE),就在最近再夺榜首。
“屠龙宝刀”锋利之极,无坚不摧。而文心ERNIE的锋利之处,在于能融合大规模知识持续学习进化,久经打磨而其刃不卷。
这已经不是“国货之光”ERNIE第一次登顶GLUE。
2019年12月,文心ERNIE就在GLUE首次突破90分大关,甚至超越人类3个百分点,创下榜单新纪录。
此后2020年,文心ERNIE又在语言生成、跨模态理解、多语言理解等方向取得突破,先后提出了ERNIE-GEN、ERNIE-VIL、ERNIE-M等模型,取得10余项SOTA,登顶各方向权威评测的榜首。比如在全球规模最大的语义评测比赛SemEval 2020中,文心ERNIE就一口气斩获5项世界冠军。ERNIE 2.0论文被Paper Digest团队评为国际人工智能顶级学术会议AAAI 2020最具影响力的学术论文。文心ERNIE还获得2020年度中国人工智能学会优秀科技成果、2020世界人工智能大会最高荣誉SAIL(Super AI Leader)大奖等。
那么,取得如此多骄人的战绩,文心ERNIE又有何独家锻造秘方?
文心ERNIE因何登顶NLP兵器谱?
文心ERNIE基于预训练-微调架构,开创性地将大数据预训练与多源丰富知识相结合,通过持续学习技术,不断吸收海量文本数据中词汇、结构、语义等方面的新知识,实现模型效果不断进化,如同人类持续学习一样。
如今登顶GLUE榜首的是ERNIE二代目,它的预训练过程分为两个步骤:
构建无监督预训练任务学习不同维度的知识 通过多任务学习实现不同任务的持续训练
在这个过程中,不同的任务会被有序地加入ERNIE,通过持续多任务学习,使得模型在学习新任务时不会遗忘此前学到的知识。
而对于不同的特定应用任务,文心ERNIE 2.0会使用具体的任务数据微调。
说到此次二代目能在激烈竞争中夺魁的核心秘技,则是层次化学习。
这是一种新的学习范式,其中包含了2个学习层次,分别对应“内功”和“外功”。
内功(内层学习)主要是围绕词法、结构、语义3个方面知识构建的预训练任务。
这也是文心ERNIE首次登顶GLUE时就已采用的核心技术。
这里也不妨简单举例说明一下。
在词法层面,以知识掩码任务为例。
文心ERNIE 1.0模型通过对海量数据中的词、实体等先验语义知识的掩码,学习完整概念的语义表示。相较于 BERT 学习原始语言信号,ERNIE 直接对先验语义知识单元进行建模,增强了模型的语义表示能力。到了文心ERNIE 2.0,则使用其作为一个预训练任务。
在结构层面,句子排序任务就是其中之一。
句子之间的顺序反映了它们之间的逻辑顺序以及时间顺序。文心ERNIE 2.0构建了句子排序预训练任务:在训练过程中,随机将一个段落中的N个句子打乱,让模型在N! 的类别中预测正确的顺序。通过该技术使模型学习了文章结构中所蕴含的丰富知识。
在语义层面,以其中的逻辑关系预测任务为例:
要想对语义信息进行更加精细化的建模,短句之间连词表达出的逻辑关系是关键。因此,文心ERNIE 2.0使用短句间的连词构造无监督的关系分类任务,学习句子之间细粒度的逻辑语义知识。
如下图所示:
内功之外,再说外功。外功(外层学习)是模型结构与规模的精细化阶段性学习:
从第一阶段采取循环共享参数Transformer结构,到第二阶段进行逐层结构展开,到最后完全展开成非共享结构。
如此带来的训练收益,包括以下几个方面:
首先,平滑的模型参数展开训练方法,解决了大规模Post-LN(层归一化后置,即Layer Norm在Residual之后)收敛不稳定的问题。
其次,通过不断展开模型的参数,模型的神经元参数规模逐步增加,文心ERNIE能够顺利地吸收规模越来越大的知识输入,进而提升模型学习能力的上限。
与此同时,文心ERNIE神经元在扩大的过程中,引入了百度飞桨自研的Hybrid Sharding分布式训练算法。
该算法通过在单位通信单元中平均分配网络参数和梯度数据,巧妙避开了网络开销瓶颈,能充分利用硬件优势进行同步通信。
这也使得百亿参数规模的模型训练成为可能,训练时间大幅降低。
这把神兵,你也能用
说了这么多,各位看官想来已等得心焦,迫不及待想问那个关键问题:
能不能直接体验效果?
那!是!当!然!
好消息是,百度已经发布了文心ERNIE语义理解平台。
该平台集文心ERNIE预训练模型集、全面的NLP算法集、端到端开发套件和平台服务于一体,提供一站式NLP开发与服务,帮助开发者更简单、高效地定制NLP模型。
近日,平台重点推出了文心ERNIE NLP开发套件专业版和旗舰版。
在专业版中,就预置了大家期盼已久的文心ERNIE2.0预训练模型,面向专业的学术和产业开发需求提供语义理解能力。
旗舰版则面向工业级应用场景,提供最全面的预训练模型库和算法集,并支持金融、媒体等场景化应用。
根据实验结果,在机器阅读理解、命名实体识别、自然语言推断、语义相似度、情感分析和问答等9项任务上,文心ERNIE 2.0性能均大幅超过BERT。
同时,专业版开发套件还配套了多种NLP经典算法网络,支持文本分类、短文本匹配、序列标注和阅读理解等典型文本处理任务。
基本上,从数据预处理到模型训练,再到模型的预测均可一站体验。
想要试试的话,直接戳进文末文心ERNIE官网,申请下载即可。
说起来,两度登顶GLUE,刷榜各大榜单,在国产预训练“兵器”里,文心ERNIE还是第一个。
不过,纵观GLUE榜单,就会发现以ERNIE为首,越来越多made in China的神兵利器,都在不断突破,书写自己的篇章。
也正是在开放共享的氛围之中,中国的NLP力量已悄然发展、壮大,走向了世界舞台中央。
那么,要来体验一下吗?
关键词: GLUE
相关阅读
-
Intel 13代酷睿更新:接口保持不变 主板不兼容
IntelAlder Lake 12代酷睿采用了全新的LGA1700接口,必须搭配600... -
NVIDIA RTX 3090 Ti功耗曝光:高达48...
今天,某厂商的旗舰型RTX 3090 Ti规格参数被泄露出来,可以看到满... -
外媒:苹果内部讨论传闻已久的VR/AR设备...
据国外媒体报道,苹果产品方面的资深记者日前表示,苹果内部已经讨... -
Red Hat/Fedora Anaconda开发新安装程序
用于进行新操作系统安装的 Red Hat Fedora Anaconda 安装程序... -
12代酷睿处理器被压弯:采用全新的LGA1700插槽
Intel12代酷睿Alder Lake采用了颠覆性的大小核混合架构,采用了全... -
联动天翼圆柱锂电池曝光:电芯单体能量...
联动天翼新品发布会在上海中心举行。发布会上,联动天翼正式推出26-...
精彩推送
-
女子追尾后 质问前车司机为何刹车:急...
女子追尾后质问前车司机为何刹车:急得直跺脚 -
疑似东风本田2022年新车规划:新一代CR-...
疑似东风本田2022年新车规划:新一代CR-V、思域Type-R要来! -
车载摄像头真有这么香?特斯拉前脚释出...
车载摄像头真有这么香?特斯拉前脚释出大额订单知名日企也官宣入局 -
月薪5000也能买!2021款比亚迪e2试驾体...
月薪5000也能买!2021款比亚迪e2试驾体验:颜值、动力俱佳 -
轴距加长130mm、后排秒变“跑马场”!国...
轴距加长130mm、后排秒变“跑马场”!国产宝马X5长轴版曝光 -
奔驰销量暴跌 德系车在德国卖不动了:...
奔驰销量暴跌德系车在德国卖不动了:买特斯拉的狂增1 3倍 -
领克01被曝疑似虚假宣传?车顶钢材强度...
领克01被曝疑似虚假宣传?车顶钢材强度与宣传不符 -
雅迪电动车征服“中国最冷小镇”成功挑...
雅迪电动车征服“中国最冷小镇”成功挑战极寒天气续航200公里 -
没想到 新蒙迪欧成了中国设计“全球化...
没想到新蒙迪欧成了中国设计“全球化”的见证者 -
行业首家 小鹏超充贯通全国337城:何小...
行业首家小鹏超充贯通全国337城:何小鹏大赞! -
红旗向中国获奖奥运健儿交付11辆H9 直...
红旗向中国获奖奥运健儿交付11辆H9直接赠送和免费使用 -
皇冠轿车中国“复活”!曝一汽丰田将原...
皇冠轿车中国“复活”!曝一汽丰田将原装进口日本皇冠:35万起 -
宝马V12动力最后的荣光!M760i将限量发...
宝马V12动力最后的荣光!M760i将限量发售:起售127万 -
配剪刀门、升降式激光雷达!集度首款概...
配剪刀门、升降式激光雷达!集度首款概念车细节曝光 -
胡润世界八强榜单:特斯拉为唯一上榜车...
胡润世界八强榜单:特斯拉为唯一上榜车企位居第五 -
高速施工封路 大货避让不及撞废轿车:...
高速施工封路大货避让不及撞废轿车:人员全部奇迹生还 -
顺丰快递电动车高速上自燃 拖车紧急卸...
顺丰快递电动车高速上自燃拖车紧急卸车避险 -
马斯克被特斯拉股东起诉 索赔归还130亿美元
马斯克被特斯拉股东起诉索赔归还130亿美元 -
奔驰、吉利联手打造!Smart精灵#1量产版...
奔驰、吉利联手打造!Smart精灵 1量产版上路:取消对开门 -
特斯拉自动驾驶闯红灯撞向思域导致两人...
特斯拉自动驾驶闯红灯撞向思域导致两人死亡:司机被控过失杀人 -
雪铁龙凡尔赛被曝加速抖动 厂商拒不回...
雪铁龙凡尔赛被曝加速抖动厂商拒不回应车主投诉无门 -
女子结婚租到“盗版劳斯莱斯” 商家:...
女子结婚租到“盗版劳斯莱斯”商家:劳斯莱斯是形容词 -
贾跃亭要遵守约定!官方确认FF 91量产...
贾跃亭要遵守约定!官方确认FF91量产时间售价欲超200万元 -
新Mac Pro曝光:将搭载4个M1 Max处理器
据外媒最新报道称,苹果将在今年年底发布新一代Mac Pro,其最顶配... -
EFF基金会要求在iPhone手机中加入关闭2G...
GSM 2G网络已经有30年多年历史了,现在还有很多服务需要2G,但是该... -
三星GalaxyS22+的详细信息曝光:屏幕尺...
1月18日消息,MySmartPrice曝光了三星GalaxyS22+的详细信息。和Gala... -
Intel 12代酷睿i3曝光:超频幅度高达57%
通过超外频的方式,德国大神Der8auer将原本锁频的i5-12400、i5-1260... -
曝苹果SE机型可能会采用5.7英寸或6.1英...
据最新报道,显示屏行业顾问公司DSCC创始人兼CEO Ross Young在社... -
Intel 13代酷睿更新:接口保持不变 主板不兼容
IntelAlder Lake 12代酷睿采用了全新的LGA1700接口,必须搭配600... -
入门款新iPad曝光:可能被改造成支持5G
据最新消息称,苹果将在2022年底发布第十代iPad,在2023年进行更重... -
魅族专利公布一年后 手机终于要用上50W快充
去年年底魅族公布了自家分流式电池充放电控制系统及其控制方法、电... -
微软发布Win7/10/11紧急更新:修复多个W...
今天微软发布了紧急更新,主要是修复多个Windows版本问题,建议用户... -
首批RTX 3050曝光:多光线追踪
据介绍,RTX 3050本次供货主要以电商、线上、直播等平台为主,预测... -
Intel NUC 11廉价版曝光:规格性能实现飞跃
Intel今天为NUC 11迷你机家族增加了新的入门款NUC 11 Essential(... -
《关于紫光集团重整计划获法院裁定批准...
今晚,紫光集团通过官微,正式发布了《关于紫光集团重整计划获法院... -
Intel 13代酷睿曝光:接口与12代酷睿保持一致
据爆料,13代酷睿将会在今年第四季度发布,接口与12代酷睿保持一致... -
西安交大学生私自驾车离校至成都:关大...
西安交大学生私自驾车离校至成都:关大灯驶上草坪绕开检查 -
CEO做对一件事!福特市值首达1000亿美元
CEO做对一件事!福特市值首达1000亿美元 -
欧洲汽车大暴跌!原因太无奈:缺芯+疫情
欧洲汽车大暴跌!原因太无奈:缺芯+疫情 -
马斯克玩“无间道”!特斯拉成香饽饽 ...
马斯克玩“无间道”!特斯拉成香饽饽印度各地官员疯抢 -
爷青回!一汽发布全新企业LOGO:形似新...
爷青回!一汽发布全新企业LOGO:形似新飞冰箱标识 -
特斯拉Model Y USB-C快充模块拆解:遗...
特斯拉ModelYUSB-C快充模块拆解:遗憾砍掉数据传输 -
宁德时代正式发布换电品牌 蔚来回应:...
宁德时代正式发布换电品牌蔚来回应:表示欢迎 -
三星试产4080圆柱形电池:媲美特斯拉468...
三星试产4080圆柱形电池:媲美特斯拉4680、能量密度大增 -
宁德时代玩换电 曾毓群请吃“巧克力”...
宁德时代玩换电曾毓群请吃“巧克力”:1分钟换1块未来适配80%车型 -
中东部地区大面积雨雪、大雾天气!交管...
中东部地区大面积雨雪、大雾天气!交管部门发布驾驶人提醒 -
实测不到6个油 全新丰田汉兰达获CCRT测...
实测不到6个油全新丰田汉兰达获CCRT测评综合得分86 3分 -
宁德时代换电品牌“EVOGO”正式发布:1...
宁德时代换电品牌“EVOGO”正式发布:1分钟全自动换电面向所有汽车 -
谁能抵抗一个会撒娇的萝莉呢?《原神》...
谁能抵抗一个会撒娇的萝莉呢?《原神》首款导航语音上线 -
宁德时代乐行换电正式发布 宣传片惊现...
宁德时代乐行换电正式发布宣传片惊现蔚来网友:砸场子! -
比亚迪全新中型SUV谍照曝光:或为巡洋舰...
比亚迪全新中型SUV谍照曝光:或为巡洋舰05主打DM-i动力 -
iPhone XS Max可降级iOS 14.1,为何...
我们都知道,苹果每次在推送新版iOS之后,都会关闭上一个正式版系统... -
四维图新发布业绩预告:2021年实现扭亏为盈
1月16日晚,四维图新NavInfo官方宣布了其2021年度的业绩预告,该公... -
被炮轰刷新底线!团车闻伟:造车不会儿...
被炮轰刷新底线!团车闻伟:造车不会儿戏邀请李想参加产品发布会 -
零百加速超17秒 40年前经典奥迪被拍卖...
零百加速超17秒40年前经典奥迪被拍卖:最高出价6 7万元 -
“青蛙眼”大灯瞩目!欧拉闪电猫量产版...
“青蛙眼”大灯瞩目!欧拉闪电猫量产版谍照曝光:最快5月上市 -
SIAL国际食品展(上海)启动之际,“中食...
日前,中共中央、国务院印发了《知识产权强国建设纲要(2021—2035年... -
CrowdStrike野外样本增加,进行分布式拒...
根据 CrowdStrike 的威胁遥测数据 ,在 2021 年针对 Linux ... -
2022年会成为Linux桌面元年吗?
2022 年会成为 Linux 桌面元年吗?答案可能依然是否定的,但我们... -
比亚迪半导体MCU曝光:最高工作频率48MHz
今日,据比亚迪半导体公众号消息,继2020年8月推出国内首款集成触摸... -
XPOWER XS70 PCIe 4.0固态硬盘曝光:...
Silicon Power(SP)近日面向玩家,推出了全新的 XPOWER XS70 PCI... -
一加6和一加6T将正式停止官方软件支持
近日,一加海外社区官方人员正式确认,一加6和一加6T的官方支持已经... -
Misty为Furhat收购机器人公司Misty Robotics
Misty经历了一段地狱般的旅程。在从Foundry和Venrock筹集了1150万美... -
曝骁龙8 Plus旗舰Q3曝光:改用4nm工艺Plus版本
按照此前多方消息显示,高通会在今年下半年推出改用台积电4nm工艺的... -
宁德时代进军“换电”市场 注册多个商标
日前,宁德时代官方消息,宁德时代将于1月18日15:30举办发布会,推... -
业界首个!集度汽车机器人车标发布:百...
业界首个!集度汽车机器人车标发布:百度、吉利联合打造 -
比亚迪、中国一汽成立动力电池合资公司...
比亚迪、中国一汽成立动力电池合资公司:产能超百万辆电动车 -
中毒了 中国汽车活化石大变样!新一代B...
中毒了中国汽车活化石大变样!新一代BJ212外形堪比路虎卫士 -
丰田章男用毛笔写下年度汉字“動”!中...
丰田章男用毛笔写下年度汉字“動”!中日文一语双关 -
四缸增程器、零百加速不到6秒!售价50万...
四缸增程器、零百加速不到6秒!售价50万的理想X01买吗 -
富豪驾布加迪德国高速狂飙至417km/h 9...
富豪驾布加迪德国高速狂飙至417km h9分钟能烧干一箱油 -
日本佳能关闭珠海工厂:主要停产数码相...
最近日本相机巨头佳能关闭珠海工厂的消息引发热议,佳能中国已经确... -
外媒:CarKey有望发布 可用iPhone解锁汽车
据国外媒体报道,苹果分析师马克 · 格尔曼(Mark Gurman )表示... -
外媒:LG Innotek将向特斯拉提供价值超...
据国外媒体报道,LG Innotek将向特斯拉提供价值超过1万亿韩元的电... -
Forbes发表观点性文章,揭示2022年量子...
Safe Quantum安全首席执行官兼创始人John Prisco日前在Forbes发表... -
高清概念渲染图曝光 揭开Galaxy Tab...
预计下个月,三星会在 2022 年度首场GalaxyUnpacked 发布会上,... -
中际旭创预计今年全球数通市场光模块需...
中际旭创近日举行了投资者关系活动。中际旭创副总裁、董事会秘书王... -
苹果Safari浏览器Bug曝光:影响使用苹果...
据 MacRumors 报道,根据浏览器指纹识别服务提供商 FingerprintJ... -
14nm显卡性能曝光:追上GTX 1050 功耗为30W
1月17日,景嘉微在投资者关系活动中表示,公司历经十余年发展,成功... -
NVIDIA RTX 3090 Ti功耗曝光:高达48...
今天,某厂商的旗舰型RTX 3090 Ti规格参数被泄露出来,可以看到满... -
外媒:苹果内部讨论传闻已久的VR/AR设备...
据国外媒体报道,苹果产品方面的资深记者日前表示,苹果内部已经讨... -
网友发现新版微信支持搜索后批量删除好友
前不久,iOS版微信率先更新了8 0 17版。除了万众期待的语音消息暂... -
云网融合打造生态系统,产业链企业数量...
近日,Semtech举办媒体沟通会,宣布公司与腾讯云达成协议,LoRa Cl... -
便宜又好用 中国制造的电动车在日本成...
便宜又好用中国制造的电动车在日本成了香饽饽 -
零百加速5.9秒力压埃尔法!全球最速MPV...
零百加速5 9秒力压埃尔法!全球最速MPV岚图梦想家白车身下线 -
比亚迪宋DM-i最强对手!奇瑞星途追风PHE...
比亚迪宋DM-i最强对手!奇瑞星途追风PHEV亮相:亏电油耗4 8L -
真实起火率统计对比:混动车危险系数最...
真实起火率统计对比:混动车危险系数最高、电动车排在燃油车之后 -
全球首款续航破千电动车!广汽Aion Lx...
全球首款续航破千电动车!广汽AionLxPlus冬季媒体实测:最高960Km -
四缸增程器、续航800公里!理想X01路测...
四缸增程器、续航800公里!理想X01路测谍照曝光:售价约50万买吗 -
比丰田埃尔法还豪华 红旗全新MPV内饰曝...
比丰田埃尔法还豪华红旗全新MPV内饰曝光:二排座椅是亮点! -
配坦克300同款档杆、一体式双联屏!哈弗...
配坦克300同款档杆、一体式双联屏!哈弗酷狗内饰曝光 -
“元宇宙”热火蔓延车圈!中国车企首个N...
“元宇宙”热火蔓延车圈!中国车企首个NFT拍卖到来:送真车一辆 -
零下35℃雪天在特斯拉里过夜:10万km电...
零下35℃雪天在特斯拉里过夜:10万km电池坚持了一天半 -
被李想炮轰后 团车CEO首次回应:别成为...
被李想炮轰后团车CEO首次回应:别成为自己最记恨的那波人 -
印度提议本国生产所有车型 至少配备六...
印度提议本国生产所有车型至少配备六个气囊!网友:远超中国标准 -
实测1067马力超官方数据!最强特斯拉Mod...
实测1067马力超官方数据!最强特斯拉ModelS动力测试结果出炉 -
威马汽车私自“锁电”引众怒 173名车主...
威马汽车私自“锁电”引众怒173名车主联名发律师函向厂家维权 -
比长城还会玩!上汽大众凌度L公开征求昵...
比长城还会玩!上汽大众凌度L公开征求昵称:辣馒头、麻辣烫在内 -
宁德时代进军“换电”市场 注册“巨无...
宁德时代进军“换电”市场注册“巨无霸换电块”商标 -
大众集团全球销量出炉 超大众成行业榜首
随着大众集团全球销量出炉,一年一度的汽车行业榜首之争一锤定音。...