FPGA加速器支撑ChatGPT类大语言模型创新
简介:大语言模型
近年来,大型语言模型(Large Language Models,LLM)彻底改变了自然语言处理领域,使机器能够生成类似人类的文本并进行有意义的对话。这些模型,例如OpenAI的GPT,拥有惊人的语言理解和生成能力。它们可以被用于广泛的自然语言处理任务,包括文本生成、翻译、自动摘要、情绪分析等。
(相关资料图)
大语言模型通常是基于深度学习技术来构建,特别是广泛使用了transformer架构。Transformer是一类神经网络模型,擅长捕捉语言序列中的远关联关系,这使得它们非常适合于语言理解和生成任务。训练一种大语言模型的方法是将模型暴露给大量文本数据中,这些文本数据通常来源于书籍、网站和其它文本资源。该模型学会了预测句子中的下一个单词,或者根据它所看到的上下文填充缺失的单词。通过这个过程,它获得了关于语法、句法的知识,甚至是一定程度的世界知识。
与大语言模型相关的主要挑战之一是其巨大的计算和内存需求。这些模型由数十亿个参数组成,需要强大的硬件和大量的计算资源来有效地训练和部署它们,正如Nishant Thakur在2023年3月于领英发布的文章《ChatGPT背后令人难以置信的处理能力和成本:构建终极AI聊天机器人需要什么?》中所讨论的。资源有限的组织机构和研究人员在充分利用这些模型的潜力方面经常遇到瓶颈,因为云端需要大量的处理能力或资金。此外,在生成响应时,为创建适当的符号、单词或单词子部分,上下文长度会急剧增长,对内存和计算资源产生更多的需求。
这些计算挑战导致更高的延迟,这使得大语言模型的采用变得更加困难,并且不是实时的,因此不那么自然。在这篇博客中,我们将深入研究大语言模型遇到的困难,并探索潜在的解决方案,这些解决方案可以为其增强的可用性和可靠性铺平道路。
大语言模型的加速
大语言模型的构建通常需要一个大规模的系统来执行该模型,这个模型会持续变大,在其发展到一定程度后,仅靠在CPU上的运行就不再具有成本、功耗或延迟的优势了。使用GPU或FPGA这样的加速器可显著提高计算能效、大幅降低系统延迟,并以更小的规模实现更高的计算水平。虽然GPU无疑正在成为硬件加速的标准选择,主要是因为它具有的可访问性和易于编程特性;实际上,在低延迟方面,FPGA架构比GPU有更卓越的性能。
由于本质上GPU是采用扭曲锁定(warp-locked)架构,跨多个内核并行执行超过32个SIMT线程,因此它们通常也需要批量处理大量数据,以尝试和偏移warp-locked架构并保持流水线被充满。这等同于更大的延迟和更多系统内存的需求。同时,FPGA可构建自定义数据路径来同时在多个数据模块上执行多个不同的指令,这意味着它可以非常有效地运行,一直到批量大小为1,这是实时的,延迟要低得多,同时最大限度地减少外部存储器需求。因此,与其他竞争性架构相比,FPGA能够显著提高其TOPs的利用率——随着系统规模扩展到ChatGPT系统大小时,这种性能差距只会继续增加。
当系统规模扩展到需要超过8个处理器件时(GPT3的训练需要使用10,000个GPU),用Achronix的FPGA来执行大语言模型可在吞吐量和延迟方面胜过GPU。如果模型可以使用INT8精度,那么使用GPT-20B作为参考的Achronix FPGA则具有更大的优势,如下表所示。这些数据说明使用FPGA是有优势的,因为GPU需要较长的交付时间(高端GPU超过一年)、得到的用户支持可能也很少,并且比FPGA贵得多(每块GPU的成本可能超过10,000美元)。
Speedster7tFPGA芯片与GPU的性能比较
将大语言模型映射到Achronix的FPGA加速器上
Achronix的Speedster7t FPGA具有一个独特的架构,使其非常适合这些类型的模型。首先,它有一个硬二维片上网络(2D NoC),解决了整个器件的数据传输以及输入输出。此外,它使用了带有紧耦合RAM的机器学习处理器(MLP),以便在计算之间实现高效的结果重用。最后,与GPU类似但与其他FPGA不同,Achronix的Speedster7t FPGA具有八组高效的GDDR6存储器IP,可支持更高的带宽,并且能够以4 Tbps的速度加载参数。
由于这些系统需要可扩展性,FPGA可以实现各种标准接口,以将加速卡互连在一起,并可实现卡之间无缝地传输数据。Achronix的Speedster7t AC7t1500器件具有32个100 Gbps的SerDes通道,不需要诸如NVLink这样的专有且成本高昂的解决方案。
大语言模型的未来:升级为增强型语言理解方案及领域特定方案
由于这些大语言模型需要巨大的规模才能以最小的延迟影响来执行训练和推理,模型的复杂性将继续增加,这将使得不断发展的语言理解、生成,甚至预测能力具有令人难以置信的准确性。虽然目前许多GPT类模型都是通用的,很可能接下来会出现针对某些领域,如医学、法律、工程或金融等而训练的专用模型。总之,在很长一段时间内,这些系统将协助人类专家处理由人工智能系统处理的更多平凡的任务,并为提供解决方案建议或协助完成创造性的任务。
联系Achronix,了解我们如何帮助您加速这些大语言模型系统。
在即将于9月14-15日在深圳市深圳湾万丽酒店举办的“2023全球AI芯片峰会”(第10号展位)上,Achronix将展出其最新的自动语音识别(Accelerated Automatic Speech Recognition, ASR)加速方案。它具有领先的超低延迟、大并发实时处理的特性,运行在VectorPath加速卡上的Speedster7t FPGA中。作为一种带有外接主机API的完整解决方案,其应用不需要具备RTL或FPGA知识。
Achronix还将介绍针对高带宽、计算密集型和实时处理应用的最新的FPGA和eFPGA IP解决方案,包括Speedster®7t系列FPGA芯片、Speedcore™ eFPGA IP和VectorPath®加速卡。
关键词:
相关阅读
-
FPGA加速器支撑ChatGPT类大语言模型创新
探索FPGA加速语言模型如何通过更快的推理、更低的延迟和更好的语言理解 -
Microchip PolarFire® FPGA单芯片加...
此次审查确认了PolarFireFPGA安全解决方案的优势 -
TrendForce集邦咨询:原厂成功拉涨Wafer...
Aug 31,2023----近期NANDFlash现货市场颗粒报价受到wafer合约价成功拉 -
是德科技助力翱捷科技验证支持RedCap技...
与传统无线终端设备相比,RedCap技术可支持复杂度更低、成本更低、功耗 -
TrendForce集邦咨询:第二季全球原厂Ent...
Aug 31,2023----TrendForce集邦咨询研究显示,受高通胀及经济形势影响 -
从一个“防爆阀”看宁德时代如何以持续...
8月24日消息,全球知名研究机构SNEresearch近日公布了2023年1-6月全球
精彩推送
-
是德科技助力翱捷科技验证支持RedCap技...
与传统无线终端设备相比,RedCap技术可支持复杂度更低、成本更低、功耗 -
TrendForce集邦咨询:原厂成功拉涨Wafer...
Aug 31,2023----近期NANDFlash现货市场颗粒报价受到wafer合约价成功拉 -
反向“价格战”?高合:HiPhi Y部分车...
反向“价格战”?高合:HiPhiY部分车型上调1万元 -
Microchip PolarFire® FPGA单芯片加...
此次审查确认了PolarFireFPGA安全解决方案的优势 -
都曾被特斯拉起诉!网红“蔡老板”、“...
都曾被特斯拉起诉!网红“蔡老板”、“品玩”账号今天一同被封 -
FPGA加速器支撑ChatGPT类大语言模型创新
探索FPGA加速语言模型如何通过更快的推理、更低的延迟和更好的语言理解 -
特斯拉推送OTA升级 导航、语音得到优化...
特斯拉推送OTA升级导航、语音得到优化新增“打怪”小游戏 -
潮评丨“扩优提质”,并非简单扩大普高...
潮新闻客户端特约评论员胡欣红“普通高中内涵建设行动,主要解决普... -
TrendForce集邦咨询:第二季全球原厂Ent...
Aug 31,2023----TrendForce集邦咨询研究显示,受高通胀及经济形势影响 -
今年成都第一场大型海外歌手演唱会 ...
今年成都第一场大型海外歌手演唱会是曾刷爆朋友圈的“西城男孩”演... -
30秒|“汪汪队”退休了!成都消防4只搜...
8月30日下午3点,成都消防为4条搜救犬举行退役暨领养交接仪式。此次退 -
小鹏超快充站完成百城覆盖 :5分钟即可...
小鹏超快充站完成百城覆盖:5分钟即可充电200公里 -
24.98万起 比亚迪唐家族新车型上市:4....
24 98万起比亚迪唐家族新车型上市:4 3秒无愧战神之名 -
从"盼盼""五羊"到"江南忆"吉祥物中的亚运记忆
从北京、广州到杭州,亚运记忆跨越33年。1990年,北京亚运会。改革开放 -
延长石油最新领导班子成员
延长石油最新领导班子成员陕西延长石油(集团)有限责任公司(简称... -
大众神秘“兔子”车型官宣!高尔夫GTI ...
大众神秘“兔子”车型官宣!高尔夫GTI380手动挡亮相:车迷狂喜 -
首发魅族车机、续航1400km!领克08上市...
首发魅族车机、续航1400km!领克08上市定档:21 8万起有爱? -
从一个“防爆阀”看宁德时代如何以持续...
8月24日消息,全球知名研究机构SNEresearch近日公布了2023年1-6月全球 -
筹备20年!传记电影《法拉利》年底上映...
筹备20年!传记电影《法拉利》年底上映:与玛莎拉蒂展开生死角逐 -
设计时速350公里!贵南高铁全线正式通车...
设计时速350公里!贵南高铁全线正式通车:贵阳到南宁时间缩至2小时左右 -
广汽“埃安昊铂Hyper GT”采用尼得...
2023年7月3日,在广汽集团(GACGroup)的电动汽车专属品牌“埃安Aion”位 -
四轮四电机 比亚迪仰望D级轿车专利图曝...
四轮四电机比亚迪仰望D级轿车专利图曝光:或售百万 -
资本市场的含义是什么?
资本市场是指企业和政府通过证券交易来筹措资金并进行投资活动的市场。 -
麦趣尔(002719):该股换手率大于8%(08-31)
摘要:2023年08月31日麦趣尔(002719)换手率大于8%,主力资金净流入91 -
天普股份(605255)2023年中报简析:营...
据证券之星公开数据整理,近期天普股份(605255)发布2023年中报。根据 -
整只的老母鸡怎么炖得软烂
关于整只的老母鸡怎么炖得软烂的内容,包含老母鸡怎么炖最烂老母鸡怎么 -
万科:明年公司有三笔美元债到期,总规...
在今日万科集团2023年中期业绩会上,对于境外融资环境变化,万科财务负 -
突发故障导致停产后,丰田工厂已于昨天...
据业内消息,本周二的时候由于电脑系统出包,丰田汽车在日本的14座工厂 -
2023年中国农民丰收节全国主场活动将在...
光明网讯(记者张诗奇)田野稻花香,渐知秋实美。今年9月23日(农历秋 -
2023广东开学第一课直播入口+直播时间+...
开学啦!新学期、新起点快切换到开学频道迎接“秋天的第一堂课”!9... -
新能源汽车充电价格上涨 出租司机:以...
新能源汽车充电价格上涨出租司机:以前一天40现在电费要80 -
销量稳居国内第二:上汽公布2023半年报...
销量稳居国内第二:上汽公布2023半年报总收入超过3200亿元 -
8月31日河南地区萤石市场价格暂稳
8月31日河南地区萤石市场行情走势暂稳,目前97%萤石粉湿粉出厂含税价格 -
终于换上双联屏!奥迪Q6 e-tron内饰曝...
终于换上双联屏!奥迪Q6e-tron内饰曝光慕尼黑车展首发亮相 -
俄罗斯 CPU 制造商 Baikal 母公司濒临破产
近日据外媒CNews报道,俄罗斯CPU制造商Baikal的母公司濒临破产,目前正 -
北京规模以上文化产业增加值4509.2亿元...
北京规模以上文化产业增加值4509 2亿元占地区生产总值比重11%居全国首 -
预售25万起 比亚迪唐家族新车型今日上...
预售25万起比亚迪唐家族新车型今日上市:全身黑化战神版来了 -
赛力斯上半年净亏损13.44亿元:新能源汽...
8月31日消息,赛力斯发布了2023上半年财报,上半年营业收入110 32亿元 -
戴尔PC中国大陆出货量暴跌52% 份额创下新低
8月30日消息,市调机构Canalys发布的最新数据报告显示,2023年第二季度 -
对标ChatGPT!百度深夜官宣:文心一言向...
8月31日消息,今日凌晨,百度宣布,文心一言率先向全社会全面开放,所 -
销量比肩比亚迪!长安汽车上半年赚了76....
销量比肩比亚迪!长安汽车上半年赚了76 5亿元:大涨3成 -
或不低于40万 曝国产丰田普拉多已开启...
或不低于40万曝国产丰田普拉多已开启盲定:换壳雷克萨斯GX还香吗 -
华为上半年净利润465.23亿元!研发投入826亿元
8月30日消息,今日晚间,华为在上清所公布了2023年半年报,报告显示, -
小米发布上半年财报,卢伟冰:将要回印...
业内消息,近日小米集团发布了上半年的财报数据,虽然营收数据同比下滑 -
曾加价8万!本田思域Type-R跌落神坛:现...
曾加价8万!本田思域Type-R跌落神坛:现车充足、贷款有优惠 -
患病率高于成人!孩子的这些表现竟然是...
《中国国民心理健康发展报告(2021-2022)》显示青少年抑郁风险高于成年 -
古琴难学吗 要学多久(古琴学习)
1、我当初也是没有音乐方面的具体知识,但是学习古琴并不需要。2、古琴 -
平均3秒造出一辆车 丰田汽车今年产量或...
平均3秒造出一辆车丰田汽车今年产量或首超1000万辆 -
中国电信将借“卫星通信”撬动中国移动...
近日,华为Mate60Pro手机突然在华为官方商城开售。虽然万众期待的芯片 -
曝华为Mate 60系列还有“终极王炸”,...
据知名博主爆料,除了刚刚开售的Mate60和Mate60Pro两款新机之外,听说 -
自断一臂!为给电动车让路:福特将砍掉...
自断一臂!为给电动车让路:福特将砍掉三款受欢迎的油车 -
卖一辆亏25万蔚来亏钱纪录再被刷新!李...
卖一辆亏25万蔚来亏钱纪录再被刷新!李斌:挖奔驰宝马销售提销量 -
观致汽车接连被强制执行超9.6亿元 母公...
观致汽车接连被强制执行超9 6亿元母公司宝能出售资产自救 -
大屏+怀挡 全新大众帕萨特全球首发 仅...
大屏+怀挡全新大众帕萨特全球首发仅提供旅行版车型 -
北京16条措施支持外资研发中心发展
原标题:北京16条措施支持外资研发中心发展(主题)在京落地最高可获50 -
山西对电商平台销往县域外的农副产品给...
山西对电商平台销往县域外的农副产品给予补贴,主流媒体,山西门户。山西 -
兰州市在全省率先开展医保行业信用评价
我市在全省率先开展医保行业信用评价为进一步推进医保信用体系建设,深 -
社论丨实施好积极的财政政策,推动经济...
8月30日,财政部发布2023年上半年中国财政政策执行情况报告。报告提出 -
低价狂抢俄罗斯石油1年后!印度推100%乙...
低价狂抢俄罗斯石油1年后!印度推100%乙醇汽车:国内剩余粮食多 -
理想的纯电到底怎么玩 我们和他们的负...
理想的纯电到底怎么玩我们和他们的负责人聊了聊 -
如何忽悠中国人买国产越野车?
如何忽悠中国人买国产越野车? -
赞!这是总编们眼中的溧水
8月30日,2023中国城市网盟首届“CEO圆桌荟”暨全国重点新闻网站“... -
要迁走韩抗日名将洪范图雕像,韩国防部...
韩国国防部28日表示,在推进迁移陆军士官学校内放置的抗日将领洪范图雕 -
比亚迪上半年新车销量125万辆!首次进入...
比亚迪上半年新车销量125万辆!首次进入全球前10 -
调查|温州老板没“躺平”
调查|温州老板没“躺平”,澎湃,中荣,老板,温州人,温州市 -
狐大医 | 乳房疼痛是病吗?这个常见诱...
出品|搜狐健康作者|顺义妇儿医院乳腺中心金保臣编辑|施桂娟很多女性朋 -
湖北校友会专科学校排名 武汉高职院校排名.
今天,大学路小编为大家带来了湖北校友会专科学校排名武汉高职院校排名 -
估值达200亿 华为、长安、宁德合作汽车...
估值达200亿华为、长安、宁德合作汽车品牌阿维塔融资30亿 -
种子萌发需不需要阳光的实验(种子萌发...
1、只能给你一个提示:实验需要2个培养皿标记为A、B,将滤纸沾湿放在培 -
【天眼问政·追踪】贵阳俊发黑石湿地公...
8月27日,“天眼问政”栏目就贵阳市白云区俊发黑石湿地公园出现... -
华汉神针(关于华汉神针的基本详情介绍)
大家好我是小蝌蚪,华汉神针,关于华汉神针的基本详情介绍很多人还不知 -
西施什么什么成语(西施打一字是什么)
导读1、方。本文到此讲解完毕了,希望对大家有帮助。免责声明:本文由 -
香飘十里是什么意思(香飘十里)
我是小前,我来为大家解答以上问题。香飘十里是什么意思,香飘十里很多 -
生产力局携手广州白云区、中山科技局,...
近日,香港生产力促进局(生产力局)与广州市白云区(白云区)签订战略 -
博世推出与硬件解耦的视觉感知软件模块
●对于SAEL0–L4级自动驾驶,对车辆周边环境的视觉感知是辅助与自动驾 -
“广州蓝皮书”来了!预测科创生态向好...
8月30日上午,广州大学与社会科学文献出版社联合发布了《广州蓝皮书:2 -
财政部:上半年全国新增减税降费及退税...
财政部今天(30日)发布《2023年上半年中国财政政策执行情况报告》,《 -
意甲今夏标王!两大名记:国米总价3200...
来自意大利两大名记罗马诺、迪马济奥的最新消息,国际米兰将签下拜仁27 -
杭州亚运会开幕式完成第一次正式彩排
央视网消息(新闻联播):经过三个多月的紧张排练,昨晚(8月29日), -
合资品牌没那么香了!东风集团利润下滑...
合资品牌没那么香了!东风集团利润下滑:合资车少挣了38亿元 -
哪吒汽车再融70亿冲刺IPO!累计吸金超22...
哪吒汽车再融70亿冲刺IPO!累计吸金超220亿年销量已超15万 -
隔壁大众自愧不如:悬浮大屏+怀挡 全新...
隔壁大众自愧不如:悬浮大屏+怀挡全新斯柯达柯迪亚克内饰曝光 -
记者:狼队已接受曼城对努内斯报价,已...
直播吧8月30日讯据《队报》记者LoïcTanzi报道,狼队已经接受曼城对中 -
珠海国际赛车场下发噪音排放执行标准通...
珠海国际赛车场下发噪音排放执行标准通知:白天限70分贝 -
大众CEO亲自透露:9月3日将发布神秘新车...
大众CEO亲自透露:9月3日将发布神秘新车疑似高尔夫GTI特别版 -
中国中铁上半年经营质效双提升 新签合...
本报记者向炎涛8月30日晚间,中国中铁(601390 SH、00390 HK)发布2023 -
2023年1-7月的世界汽车销量4960万台 中国占比32%
2023年1-7月的世界汽车销量4960万台中国占比32% -
上半年净利润13.6亿元 大降75%!长城总...
上半年净利润13 6亿元大降75%!长城总裁:请相信我们的韧性 -
多纳全屋定制_比纳全屋定制
纳比是“无甲醛苯”新名词的发布者,室内装修无甲醛苯标准的制定者... -
外观奶凶 大众ID.Buzz GTX谍照曝光 ...
外观奶凶大众ID BuzzGTX谍照曝光双电机四驱年内有望上市 -
广东男篮注册16名球员:任骏飞顶薪合同...
CBA官方更新了国内球员注册信息,其中,广东男篮新增15人完成注册,目 -
男子上演“迷惑操作” 高速连续两次掉...
男子上演“迷惑操作”高速连续两次掉头逆行只为看眼路牌 -
87.8万起售对标宝马7系 新款雷克萨斯LS...
87 8万起售对标宝马7系新款雷克萨斯LS上市:终于有CarPlay了 -
宁德时代欧洲工厂遭欧盟针对调查 官方...
宁德时代欧洲工厂遭欧盟针对调查官方回应:不属实 -
辽宁科技大学上海录取分数线 辽宁科技...
最近经常有小伙伴私信询问辽宁科技大学上海录取分数线辽宁科技大学上海 -
今日辟谣(2023年8月30日)
今日辟谣(2023年8月30日) -
访问学者如何办理延期回国
近年来,随着国际交流的不断深入,越来越多的学者选择走出国门,到异国 -
罗德与施瓦茨(以下简称"R&S公司")与联发...
RedCap将使得一系列新的5G独立组网设备成为可能,包括用于5G智能工厂、 -
日本国产“劳斯莱斯库里南”来了!丰田...
日本国产“劳斯莱斯库里南”来了!丰田官宣:世纪SUV9月6日亮相 -
直击光博会现场:傲科光电展示全新信息...
近日,傲科光电正式官宣:支持LPO架构的单波100GDriver、TIA和硅光芯片