Amazon EC2 Inf2实例正式可用 助力更低成本、更高性能的生成式AI推理
深度学习(DL)的创新,特别是大语言模型(LLM)的快速发展,已经席卷了整个行业。深度学习模型的参数已从数百万增加到数十亿,为我们呈现了越来越多激动人心的新能力。它们正在催生新的应用,如生成式AI或医疗保健和生命科学的高级研究。亚马逊云科技一直在芯片、服务器、数据中心互连和软件服务等多个方面创新,加速深度学习工作负载的大规模应用。
亚马逊云科技在2022 re:Invent 全球大会上,以其最新的自研机器学习推理芯片Amazon Inferentia2为基础,发布了Amazon EC2 Inf2系列实例的预览版。Amazon EC2 Inf2类型实例专门针对全球大规模运行高性能深度学习推理应用程序,为部署在EC2上的生成式AI应用提供最佳性价比,其中包含 GPT-J或开放式预训练Transformer(OPT)语言模型。
(相关资料图)
现在,亚马逊云科技宣布Amazon EC2 Inf2实例正式可用!
Inf2实例是Amazon EC2上首个推理优化的实例,支持可扩展的分布式推理,可实现多个inferentia2芯片之间的超高速连接。用户可以在Inf2实例中跨多个芯片高效部署具有数千亿个参数的模型。与Amazon EC2 Inf1实例相比,Inf2实例的吞吐量提高4倍,延迟降低10倍。
新Inf2实例的亮点
Inf2实例目前有四种可用实例类型,最高扩展至12个Amazon Inferentia2芯片和192个vCPU配置。在BF16或FP16数据类型下,它们能够提供2.3 petaFLOPS的综合计算能力,并具有芯片间超高速NeuronLink互连的功能。NeuronLink可在多个Inferentia2芯片上扩展大模型,避免通信瓶颈,实现更高性能的推理。
每个Inferentia2芯片内有32 GB的高带宽内存(HBM),最高配置的 Inf2 实例可提供高达384 GB的共享加速器内存,总内存带宽为9.8 TB/s。对于需要大内存支持的的大型语言模型而言,这种带宽对于支持模型推理尤为重要。
基于专门为深度学习工作负载而构建的 Amazon Inferentia2芯片的 Amazon EC2 Inf2,相比同类实例,单位功率性能高出了50%。
Amazon Inferentia2的创新之处
与亚马逊自研机器学习训练芯片 Amazon Trainium类似,每个Amazon Inferentia2芯片都配有两个经过优化的NeuronCore-v2引擎、高带宽内存(HBM)堆栈和专用的集体计算引擎,以便在执行多加速器推理时实现计算与通信的并行。
每个NeuronCore-v2都有专为深度学习算法构建的标量、向量和张量三种引擎,其中张量引擎针对矩阵运算进行了优化;标量引擎针对ReLU(修正线性单元)函数等元素性操作进行了优化;向量引擎针对批处理规范化或池化等非元素向量运算进行了优化。
以下是Amazon Inferentia2芯片和服务器硬件其他创新总结:
数据类型——Amazon Inferentia2 支持多种数据类型,包括 FP32、TF32、BF16、FP16 和 UINT8,用户可以为工作负载选择最合适的数据类型。它还支持新的可配置 FP8(cFP8) 数据类型,该数据类型特别适用于大模型,因为它减少了模型的内存占用和 I/O 要求。
动态执行和动态输入形状——Amazon Inferentia2 具有支持动态执行的嵌入式通用数字信号处理器 (DSP),因此无需在主机上展开或执行控制流运算符。Amazon Inferentia2 还支持动态输入形状,这些形状对于具有未知输入张量大小的模型(例如处理文本的模型)至关重要。
自定义运算符——Amazon Inferentia2支持用C++语言编写的自定义运算符。Neuron自定义C++运算符使用户能够编写在NeuronCore上天然运行的C++自定义运算符。用户可以使用标准的 PyTorch自定义运算符编程接口将 CPU 自定义运算符迁移到 Neuron 并实现新的实验运算符,所有这些都无需对 NeuronCore 硬件有任何深入了解。
NeuronLink v2——Inf2实例是Amazon EC2类型中首个将 NeuronLink V2 用于推理优化的实例,NeuronLink v2 为Inferentia2芯片间的提供超高速连接,加强分布式推理性能。NeuronLink v2使用all-reduce等聚合通信(CC)运算符,将高性能推理管道扩展到所有的推理芯片上。
新Inf2实例现已可用
用户可在亚马逊云科技美东(俄亥俄州)和美东(北弗吉尼亚州)地区启动Inf2实例,以按需、预留和竞价实例或Savings Plan方式调用。用户仅需为其实际使用的服务付费。如需了解更多相关信息,请访问Amazon EC2定价网站。
Inf2实例可使用亚马逊云科技深度学习镜像进行部署,并可通过Amazon SageMaker、Amazon Elastic Kubernetes Service(Amazon EKS)、Amazon Elastic Container Service(Amazon ECS)和Amazon ParallelCluster等托管服务调用。
关键词:
相关阅读
-
Amazon EC2 Inf2实例正式可用 助力更...
深度学习(DL)的创新,特别是大语言模型(LLM)的快速发展,已经席卷了... -
工信部:建成 5G 基站超 264 万个,...
据21ic消息报道,昨天举行了今年第一季度工业和信息化发展情况发布... -
华为宣布实现自主可控的MetaERP研发
4月20日消息,华为宣布实现自主可控的MetaERP研发,并完成对旧ERP系... -
报道:欧元区国家有哪几个?分别是什么?
欧元区国家有几个,欧元区国家有19个,分别是德国、法国、意大利、... -
切割线定理是什么?切割线定理如何推论...
什么是切割线定理,切割线定理:从圆外一点引圆的切线和割线,切线... -
今日聚焦!酷睿I5是什么版本?性价比高不高?
关于酷睿i5,酷睿I5是酷睿I7派生的中低级版本,面向性能级用户的CPU...
精彩推送
-
工信部:建成 5G 基站超 264 万个,...
据21ic消息报道,昨天举行了今年第一季度工业和信息化发展情况发布... -
华为宣布实现自主可控的MetaERP研发
4月20日消息,华为宣布实现自主可控的MetaERP研发,并完成对旧ERP系... -
荣耀magic怎么关闭5g?手机怎么关闭5g?
荣耀magic怎么关闭5g?1、打开手机设置,点击移动网络。2、点击打... -
宝马MINI反问式再道歉堪称史诗级公关灾...
宝马MINI反问式再道歉堪称史诗级公关灾难:给礼仪小姐宽容是博同情? -
17岁“鬼火”少年街头飙车:我知道危险...
17岁“鬼火”少年街头飙车:我知道危险、但是很快乐 -
Amazon EC2 Inf2实例正式可用 助力更...
深度学习(DL)的创新,特别是大语言模型(LLM)的快速发展,已经席卷了... -
祥生医疗:2021年年度报告中提及的此项...
祥生医疗(688358)04月20日在投资者关系平台上答复了投资者关心的问... -
第一视角沉浸式体验高速爆胎:瞬间失控...
第一视角沉浸式体验高速爆胎:瞬间失控、旋转数圈 -
QQ是什么软件?有什么功能?
qq现实与qy是什么意思,这是玩网的人经常用的语言qq现实指的是qq中... -
颈动脉触摸位置图示_颈动脉触摸位置|当...
1、病情分析:在触诊颈动脉时,可以将患者头部向一侧倾斜,然后会发... -
手机兼容性是指什么?兼容是什么概念?_...
什么叫手机兼容性,手机兼容性是指手机硬件之间、手机软件之间或是... -
天天通讯!落红不是无情物出自哪首诗?...
落红不是无情物什么意思,1、落红不是无情物意思:我辞官归乡,有如... -
今日聚焦!酷睿I5是什么版本?性价比高不高?
关于酷睿i5,酷睿I5是酷睿I7派生的中低级版本,面向性能级用户的CPU... -
CQF考试难度分析,如何提高答题技巧和速...
CQF考试是金融领域的一项重要考试,它的难度被广泛认为是非常高的。... -
当前信息:授时历是谁编写的?得名由来...
授时历是什么朝代的,《授时历》是元朝许衡、王询、郭守敬共同编写... -
红鱼是什么鱼类?外形特征有哪些? 天...
红鱼是什么鱼,红鱼,又称眼斑拟石首鱼、红拟石首鱼、红鼓鱼、黑斑... -
每日观点:锅烧糊后的黑垢怎么去除?方...
锅烧糊的黑垢怎么去除,1、可乐法:锅中加入可乐、白醋、洗洁精、清... -
入团流程是什么?入团申请书怎么写?
入团流程是怎样的啊,首先需要些入团申请书,采取团员推荐和推优的... -
99年出生的人现在有多大?周岁是指什么?
99年到2022年多大,99年到2022年周岁23,虚岁24岁。周岁也往往用于... -
全球微头条丨csgo躲猫猫模式在哪里找?...
csgo躲猫猫模式在哪里,csgo躲猫猫模式在哪里共有5步。以下是华为Ma... -
瞰中国|福建:武夷茶山美如画 全球观热点
01:21四月的武夷山,被茶香浸润,每一片空气都氤氲着嫩芽的清香。采... -
饿了么红包怎么领取?步骤是什么?
饿了么红包教你如何获得红包,1、下载券妈妈app后打开→在上面搜索... -
【新视野】音频线是指什么?传输信号有...
音频线是什么,音频线是指带屏蔽的输入、输出平衡信号线,通常用于... -
烛影斧声是什么典故?金匮之盟有什么说...
烛影斧声是什么典故,烛影斧声,是指宋开宝九年,宋太祖赵匡胤大病... -
切割线定理是什么?切割线定理如何推论...
什么是切割线定理,切割线定理:从圆外一点引圆的切线和割线,切线... -
m豆是什么东西?m豆广告词是什么? 每日热议
m豆是哪个国家,m豆是美国的。m豆又叫做MM豆,是美国公司生产的一种... -
传统美德可以分为哪几方面?传统美德是...
什么是传统美德传统美德包括哪些,是指中国五千年历史流传下来,具... -
小说改编的电视剧有哪几部?导演是谁?
小说改编的电视剧有哪些,1、《红高粱》--莫言。《红高粱》改编自莫... -
americano是指什么咖啡?咖啡应该怎么品?
americano是什么咖啡,美式咖啡。咖啡的一种,是最普通的咖啡。是使... -
报道:欧元区国家有哪几个?分别是什么?
欧元区国家有几个,欧元区国家有19个,分别是德国、法国、意大利、... -
索尼黑卡是什么?有什么目的?
索尼黑卡是什么意思,索尼“黑卡”是数码相机DSC-RX100。DSC-RX100... -
春季用车人数激增 租车市场需求被撬动
春季用车人数激增租车市场需求被撬动 -
中维录像机添加第三方摄像头?中维世纪...
中维录像机添加第三方摄像头?1 在桌面右键-网上邻居,选择菜单中的... -
华为手机液态制冷有哪几部手机?荣耀v40...
华为手机液态制冷有哪几部手机?华为手机旗下(包括荣耀手机)现在市面... -
手机上怎么撤销异地医保?如何用手机取...
手机上怎么撤销异地医保?首先进入手机,找到本地人社APP,点击本地人... -
释放创新动能,驱动能源变革 _ 新华三...
随着上个世纪以来大庆、胜利等多个油田的发现,中国摘掉了“贫油国... -
怎么查电话号码归属地?手机号码归属地...
怎么查电话号码归属地?1:我们在360搜索框上输入"电话号码归属地查询... -
互惠共赢培育高质量人才,安徽财经大学...
4月4日,安徽财经大学与紫光股份旗下新华三集团签订战略合作协议并... -
世界今日报丨哪吒汽车CEO:车企的努力被...
哪吒汽车CEO:车企的努力被某宝几十块的东西打败了 -
为什么朋友的号码显示境外?来电显示美...
为什么朋友的号码显示境外?1、可能是使用的网络号码,利用技术手段... -
孕育芯未来,绽放芯梦想!雅特力AT32 M...
3月24-26日,由中国电子学会电路与系统分会主办,温州大学承办的中... -
全球今亮点!闻库:未来发展任重道远云...
数字经济已经成为一个国家的核心竞争力。我国已经将数字经济上升为... -
天天观速讯丨一诺威:4月20日融资买入7....
4月20日,一诺威(834261)融资买入7 29万元,融资偿还0 0万元,... -
手机删除的照片还能恢复吗?手机相片恢...
手机删除的照片还能恢复吗?第一招:最近删除找回苹果手机有一个非常... -
观察:110万的比亚迪大把人买!仰望U8预...
110万的比亚迪大把人买!仰望U8预售48小时:订单已超1 3万份 -
高速上惊现喷气式汽车 车尾一路滚滚浓...
高速上惊现喷气式汽车车尾一路滚滚浓烟涡轮增压器坏了 -
怎么更改绑定的手机号码呢?如何修改绑...
怎么更改绑定的手机号码呢?1、首先打开小红书APP,点击设置功能。2... -
全球信息:4月20日午间评论
4月20日午间评论延续昨天的下挫之势,周四上午A股市场呈现探底、寻... -
增速第一!新华三稳居中国加速计算市场前二
近日,IDC发布《2022下半年度(H2)中国加速计算市场跟踪报告》(以下... -
荣耀的手机怎么添加桌面天气的?荣耀9x...
荣耀的手机怎么添加桌面天气的?在桌面主屏幕双指捏合,进入桌面编辑... -
又“降价”!特斯拉深圳大补贴:买Model...
又“降价”!特斯拉深圳大补贴:买ModelY最高可领1 2万 -
开新能源越野车去穿越 靠谱吗?-环球热议
开新能源越野车去穿越靠谱吗? -
云南一“大老虎”落马,履历尽显“风骚...
众所周知,我国的反腐倡廉工作一直都是人们关注的重点话题,伴随着... -
怎么样能改变手机定位?如何修改自己的...
怎么样能改变手机定位?1 苹果在越狱后可以才通过cydia下载虚拟定位... -
华为手机怎样滚动截屏?华为手机长截屏...
华为手机怎样滚动截屏?第一步、首先打开华为荣耀80手机的下拉状态栏... -
康恩贝一季度净利润同比增长175%,中药...
4月20日,中药板块冲高回落,片仔癀、济川药业、太极集团跌超1%,众... -
蜂窝网络变成英文怎么办?在 iPhone上...
蜂窝网络变成英文怎么办?1 如果用电脑来设置,用网线将其连接到... -
毕比:福克斯是国王勇士系列赛中最强的...
毕比:福克斯是国王勇士系列赛中最强的球员,迈克,丹·毕比,美国篮球... -
广东G2惜败广厦!马尚+阿联严重下滑,三...
广东G2惜败广厦!马尚+阿联严重下滑,三少喜忧参半,二飞引绝望,马... -
手机来电黑屏是什么原因?手机来电屏幕...
手机来电黑屏是什么原因?点击齿轮状图标进入设置选项后,下拉菜单找... -
怎么把手机里的照片弄成压缩包?手机上...
怎么把手机里的照片弄成压缩包?1、打开手机的文件管理,点击分类,... -
向南融湾精准开展经贸合作 这个推介会...
向南融湾精准开展经贸合作这个推介会签约金额超1500亿元---为了推动... -
怎么看苹果手机的后台应用呢?iphone怎...
怎么看苹果手机的后台应用呢?1、打开手机,进入手机的任意界面,用... -
手机怎么进行录屏的啊?手机录屏教程是...
手机怎么进行录屏的啊?1、使用组合键录屏:同时按住电源键和音量上... -
小米蓝牙每天自动开启怎么关闭?小米蓝...
小米蓝牙每天自动开启怎么关闭?1 首先打开手机的蓝牙选项,接着连接... -
红米手机蓝牙每天自动打开是怎么回事?...
红米手机蓝牙每天自动打开是怎么回事?1、传输数据在那个智能手机和... -
lol观战服务器数据请求失败怎么办(lol...
1、详细答案:2、首先网络不稳定造成,有时候带宽达不到的话,会导... -
play商店闪退怎么办?googleplay商店闪退...
play商店闪退怎么办?① 一打开Play商店就闪退。出现这种情况是因为... -
天猫入驻条件与申请入口_天猫入驻条件
1、天猫入驻条件:天猫开店要需具备企业资质。2、开店... -
红米蓝牙怎么关闭每天都打开?红米pro如...
红米蓝牙怎么关闭每天都打开?1、传输数据在那个智能手机和社交网络... -
澳柯玛(600336)4月20日主力资金净买入...
截至2023年4月20日收盘,澳柯玛(600336)报收于6 15元,上涨2 33%... -
当前消息!十年第一人!6次恶犯27次技犯...
十年第一人!6次恶犯27次技犯驱逐17次,NBA高层无法容忍追梦格林,格... -
从“风向标展会”看“国产化突围”-当前...
2023年4月7日至9日,在为期三天的第十一届中国电子信息博览会上,参... -
中华美食文化交融 八大菜系化身八道点心
闽菜的佛跳墙包进海派的生煎包,川菜的酸汤鱼灌入了北方水饺,鲁菜... -
“星级酒店”旅游专列今日发车:双人大...
“星级酒店”旅游专列今日发车:双人大床房24小时管家 -
上海一商场特斯拉展车喇叭响不停 销售...
上海一商场特斯拉展车喇叭响不停销售员束手无策路人纷纷堵耳 -
致敬雪域边关守卫者!西藏2100人获颁戍...
02:242023年4月,国家移民管理机构首次颁发戍守边疆纪念章。西藏2名... -
广东男篮手感冰冷,三分命中率需敲响警钟!
广东男篮手感冰冷,三分命中率需敲响警钟!,马尚,易建联,广东男篮,... -
微资讯!未来4个赛季北京将举办11项国际...
本报北京4月20日电(记者李洋)国际滑冰联盟日前更新了未来4个赛季... -
美智光电冲刺创业板上市:美的为其控股...
何享健掌控的上市公司将再增一家。 4月19日,美智光电科技股份有限... -
仰望U8市区上路 体型硕大:一旁70万的...
仰望U8市区上路体型硕大:一旁70万的途锐秒变高尔夫 -
23/24SS色彩趋势
2023 24SS秋冬重点单品分析款式特辑 时尚跟鞋米黄丨Seacrest丨渴... -
价格战打了4个月 特斯拉付出了“代价”
价格战打了4个月特斯拉付出了“代价” -
宝马mini冰淇淋只给外国人 车贴火速上...
宝马mini冰淇淋只给外国人车贴火速上线:冰激淋可以不吃但腰杆必须挺直 -
甜透了大半个中国的柿饼,正在开启“百...
文 金子如果说哪一种水果寓意吉祥?柿子必然要算一个。金灿灿红彤... -
茅台“谷雨之约”又至 首次公开招募高...
4月20日,第二届“茅台谷雨人才日”,茅台集团发布高层次人才引进公... -
世界观焦点:五月说说心情的句子_五月你...
温馨提示:点击图片进入下一页或图片。1 今天是金鸡男子劳动节。祝... -
当前时讯:小超梦在现极限操作,0.01秒...
随着游戏的进展越来越多的游戏达人或者是职业选手加入到了直播的行... -
特斯拉第一财季盈利逊于预期
特斯拉(180 59,-3 72,-2 02%)公布第一财季盈利略低于分析师预期... -
晚上睡觉盗汗是什么原因女人_晚上睡觉盗...
1、病情分析:晚上盗汗有几种原因:第一种是肾虚引起的,建议可以服... -
大连往返日本大阪客运航线复航 机场出...
南航CZ641航班20日下午从大连周水子国际机场顺利起飞,标志着大连往... -
马尾区举行诚信示范街区主题实践活动
马尾区委文明办联合区城管局、市场监管局、商务局、机关党工委、琅... -
吃红糖的好处有哪些?
红糖的功效作用主要包括:第一,有补虚的作用,红糖当中含有葡萄糖... -
泪目+情比金坚!瓦妮莎晒照纪念与科比结...
北京时间4月19日,科比妻子瓦妮莎在社交媒体上晒出了一张科比搂着瓦... -
皮卡旅居一车两吃,长城山海炮旅居版双...
在4月18日开幕的上海车展上,长城山海炮旅居版首发亮相。其中运良越... -
今热点:调查报告的格式和写法_调查报告...
1、去百度文库,查看完整内容>内容来自用户:王雪梅调查报告的格式及... -
曾都检察:与人民群众相关的,没有一件...
“看到小区里的电梯都张贴了安全注意事项和警示标志,维修保养详细... -
国家卫健委派出专家组指导北京长峰医院...
据国家卫健委网站消息,2023年4月18日,北京长峰医院住院部东楼发生... -
ff是什么意思医学-ff是什么意思_全球今热点
1、FaradayFuture的简称,是一家有着美国硅谷背景的智能互联电动车... -
双城奔赴,暖城鄂尔多斯全国旅游推介会来宁
4月20日上午,由鄂尔多斯文化和旅游局主办,我想去看看国际旅行社承...