亚马逊搜索“宝藏团队”利用深度学习赋能业务发展
在亚马逊,有这样一支负责搜索的团队正在利用深度学习技术帮助公司内各个团队从数据中获取智能。它就是M5搜索团队,正在构建大模型以支持亚马逊的机器学习(ML)应用程序。借助亚马逊云科技的服务,M5搜索团队能够运行数百亿参数模型的深度学习实验。M5搜索团队使用多种亚马逊云科技服务构建、训练和部署多模态的大型机器学习模型。如今,M5搜索团队整合了数据,简化了创建大模型的过程,亚马逊各个团队都可以使用这些模型,为他们的机器学习应用程序带来深度学习的强大能力。
利用深度学习赋能亚马逊各团队
(相关资料图)
作为一家拥有超过160万员工的跨国科技公司,亚马逊由许多不同的团队组成,各团队的业务重点和优先事项也都不尽相同。其中,亚马逊搜索致力于开发产品和服务以提高亚马逊网站上的终端用户体验。亚马逊搜索应用科学和工程负责人Belinda Zeng表示:“亚马逊搜索是连接不同产品的桥梁,能在不同产品中建立协同,助力业务发展。为了解释丰富的数据集信息,我们构建了预训练模型,从而利用深度学习来增强亚马逊的搜索功能。”
M5搜索团队负责亚马逊的发现式学习策略,并构建多模态大模型,支持多语言、多实体和多任务。本质上很多工作是实验性的。团队需要能够快速扩展实验,并迅速进入生产阶段,同时训练数千个模型,每个模型都拥有超过2亿参数,以及在亚马逊云科技上有效地扩展基础设施。要实现这些并不容易,因此M5搜索团队在基础设施解决方案中使用了Amazon EC2,该服务能够为几乎全部工作负载提供安全且可调整的计算容量。亚马逊搜索首席工程师Rejith Joseph表示:“我们选择Amazon EC2是因为它提供了海量最新硬件资源,且资源可轻松获取。”此外,M5搜索团队需要存储许多大型数据集,每个数据集都有数百TB。他们利用Amazon S3处理存储需求。Amazon S3作为对象存储服务,具有行业领先的可扩展性、数据可用性、安全性和高性能。
每月扩展到数千个训练任务
在2020年第四季度,M5搜索团队开始使用亚马逊云科技服务构建、训练和部署其机器学习模型。截至2022年,团队使用各种亚马逊云科技服务,每月扩展至数千个训练任务,涉及大量GPU集群上的PB级数据。除了使用Amazon S3进行数据存储之外,M5搜索团队还使用了Amazon FSx,在云中轻松启动、运行和扩展功能丰富且性能优越的文件系统。该团队还使用了全托管的批处理服务Amazon Batch,可在任何规模下高效运行批处理计算作业。亚马逊搜索工程经理Roshan Makhijani表示:“通过广泛使用Amazon FSx、Amazon EC2和Amazon Batch的服务,我们提高了实验速度。在亚马逊云科技上进行构建非常灵活,我们在不到3天的时间里就可以扩展到新区域,只要新区域有硬件可用。”
从一开始,M5搜索团队就与亚马逊云科技的产品团队合作解决公司的棘手问题。例如,数据密集型训练作业需要海量计算资源,使用跨区域计算是访问这些资源的必要手段,但以前没有实际解决方案能灵活实现跨区域计算。Belinda Zeng表示:“我们与亚马逊云科技紧密合作,开发了一些新功能,实现了跨区域计算,成功解决了这一难题。”此外,团队不断增长的数据需求日益挑战Amazon FSx的极限。通过与亚马逊云科技合作,M5搜索团队解决了所有性能问题,并为持续扩展打下了基础。正是由于这些增强功能,M5搜索团队现在仅需1-2周就可以扩展机器学习基础设施。
团队还使用C++库开发了一种自定义解决方案,以建立跨流媒体的Amazon S3——即在一个区域存储数据并在另一个区域进行流式数据传输——而不影响训练作业的速度。Makhijani表示:“使用Amazon S3,我们实现了我们需要的高吞吐量流媒体解决方案。” 通过选择最优的GPU、CPU以及亚马逊云科技自研设计的高性能机器学习推理芯片Amazon Inferentia,M5搜索团队成功在机器学习推理过程中降低成本并优化性能。Joseph表示:“不同模型在不同硬件上能提供的吞吐量有所不同,因此,硬件的选择可以帮助我们扩展模型架构,并针对多种类型的硬件进行优化,同时控制成本。”此外,团队在EC2 UltraClusters中部署了Amazon EC2 P4d实例,这些实例由云端高性能计算、网络和云存储构成,以获得最佳的计算和通信吞吐量。亚马逊云科技深度学习AMI和深度学习容器提供了优化且安全的机器学习框架和工具,使机器学习从业者能够在云上加速深度学习,从而简化了EC2实例的配置和部署,并实现了扩展。在解决方案中,团队还使用了Amazon EC2实例的网络接口Elastic Fabric Adapter(EFA),客户可以借此在亚马逊云科技上大规模运行需要高度跨节点通信的应用程序。
此外,M5搜索团队在亚马逊云科技上使用开源深度学习框架PyTorch,用以简化机器学习模型开发并将模型部署到生产中。具体而言,团队试验了多种PyTorch库,如分布式数据并行和Amazon S3插件,以及PyTorch Profiler和完全分片数据并行等工具进行分布式训练。如今,亚马逊各部门都可以利用深度学习的强大功能,以上能力的运用几乎无所不在。例如,M5搜索团队开发了一种机器学习模型,能够准确更正客户在搜索过程中的拼写错误,从而改善搜索体验。Zeng表示:“机器学习应用能够帮助系统准确解读客户的真实意图,并提供多样化的相关推荐列表,这些功能都得益于我们预训练模型中丰富而细致的信息。”
持续提升效率
亚马逊搜索现在已经拥有了大规模构建机器学习模型的技术。下一步,团队计划持续改进其全球集群以提高生产力和使用效率。团队还将使用新的Amazon EC2实例匹配不同的模型,既用于训练,也用于推理。M5搜索团队将继续与亚马逊云科技合作,优化其基础设施的弹性,提高生产力,并降低训练大型模型的前置成本。Joseph表示:“通过使用亚马逊云科技持续提升效率,我们可以释放深度学习和人工智能的无限潜能,最终让我们的客户从中受益。”
关键词:
相关阅读
-
亚马逊搜索“宝藏团队”利用深度学习赋...
在亚马逊,有这样一支负责搜索的团队正在利用深度学习技术帮助公司... -
OPPO携手2023年法网公开赛,以专业影像...
作为世界上最负盛名的红土赛事,法网充满了鼓舞人心的时刻和精神,... -
环球信息:2023年CAPAS圆满收官 紧跟行...
第九届成都国际汽车零配件及售后服务展览会(CAPAS)于2023年5月20日... -
Molex莫仕发布全球电源行业研究调查结果...
美国伊利诺伊州莱尔市–2023年5月26日–全球电子领导者和连接创新者... -
长城汽车举报比亚迪排放不达标 比亚迪...
长城汽车举报比亚迪排放不达标,比亚迪则强势回应无效。从当初互赠... -
NVIDIA黄仁勋:CPU用得越来越少 GPU才是关键
昨天凌晨NVIDIA发布24财年Q1财报之后,不仅本季业绩超过预期,Q2指...
精彩推送
-
OPPO携手2023年法网公开赛,以专业影像...
作为世界上最负盛名的红土赛事,法网充满了鼓舞人心的时刻和精神,... -
环球信息:2023年CAPAS圆满收官 紧跟行...
第九届成都国际汽车零配件及售后服务展览会(CAPAS)于2023年5月20日... -
抛弃反人类半幅方向盘 特斯拉Cybertruc...
抛弃反人类半幅方向盘特斯拉Cybertruck电动皮卡实车图:今年必交付 -
取代骁龙8155!高通第四代汽车座舱芯片...
取代骁龙8155!高通第四代汽车座舱芯片骁龙8295公布:5nm、性能成倍提升 -
Molex莫仕发布全球电源行业研究调查结果...
美国伊利诺伊州莱尔市–2023年5月26日–全球电子领导者和连接创新者... -
亚马逊搜索“宝藏团队”利用深度学习赋...
在亚马逊,有这样一支负责搜索的团队正在利用深度学习技术帮助公司... -
淄博市建筑志(关于淄博市建筑志介绍)_...
来为大家讲解以上的问题。淄博市建筑志,博市建筑志介绍这个很多人... -
百度肖阳:奇点降临,搜索迎来代际变革
5月25日,2023万象·百度移动生态大会在广州召开。会上,百度集团资... -
打破技术壁垒,深化战略布局,伊利新西...
5月23日,伊利集团旗下新西兰威士兰乳业在霍基蒂卡工厂举行乳铁蛋白... -
专为年轻人而来?何小鹏预告小鹏全新车...
专为年轻人而来?何小鹏预告小鹏全新车型X9:“年轻态”MPV -
一度融了上亿美元!明星L4卡车剧终:市...
一度融了上亿美元!明星L4卡车剧终:市值缩水98%、7100万美元被收购 -
热议:国家发改委副主任赵辰昕:大力支...
5月26日电,国家发改委副主任赵辰昕在2023中关村论坛中表示,将从四... -
导航出错驶入紧急停车带 驶出时被撞 ...
导航出错驶入紧急停车带驶出时被撞科普:紧急停车带该怎么用 -
张家界市全面提高2023年精神卫生工作水平
会议现场。为进一步防范和规范处置严重精神障碍患者肇事肇祸事件,... -
世界焦点!发现什么真好作文600字_什么...
1、当翻完最后一页《责任胜于能力》,抬头看看时钟,时间已经接近半... -
今日聚焦!四川西昌第九期政府惠民汽车消...
领取办法:通用券、餐饮券和家电券领取时间为2023年5月26日至2023年... -
提升中小企业科技创新力 十部门发文开...
新华社北京5月26日电记者26日从工信部获悉,工信部等十部门近日联合... -
全球消息!买车送西装?宾利两款限量版...
买车送西装?宾利两款限量版车型发布:买就赠定制礼服 -
法拉第未来官宣:FF 91第一阶段交付5月...
法拉第未来官宣:FF91第一阶段交付5月31日开始车主先培训 -
焦点快播:硬刚到底?特斯拉车顶维权女...
硬刚到底?特斯拉车顶维权女车主回应败诉:上诉到底 -
【天天报资讯】马斯克曾放言永不妥协 ...
马斯克曾放言永不妥协特斯拉回应“车顶维权女车主败诉” -
天天看点:粒子运动工作总结范文(实用3篇)
粒子运动工作总结范文第1篇本学年,我担任高一(4)、(5)、(6)班的物... -
理想汽车CEO李想深夜发文:我们不怕被黑...
每经编辑杜宇5月25日深夜,理想汽车首席执行官李想在微博发文,表示... -
每日视讯:深圳车牌成交价创5年新低,最...
驱动中国2023年5月25日消息,据悉,2023年第五期深圳市小汽车增量指... -
举报比亚迪排放不达标!长城汽车晒业绩...
举报比亚迪排放不达标!长城汽车晒业绩:1-4月同比增长99 1%买它还... -
散了吧!特斯拉车顶维权女车主败诉:刹...
散了吧!特斯拉车顶维权女车主败诉:刹车失灵观点站不住脚没任何证... -
环球热点!参考文献为百度百科 参考文...
今天来聊聊关于参考文献为百度百科,参考文献百度百科的文章,现在... -
召见三国大使 俄罗斯抗议“北溪”调查...
新华社北京5月26日电俄罗斯外交部25日说,俄方已召见德国、瑞典和丹... -
2023机甲大师超级对抗赛·区域赛(南部...
32支战队、1000多名高校学子、8760个小时精心准备、超10000次挑灯夜... -
世界看点:Fix XBody携手德必开展主题...
5月23日,由FixXBody提供的免费爱心早餐包,空降上海13个德必园区,... -
长城汽车举报比亚迪排放不达标 比亚迪...
长城汽车举报比亚迪排放不达标,比亚迪则强势回应无效。从当初互赠... -
我国首款可堆叠平板卫星将于今年择机发...
据报道,银河航天计划2025年前发射1000颗低轨卫星,是国内目前已知... -
环球快报:理想L系列芯片国产化率超25%,...
5月26日消息,日前,理想汽车CEO李想发文,称最近又开始出现有组织... -
李想:我们不怕被黑 对使用中国本土供...
李想:我们不怕被黑对使用中国本土供应商感到自豪 -
NVIDIA黄仁勋:CPU用得越来越少 GPU才是关键
昨天凌晨NVIDIA发布24财年Q1财报之后,不仅本季业绩超过预期,Q2指... -
我省多地优化布局、提升品牌,促进茶叶...
近日,茶农正在岳西一茶园采茶。通讯员武伍摄(资料图片)5月下旬,... -
长江源冬季出现“连底冻”,鱼群被冻入...
遇到零度以下的极寒天气,长江河道会结冰,这时候鱼类需要保护自身... -
三星商用显示器以高端产品拓展娱乐办公...
随着数字化浪潮不断改变和重塑城市发展的全业态,商用显示器领域也... -
糟糕!下一轮国内油价调整“由跌转涨”...
糟糕!下一轮国内油价调整“由跌转涨”:当前上调75元 吨 -
今日快讯:韩国三大运营商涉嫌夸大宣传...
21ic近日获悉,昨天韩国公平交易委员会宣布,韩国三大移动运营商SK... -
味美四川惠购西昌汽车消费券发放多少钱?
为鼓励市民扩大消费,西昌市将于2023年5月26日至2023年6月3日期间,... -
英伟达股价单日暴涨千亿,业绩远超业内预期
据业内消息,近日英伟达发布了2024财年第一季度的收益,71 9亿美元... -
比亚迪一代神车!新款宋PLUS DM-i内饰...
比亚迪一代神车!新款宋PLUSDM-i内饰曝光:用上海豹同款水晶档杆 -
搭载天玑 8200-Ultra 处理器,小米 C...
据业内信息,昨天小米正式发布了搭载天玑8200-Ultra处理器的小米Civ... -
超级智能云电视怎么投屏_超级智能云电视...
1、世界每天都在变化,高科技产品每天都在诞生。云电视在这种情况下... -
残疾证旅游景点免费吗(残疾人证旅游景...
不是所有旅游景点免费的,不实行政府定价、政府指导价的景区可以不... -
天天观速讯丨阿里巴巴:网传裁员为谣言...
据业内信息,阿里巴巴集团官方昨天宣布,近日关于淘宝天猫、阿里云... -
构想很大,但是框架较小。
构想很大,但是框架较小。自新世界这部完全建立在貌似现代社会的几... -
环球速递!索尼 PS5 串流掌上设备 Pr...
21ic近日获悉,索尼官方正式确认其正在开发一款PlayStation手持设备... -
512GB不够用,有哪些大容量游戏SSD值得推荐?
近两年来,牙膏厂开始突破自我,似乎要挤爆牙膏,所以我们看到了性能强... -
观热点:滤镜美颜sdk的实现方式和工作流...
众所周知,实现美颜功能的核心技术之一就是滤镜美颜sdk。在本文中,... -
“贵国在伊拉克犯下多少罪行”非国大秘...
中国日报网5月25日电 “你们国家在伊拉克又犯下多少罪行?!他们被... -
神操作 小汽车撞倒闯红灯三轮车后居然...
神操作小汽车撞倒闯红灯三轮车后居然直接走了无责变有责 -
每日热文:牌面!福特CEO称特斯拉不是最...
牌面!福特CEO称特斯拉不是最大竞争对手比亚迪才是 -
全铝车身同级仅有 奇瑞eQ7官图发布:或...
全铝车身同级仅有奇瑞eQ7官图发布:或将15万起售 -
全球最资讯丨地牢求生者好玩吗 地牢求...
期待已久的手游地牢求生者即将登陆九游,这款手机游戏吸引了大批玩... -
跟比亚迪海豚争场子 五菱云朵8月上市:...
跟比亚迪海豚争场子五菱云朵8月上市:10万级大五座纯电新宠 -
环球速递!广州农工商职业学院粤垦路校...
1、1 看看你那边有没有从化——新塘的专线车;2 在你那边坐车到中... -
比亚迪2年前就已申请专利:不用高压油箱...
比亚迪2年前就已申请专利:不用高压油箱也能回收液气 -
每日速递:山东一高速现天价救援费:20...
山东一高速现天价救援费:20公里被收11000元结局大快人心 -
跟比亚迪海豚争场子 五菱云朵8月上市:...
跟比亚迪海豚争场子五菱云朵8月上市:10万级大五座纯电新宠 -
15.98万起售前所未有 马自达CX-50行也...
15 98万起售前所未有马自达CX-50行也上市:承诺终身免费质保! -
格局打开 特斯拉向福特开放1.2万个超充...
格局打开特斯拉向福特开放1 2万个超充站:未来将不需适配器直连 -
甘云鲁晋四省市代表团莅临新华三集团参...
聚焦数字经济,共谋区域发展。作为驱动我国经济发展的重要引擎,数... -
医生有话说⑪︱儿童初夏饮食指南(一) ...
初夏时节,昼夜温差大,孩子易感冒咳嗽。生活中的一些食物不仅不能... -
四维图新亮相CICV 2023,“云驾舱芯”...
2023年5月15-18日,由中国汽车工程学会、国家智能网联汽车创新中心... -
世界简讯:清华大学电子工程系因材施教项...
近日,清华大学电子工程系“因材施教特色培养项目”赴沐曦参访,沐... -
AutoCS丨四维图新获年度优秀智能汽车测...
5月18日,专注于汽车信息安全细分市场的专业会议“The4thAutoCS-202... -
信息:雪野街道大厂村开展应急急救知识...
送卫生应急急救知识是全省卫生健康系统“四送四进四提升”健康促进... -
5月26日生意社镨钕氧化物基准价为482500...
5月26日,生意社镨钕氧化物基准价为482500 00元 吨,与本月初(435... -
九阴真经塞外大漠棋谱_我梦想驰骋于塞外...
1、我梦想,置身于江南秀丽的小镇,在绵绵的细雨中,体味“水村山郭... -
环球讯息:《四部医典》入选《世界记忆...
光明日报见习记者石永程光明日报记者尕玛多吉杜倩滚动拉萨5月25日电... -
100GB数据泄露 特斯拉存在的问题超乎想...
100GB数据泄露特斯拉存在的问题超乎想象:多起刹车事故等问题 -
小鹏一季度营收40亿、1/3投研发 何小鹏...
小鹏一季度营收40亿、1 3投研发何小鹏:四季度重回巅峰 -
逆水寒手游铁衣属性是什么怎么加[多图]
逆水寒手游铁衣属性是什么?铁衣属性怎么加?游戏中,铁衣是一类强度... -
什么是VOIP?voip电话怎么使用?
什么是VOIP?基于IP的语音传输(英语:Voice over Internet Protoc... -
乐视盒子C1S配置怎么样?如何将乐视盒子...
乐视盒子C1S配置怎么样?乐视盒子C1S,由乐视网联合央视播控平台于20... -
360怎么测网速多少兆?千兆宽带为什么只...
360怎么测网速多少兆?360测网速方法如下: 1 打开360安全卫士,然... -
印度人忙着花钱……
印度面额最大的钞票2000卢比纸币(约合人民币170 2元)将于今年9月... -
汉王电脑手写板怎么装驱动?汉王电子白板...
汉王电脑手写板怎么装驱动?我们从网上还是从外面买到的手写板,一开... -
dnf武器怎么贴膜?DNF怎么恢复角色?
dnf武器怎么贴膜?在游戏中,打开装备融合制作功能。使用三把不同的... -
语文修辞手法答题技巧视频_语文修辞手法...
1、修辞手法有:比喻:比喻,即表示两种不同程度的事物,彼此之间有... -
安阳房价一览表-安阳房价
1、众所周知,在国家强有力的调控政策下,一线二线的房价下降已经比... -
iphone13是双卡双待吗?苹果13电池容量有多大?
iphone13是双卡双待吗?苹果iPhone13支持双卡双待。双卡类型为nano-S... -
天天时讯:卤鸡蛋的家常做法(鸡蛋炒香...
相信目前很多小伙伴对于鸡蛋炒香肠的家常做法优质都比较感兴趣,那... -
当前速递!审核标准或受动摇!长城举报...
审核标准或受动摇!长城举报比亚迪排放不达标如坐实后果不堪设想 -
彩色打印机的打印原理?彩色打印机有哪些...
彩色打印机的打印原理?彩色激光打印机的成像原理和黑白激光打印机相... -
电脑液晶显示器漏液了怎么修复?液晶显示...
电脑液晶显示器漏液了怎么修复?长条液晶屏漏液属于物理损坏,而长条... -
水凝胶眼罩怎么用?水凝胶眼罩能治疗近视吗?
水凝胶眼罩怎么用?1、首先在使用之前需要洗干净脸和手,打开包装,... -
红米K40Pro支持双扬声器吗?红米k40pro充电多少w?
红米K40Pro支持双扬声器吗?红米K40Pro支持双扬声器。Redmi 红米手... -
理想L系列芯片国产化率超25%!李想:不...
理想L系列芯片国产化率超25%!李想:不怕被黑用中国本土供应商很自豪 -
马斯克吹了三年的锂电之光4680:竟然还...
马斯克吹了三年的锂电之光4680:竟然还不如普通电池! -
产业化运营、智能化发展,老百姓得实惠...
图为研讨会现场。河北省体育局供图作为2023(第40届)中国国际体育... -
今日热讯:布鲁斯-布朗:哈登绝对是我见...
布鲁斯-布朗:哈登绝对是我见过的最好的队友之一!,美国篮球,丹佛掘... -
环球快看:浙江移动宽带多少钱_浙江移动...
1、建议你不要办移动的。2、它价格确实很便宜,但你要牺牲的是等待... -
今日关于炎亚纶的小说(炎亚纶的同人小...
1、结局就是北北离开亚纶了,因为北北的妈妈不同意。2、而亚纶和北... -
电车充电难怎么破?奥迪神回应:我们的...
电车充电难怎么破?奥迪神回应:我们的客户通常有多辆车长途可开燃油车 -
上海高架斗气车主或涉嫌什么罪名?专家...
上海高架斗气车主或涉嫌什么罪名?专家解读多种可能 -
全球新动态:让友商恨得牙痒痒的比亚迪...
让友商恨得牙痒痒的比亚迪宋ProDM-i冠军版:到底怎么样? -
李想确认理想全系配备高压油箱:当时专...
李想确认理想全系配备高压油箱:当时专家不理解被黑了好久