您的位置:首页 >智能硬件 >

亚马逊云科技针对人工智能/机器学习工作负载推出多项存储新服务及功能

2023-09-08 17:16:46    来源:亚马逊云科技

北京——2023年9月8日,亚马逊云科技日前在一年一度的存储服务创新日上宣布推出诸多亚马逊云科技存储服务的新功能,其中重点包括为支持人工智能/机器学习、大数据分析等数据密集型工作负载进一步提升Amazon Elastic File System(Amazon EFS)读取和写入性能,以及Amazon Elastic Block Store(Amazon EBS)的可扩展性和性能等。亚马逊云科技推出了Mountpoint for Amazon S3开源文件客户端,为客户提供高吞吐量访问,降低基于Amazon S3构建的数据湖场景下的计算资源成本;并大幅提升用户从Amazon S3 Glacier冷存储恢复数据的速度。此外,亚马逊云科技Amazon FSx for Windows File Server支持更高的吞吐能力提升Windows场景工作负载运行性能,推出Amazon FSx for Lustre数据按需释放功能为高性能计算提供高性价比的共享存储方案,Amazon FSx for OpenZFS支持多可用区部署为关键业务持续稳定运行提供有力保障等。

提升Amazon EFS读取和写入性能,为人工智能/机器学习和大数据分析等数据密集型工作负载提供更高性能支持


【资料图】

Amazon EFS提供无服务化的弹性共享文件存储,专为对存储容量和性能的有自动高扩展性需求的应用而设计。Amazon EFS现已支持高达55,000 IOPS的读取性能和25,000 IOPS的写入性能,从而可以更轻松地支持亚马逊云科技上的人工智能/机器学习、大数据分析及其他数据密集型工作负载。客户可以轻松地在Amazon EFS上运行对IOPS有更高要求的工作负载,例如使用KubeFlow进行机器学习, 以及利用Domino Data Lab、Hadoop和Spark进行大数据处理。

提高高性能数据块存储Amazon EBS的可扩展性和性能,满足客户更多存储需求

亚马逊云科技在15年前推出了高性能数据块存储Amazon EBS,如今Amazon EBS 每天处理超过100万亿次的I/O操作,每天创建的 EBS 卷数量超过3.9亿。作为 Amazon EC2 实例的直连存储,为支持客户更多的工作负载,亚马逊云科技不断提高Amazon EBS的可扩展性和性能。亚马逊云科技近期推出的搭载定制第4代Intel Xeon Scalable处理器的 Amazon EC2 M7i实例,客户可以最多连接128个Amazon EBS卷,比上一代M6i 实例的28个卷大幅度增加。这一新特性可满足客户多样化场景的存储需求,例如客户在使用K8s时单个node挂载128个卷,相应的每个pod通过CSI使用Amazon EBS时也可以挂载更多卷,提高配置灵活性,满足不同场景需求。同时,Amazon EBS多卷快照数量也提升至128,方便为连接到实例的所有卷创建崩溃一致性备份。

推出Mountpoint for Amazon S3开源文件客户端,提供高吞吐量访问

Mountpoint for Amazon S3 现已正式可用,这是一款新的开源文件客户端,可提供高吞吐量访问,降低基于Amazon S3构建的数据湖场景下的计算资源成本。Mountpoint for Amazon S3可将本地文件系统API调用转换为对S3对象API调用。客户使用Mountpoint for Amazon S3,可将 Amazon S3存储桶作为本地文件系统挂载到计算实例上,以便通过具有 Amazon S3 弹性存储和吞吐量的文件接口访问客户的对象。Mountpoint for Amazon S3支持对现有文件的顺序和随机读取操作,以及用于创建新文件的顺序写入操作。

Amazon S3 Glacier Flexible Retrieval加快客户从归档中恢复数据的速度,将数据恢复时间缩短85%以上

客户使用Amazon S3 Glacier Flexible Retrieval 无需额外费用,即可将数据恢复时间缩短85%以上。使用 Amazon S3 Batch Operations时,标准检索层会自动应用更快的数据恢复,这些恢复操作可在几分钟内返回对象,客户可以更快地处理恢复的数据,并行处理恢复的数据帮助客户加快数据处理流程并快速响应业务需求。现在,无论是对媒体进行转码、恢复运营备份、训练机器学习模型,还是分析历史数据,都可以加快客户从归档中恢复数据的速度。

Amazon FSx for Windows File Server支持更高的吞吐能力和IOPS性能,提升处理性能密集型工作负载效率

Amazon FSx for Windows File Server新增四个更高的吞吐量级别,将文件系统最大可用吞吐从之前的2GB/s 提高到12GB/s,同时也相应提升文件系统的IOPS性能,最高可达 350,000 IOPS。Amazon FSx for Windows File Server的性能提升可帮助客户缩短处理 SQL Server 数据库、媒体处理、云视频编辑和虚拟桌面基础设施(VDI)等性能密集型工作负载的时间。

Amazon FSx for Lustre推出数据按需释放功能,提供高性价比的高性能共享存储方案

Amazon FSx for Lustre 与 Amazon S3 原生集成,客户可以通过Amazon FSx for Lustre高性能文件系统按需访问他们存放在S3 中的海量数据。Amazon FSx for Lustre推出数据释放功能,客户可以通过这个功能按需或者设置策略释放Amazon FSx for Lustre上的不活跃数据,从而腾出文件系统存储空间,以便可继续从Amazon S3存储桶加载业务所需的活跃数据到文件系统并提供高性能访问。Amazon FSx for Lustre的新功能极大简化了客户的存储管理,通过与Amazon S3的集成,为机器学习、大模型训练、生命科学、自动驾驶,气象预测等工作负载提供了高性价比的高性能共享存储方案。

Amazon FSx for OpenZFS支持多可用区部署模式,为客户业务的持续稳定运行提供有效保障

Amazon FSx for OpenZFS基于开源的OpenZFS 文件系统构建,广泛应用于需要高性能、高扩展性和成本效益的工作负载,提供亚毫秒级延迟和高达10GB/秒的吞吐量,以及丰富的数据管理功能(例如快照、数据克隆和压缩等)。Amazon FSx for OpenZFS推出多可用区部署模式,新的多可用区文件系统通过分布在不同可用区的高可用性文件服务器构建。当任何一个文件服务器甚至整个可用区不可用时,Amazon FSx for OpenZFS会自动进行故障切换,从而为应用提供高可用的文件存储。Amazon FSx for OpenZFS多可用区部署模式为客户的关键业务包括数据库、核心交易平台、金融数据分析,半导体芯片设计等工作负载,以及需要跨多个可用区的高可用Web服务应用等业务的持续稳定运行提供了有效保障。

关键词:

相关阅读

精彩推送