北京——2024年12月5日 亚马逊云科技在2024 re:Invent各人大会上，通知基于Amazon Trainium2的Amazon Elastic Compute Cloud（Amazon EC2）Trn2实例认真可用，并推出全新的Amazon EC2 Trn2 UltraServers，让用户以优胜的性价比测验和部署最新的东说念主工智能模子撸撸射百度影音，以及畴昔的谎言语模子（LLM）和基础模子（FM）。此外，亚马逊云科技还发布了新一代Amazon Trainium3芯片。

Amazon Trainium2芯片

Amazon EC2 Trn2 UltraServers

Amazon EC2 Trn2 实例处事器模块

亚马逊云科技贪图和网罗副总裁 David Brown暗示：“Amazon Trainium2是专为支执大型、前沿的生成式AI责任负载而设想的，大致餍足测验和推理的需求，并在亚马逊云科技上提供超卓的性价比。跟着模子参数接近万亿，咱们果断到客户需要一种改进的次第来高效测验和运行范畴广大的责任负载。在亚马逊云科技上，全新的Amazon EC2 Trn2 UltraServers提供超快速的测验和推感性能，匡助种种企业以更快的速率和更低的资本测验和部署全国上最大的模子。”

跟着模子范畴的束缚扩大，客户但愿缩小测验时间和推理蔓延，这对贪图和网罗基础要领提议了更高的条目。亚马逊云科技已提供鄙俗的Amazon EC2加速实例遴选，包括基于GPU和机器学习芯片的实例。但是，即使是现在最快的加速实例，客户仍但愿已矣更高的性能和更大的可推广性，以更低的资本更快地测验这些日益复杂的模子。跟着模子复杂性和数据量的加多，因为并行化的圆寂，单纯扩大集群范畴已无法灵验缩小测验时间。同期，及时推理的需求也超出了单实例架构的承载智商。

Amazon EC2 Trn2实例为深度学习和生成式AI提供超卓性能

与刻下基于GPU的EC2实例比较，Amazon EC2 Trn2的性价比晋升30%至40%。单个Trn2实例集成了16个Trainium2 芯片，通过NeuronLink超速高带宽、低蔓延的芯片之间的互联，可提供高达20.8 Petaflops浮点算力，非常适合测验和部署数十亿参数的模子。

Amazon EC2 Trn2 UltraServers餍足各人超大模子日益增长的AI贪图需求

对于需要更强算力的超大模子，Amazon EC2 Trn2 UltraServers使客户大致冲突单个Trn2实例的圆寂进行推广，从而减少测验时间，加速投放市集的速率，已矣快速迭代以提高模子准确性。动作全新的EC2产物，Trn2 UltraServers运用NeuronLink超速互联将四个Trn2处事器研究为一个巨型处事器。客户通过全新Trn2 UltraServers，不错在64个Trainium2芯片上推广他们的生成式AI责任负载。在推理责任负载方面，客户不错使用Trn2 UltraServers晋升坐褥环境中万亿参数模子的及时推感性能。亚马逊云科技正在与Anthropic共同构建一个名为Project Rainier的 EC2 UltraCluster贪图集群，该集群由Trn2 UltraServers构成，大致在数十万个Trainium2芯片之间通过第三代低蔓延的PB级EFA网罗进行散播式模子测验——其运算智商比Anthropic刻下一代最初AI模子测验所需算力高出5倍以上。该神色完成后，瞻望将成为各人最大可用的AI贪图集群，供Anthropic构建和部署畴昔模子使用。

Anthropic专注于AI安全和贪图，奋力于打造可靠、可诠释和可控的AI系统。Anthropic的旗舰产物Claude是各人数百万用户信托的大型话语模子。动作Anthropic与亚马逊云科技真切合作的一部分，Anthropic已运转优化Claude模子，以便在亚马逊起初进的AI硬件Trainium2上运行。Anthropic将使用数十万个Trainium2芯片，该范畴是其之前集群的五倍以上，为使用Amazon Bedrock上的Claude 客户提供超卓的性能证明。

Databricks Mosaic AI使企业大致构建和部署高质地的智能体系统。该系统基于数据湖仓原生架构，用户不错舒缓、安全地使用企业数据定制模子，从而提供更准确和特定范畴的输出。收货于Trainium的高性能和资本效益，客户大致以较低的资本在Mosaic AI上推广模子测验。跟着各人客户对Mosaic AI需求的束缚增长，Trainium2的推出将为Databricks尽头客户带来紧要上风。动作各人最大的数据和AI公司之一，Databricks规划使用Trainium2为客户提供更优的性能，并将总体领有资本贬低多达30%。

Hugging Face是各人最初的AI设立者开源平台，领有非常200万个模子、数据集和AI应用，其用户社区涵盖了非常500万名贪图东说念主员、数据科学家、机器学习工程师和软件设立者。在畴昔几年中，Hugging Face与亚马逊云科技合作，匡助设立者通过Optimum Neuron开源库体验Amazon Inferentia和Amazon Trainium的性能与资本上风。该库已集成到Hugging Face Inference Endpoints中，并在新的HUGS自部署处事中进行了优化，用户不错在亚马逊云科技Marketplace获取。跟着Trainium2的发布，Hugging Face用户将享受更高的性能，从而更快地设立和部署模子。

poolside奋力于构建一个由AI驱动的全国，以鼓吹有经济价值的责任和科学跳动。他们确信，软件设立将成为神经网罗中第一个达到东说念主类闪耀水平的进击智商。为此，poolside正在打造基础模子（FMs）、API和助手应用，以将生成式AI的上风带给设立者。而为了已矣这一磋商的关节就在于他们构建和运行产物所用的基础要领。借助Amazon Trainium2，poolside的客户将获取优于其他AI加速器的性价比推广其处事。此外，Poolside规划运用Amazon EC2 Trainium2 UltraServers测验畴昔的模子，这将比使用Amazon EC2 P5实例瞻望可检朴40%的资本。

Amazon Trainium3芯片，专为新一代前沿生成式AI责任负载的高性能需求而设想

亚马逊云科技发布了新一代AI测验芯片Amazon Trainium3。Trainium3是亚马逊云科技首款接收3纳米工艺制造的芯片，在性能、能效和密度上培植了新标杆。搭载Trainium3的UltraServers性能瞻望将是Trn2 UltraServers的4倍，使客户在构建模子时大致更快迭代，并在部署时提供超卓的及时性能。首批基于Trainium3的实例瞻望将在2025年末上线。

Amazon Neuron Software助力客户充分证明Trainium2性能

Amazon Neuron SDK包括编译器、运行时库和器具，匡助设立者优化模子以在Trainium上运行。它让设立者具有在Trainium芯片上优化模子以获取最好性能的智商。它与JAX和PyTorch等热点框架原生集成，使客户在Trainium上使用现存代码和责任流时只需进行极少代码修改。同期，Neuron支执Hugging Face模子库中的非常10万个模子。通过Neuron Kernel Interface（NKI），设立者不错平直造访裸机的Trainium芯片，编写贪图内核以最大限度地晋升贪图密集型责任负载的性能。

Amazon Neuron旨在简化使用JAX等流行框架在Trainium2上测验和部署模子，同期尽量减少代码变嫌和对特定供应商处置决议的依赖。谷歌支执亚马逊云科技通过其原生的OpenXLA集成，使客户大致使用JAX进行大范畴测验和推理，提供肤浅无邪的编码旅途，匡助用户快速上手Trn2实例。跟着行业内鄙俗的开源合营，以及Trainium2的推出，谷歌瞻望JAX在机器学习社区的应用将显耀加多，这将成为总计这个词机器学习生态系统的进击里程碑。

现在，Amazon EC2 Trn2实例在好意思国东部（俄亥俄）区域已认真可用，其他区域也行将推出。Amazon EC2 Trn2 UltraServers现在预览可用。

了解更多信息，请造访：

对于亚马逊云科技

自2006年以来，亚马逊云科技（Amazon Web Services）一直以时间改进、处事丰富、应用鄙俗而享誉业界。亚马逊云科技一直束缚推广其处事组合以支执真的云上即兴责任负载，现在提供非常240项全功能的处事，涵盖贪图、存储、数据库、网罗、数据分析、机器学习与东说念主工智能、物联网、移动、安全、羼杂云、媒体，以及应用设立、部署与管制等方面；基础要领宽绰34个地舆区域的108个可用区，并已公布规划在墨西哥、新西兰、沙特阿拉伯和泰国等新建6个区域、18个可用区。各人数百万客户，包括发展飞速的初创公司、大型企业和最初的政府机构，皆信托亚马逊云科技，通过亚马逊云科技的处事支执其基础要领，提高敏捷性，贬低资本。要了解更多对于亚马逊云科技的信息撸撸射百度影音，请造访：www.amazonaws.cn。