快捷搜索:  test

Habana推出训练处理器Gaudi 比相同数量GPU系统高4倍

2018年9月,Habana Labs推出了自家首款用于推理与猜测的处置惩罚器GOYA,比拟面对付通用谋略的CPU与GPU,GOYA凭借架构上的上风,让其创造了两项行业记录。其一是在ResNet-50基准测试中供给了每秒15000张图片的吞吐量、以及1.3毫秒的延迟。其二就是其功耗仅为仅为100瓦。而拥有出色机能的GOYA今朝已被Facebook所应用,作为其Glow ML的编译器。

在GOYA宣布的同时,Habana Labs对外传播鼓吹,将会在2019年Q2季度中推出用于练习的处置惩罚器Gaudi,而近日这款产品终于登上了舞台。

据悉,Gaudi处置惩罚器的立异架构可实现练习系统机能的近线性扩展,纵然在较小Batch Size的环境下,也能维持高谋略能力。而基于Gaudi的练习系统实现了比拥有相同数量的GPU系统高了近乎4倍的处置惩罚能力。

除了领先的机能,Gaudi处置惩罚器还为人工智能练习带来了另一项行业记录。该人工智能处置惩罚器片上集成了 RDMA over Converged Ethernet (RoCE v2) 功能,从而让人工智能系统能够应用标准以太网扩展至任何规模。

凭借Gaudi处置惩罚器,Habana Labs的客户亦可使用标准以太网互换进行人工智能练习系统的纵向扩展和横向扩展。同时,以太网互换机已被数据中间利用于谋略系统和存储系统的扩展中,在速率和端口数方面可供给险些无限的可扩展性。别的,与Habana的标准设计比拟,基于GPU的系统依附于专有的系统接口,对系统设计职员来说,这从本色上限定了可扩展性和选择性。

Linley集团首席阐发师Linley Gwennap评论说:“Habana Labs推出新产品,其产品组合迅速地从推理处置惩罚器扩展到练习处置惩罚器,涵盖了神经收集的所有功能。在浩繁的人工智能练习加速器产品中,Gaudi?处置惩罚器能够供给强大年夜的机能,达到行业领先的能效水平。作为首款集成100G以太网链路并支持RoCE的人工智能处置惩罚器,Gaudi?为应用行业标准组件构建而成的大年夜型加速器集群供给了强大年夜的支持。”

Gaudi处置惩罚器配备了32GB HBM-2内存,今朝拥有HL-200,支持8个100Gb以太网端口的PCIe卡。以及HL-205,相符OCP-OAM规范的子卡,支持10个100Gb以太网端口或20个50Gb以太网端口两种规格。

此外,Habana还推出了一款名为HLS-1的8-Gaudi系统,此中包括8个HL-205 子卡,带有用于外部主机连接的PCIe连接器和24个100Gbps以太网端口,用于连接现成的以太网互换机。客户能够经由过程在19英寸标准机柜中支配多个HLS-1系统,实现机能的扩展。

Habana Labs首席履行官David Dahan 表示,人工智能模型练习所需的谋略能力每年呈指数增长。是以,前进临盆率和可扩展性,办理数据中间和云谋略对谋略能力的迫切需求成为至关紧张的义务。

而从另一方面来看,谋略能力呈指数增长意味着AI芯片市场未来也将是个指数级增长的市场。但就今朝来看,英伟达两年前开始发售其Volta AI芯片,而今年晚些时我们还可能看到Volta的继任者。此外英特尔和Facebook也在开拓练习处置惩罚器Nervana,而高通和ARM也早已做好了盘算。以是凭借GOYA与Gaudi这两个拳头产品,Habana Labs能否从巨子手中拿到属于自己的市场份额,这十分值得我们关注。

您可能还会对下面的文章感兴趣: