近期，AI基准测试MLPeRf公布了最新一期的训练测试榜单，成为行业内关注的焦点。
IPU提供商GRaphcoRe此次向MLPeRf提交了IPU-POD16、IPU-POD64、IPU-POD128和IPU-POD256四种系统配置进行训练测试，并获得最新测试结果。在ResNet-50模型、自然语言处理（NLP）模型BERT的训练性能方面均有大幅提升。ResNet-50模型训练性能甚至超越NVIDIA DGX A100。
GRaphcoRe专注于适用AI的IPU研发，旗下拥有IPU硬件和POPlaR软件两项主要业务，通过输出软硬一体解决方案来服务机器智能需求。企查查信息显示，GRaphcoRe自2016年成立以来已获得超过7.1亿美元投资。
和自己比：ResNet-50模型训练性能提升24% BERT模型训练性能提升5%
GRaphcoRe提交给MLPeRf的IPU-POD16、IPU-POD64、IPU-POD128和IPU-POD256系统均由不同数量的IPU-M2000、双CPU服务器构成。
IPU-POD16就是由4个1U的IPU-M2000构成，配有一台双CPU服务器，可提供4 petaFLOPS的AI算力。
其中，IPU-M2000是一款即插即用的机器智能刀片式计算单元，由GRaphcoRe的7纳米ColoSSUS第二代GC200 IPU提供动力，并由POPlaR软件栈提供支持。
今年7月，GRaphcoRe曾首次向MLPeRf提交了IPU-POD16、IPU-POD64的训练测试。这次GRaphcoRe同样有提交IPU-POD16、IPU-POD64进行测试，这两项在硬件方面并未有变化。
最新测试结果显示，与首次提交的MLPeRf训练结果相比，对于ResNet-50模型，GRaphcoRe这次在IPU-POD16上实现24%的性能提升，在IPU-POD64上实现了41%的性能提升；对于模型BERT来说，在IPU-POD16上实现了5%的性能提升，在IPU-POD64上实现了12%的性能提升。
GRaphcoRe大中华区总裁兼全球首席营收官卢涛表示，这些性能提升是自GRaphcoRe首次提交以来仅通过软件优化就实现的。MLPeRf测试结果表明GRaphcoRe的IPU系统更加强大、高效，软件也更成熟。
GRaphcoRe大中华区总裁兼全球首席营收官卢涛
和同行比：ResNet-50模型训练 IPU-POD16性能超NVIDIA DGX A100
最新的MLPeRf测试结果还对比了GRaphcoRe与NVIDIA的产品性能。
通常而言，ResNet-50模型主要用于计算机视觉领域，NVIDIA GPU在ResNet-50模型上的测试结果长期处于领先地位。
不过，最新的MLPeRf测试结果显示GRaphcoRe的IPU-POD16在ResNet-50模型训练方面的表现优于NVIDIA的DGX A100。在DGX A100上训练ResNet-50需要29.1分钟，而IPU-POD16仅耗时28.3分钟。
DGX A100是NVIDIA去年5月发布的旗舰产品，DGX A100使用两颗AMD霄龙7742处理器，主打适用于所有AI工作负载。
对于GRaphcoRe产品在ResNet-50模型测试上取得的成绩，卢涛表示：ResNet是一个2016年的模型，已经在GPU上优化了5年。我们通过两次的MLPeRf测试，就能够在这个GPU最主流的模型上超过GPU，这是非常自豪的一件事。而且我们后面还有进一步的提升空间。
值得注意的是，GRaphcoRe这一次MLPeRf测试跟上一次相比最大的不同是首次提交了IPU-POD128和IPU-POD256大规模系统集群的测试。IPU-POD128和IPU-POD256也取得了很好的成绩。
从ResNet-50模型在不同机器集群上的训练性能来看，在IPU-POD16上的训练时间是28.33分钟，随着系统的增大，训练时间逐次递减。在IPU-POD64上，只需要8.5分钟；在IPU-POD128上训练的时间为5.67分钟；在IPU-POD256上，为3.79分钟。
对于NLP模型BERT，GRaphcoRe在开放和封闭类别分别提交了IPU-POD16、IPU-POD64和IPU-POD128的结果，在新的IPU-POD128上的训练时间为5.78分钟。
谈及此次GRaphcoRe提交系统测试性能整体都有提升的原因，卢涛向TechWeb表示，这一次提交了大规模集群，其背后是GCL（GRaphcoRe CoMMunication LibRaRy）通信库的基本完备，能够支撑搭建集群，这是GRaphcoRe在产品和技术上迈进的重要一步。同时在产品细节上GRaphcoRe团队也做了很多优化，如编译器优化、框架层面优化、算法模型优化、还有IPU跟CPU之间的通信优化等等。
卢涛介绍，在MLPeRf原始数据中，每家制造商系统相关的主机CPU数量都十分惊人，而GRaphcoRe的主机CPU与IPU的比率始终是最低的。以BERT-LaRge模型为例，IPU-POD64只需要一个双CPU的主机服务器。ResNet-50需要更多的主机处理器来支持图像预处理，GRaphcoRe为每个IPU-POD64指定了四个双核服务器。1比8的比例仍然低于其他所有MLPeRf参与者。能实现主机CPU与IPU的低比率是因为GRaphcoRe的IPU仅使用主机服务器进行数据移动，无需主机服务器在运行时分派代码。因此，IPU系统需要的主机服务器更少，从而实现了更灵活、更高效的横向扩展系统。
在GPT2、VIT、EFFicientNet等新模型上表现如何？
如果说ResNet-50、BERT等都是到2019年为止比较主流的模型。那么，近2年陆续涌现的GPT2、EFFicientNet、VIT等新模型也越来越受到行业关注，比如，在AI领域，VIT已经成为学界和工业界用TRansfoRMeR来做计算机视觉的一个比较典型的算法模型。
尽管没有在MLPeRf中测试，GRaphcoRe中国工程总负责人、AI算法科学家金琛展示了GRaphcoRe产品在GPT2、EFFicientNet、VIT等新模型中表现。
以EFFicientNet-B4为例，在IPU-POD16上的训练需要20.7个小时，IPU-POD256则只需要1.8个小时，性能远优于DGX A100官方提供的数据。
GRaphcoRe中国工程总负责人、AI算法科学家金琛
据介绍，目前GRaphcoRe产品已经在金融、保险、天气预测、科学计算等领域落地，卢涛称，在金融领域案例中，IPU能够比GPU快10倍。在保险算法模型方面的案例中，IPU的应用比GPU快5倍。天气预测方面，在欧洲中期天气预报中心的模型上，IPU比CPU快50倍、比GPU快5倍。
近期，国内百度深度学习平台飞桨发布了在GRaphcoRe IPU上实现训练和推理全流程支持的开源代码库，百度飞桨的开发者可以在IPU上进行AI模型加速。国内的开发者小伙伴们不妨试试看IPU的加速效果。
