Graphcore 在智能处理单元有了新突破。

近日，在布里斯托Graphcore宣布与微软的具体合作内容，并正式发布Microsoft Azure上Graphcore智能处理单元（IPU）的预览版。

这是公有云领导供应商首次提供GrapchoreIPU，这些IPU从构建之初便旨在支持下一代机器学习。这对Graphcore而言是具有里程碑意义的时刻，证明了Graphcore IPU硬件和Poplar软件栈的成熟性。 

微软和Graphcore已经紧密合作了两年多。在此期间，由杰出工程师MarcTremblay领导的微软团队一直在开发针对Azure的系统，并在IPU上提升高级机器视觉和自然语言处理（NLP）模型。 

Azure上的Graphcore IPU预览版现已开放供用户注册，专注于突破NLP界限并在机器智能方面取得新突破的开发者可获得优先访问权限。

Graphcore从零开始设计智能处理单元（IPU），旨在驱动机器智能领域的新突破。IPU和产品就绪的Poplar软件栈为开发人员提供了功能强大、高效、可扩展和高性能的解决方案，从而助力实现AI创新。通过加速更复杂的模型并开发全新的技术，客户得以解决最困难的AI工作负载。

微软和Graphcore的开发人员使用BERT语言模型实现了最先进的性能和准确性，仅用一个IPU服务器系统和8个C2 IPU处理器PCIe卡就可以在56个小时内训练BERTBase。对于BERT推理，我们的客户发现吞吐量提高了3倍，延迟改善了20％以上，从而可以更快地交付结果。

该水平的语言理解性能对于搜索引擎提供更有用的查询响应以及对于文本和对话式AI应用程序（如情感分析和需要人类水平理解能力的智能个人助手）至关重要。自然语言处理是人工智能的重要战略领域，预计到2025年，仅针对自然语言处理的人工智能硬件市场规模就将达到150亿美元（来源：Tractica Q42018）。

 微软公司Azure计算事业部副总裁Girish Bablani表示，“自然语言处理模型对于微软来说非常重要——在Microsoft Azure上运行我们的内部AI工作负载，以及服务我们的AI客户，”微软公司Azure计算事业部副总裁Girish Bablani说：“与Graphcore在处理器方面的新合作能够为我们的客户带来诸多裨益，这一潜力令我们感到非常兴奋。Graphcore的产品扩展了Azure的能力，我们在此领域内所做的努力是我们确保Azure仍然是AI最佳云的战略的一部分。”



除了为当今的复杂AI模型（如BERT）提供最先进的性能外，IPU还擅长加速新技术。 IPU将开辟新的研究领域，并帮助公司探索新技术，建立可以用更少的数据进行训练的更高效的机器学习系统。

欧洲搜索引擎Qwant是Graphcore IPU早期的客户之一，Qwant凭借运行搭载下一代图像识别模型 ResNext的IPU，获得了高性能，同时降低了延迟。

 Qwant首席执行官埃里克·莱安德里（EricLeandri）解释说： “Qwant的研究团队致力于AI的前沿技术，以便在用户搜索查询中快速提供最佳结果，同时确保结果是中立、公正和准确的。这是一个很高的要求。我们每天仅图像搜索就达到数百万次。我们正在实施的最新AI创新之一是称为ResNext的新型图像识别模型，可以提高提供图像搜索结果的准确性和速度。我们一直与微软和Graphcore紧密合作，在Azure中使用IPU处理器技术，并且在使用IPU上使用ResNext的图像搜索功能中看到了显着改，即性能提高了3.5倍。 Graphcore IPU在新的机器智能模型上具有巨大的创新潜力，我们正在研究这些方法来完善搜索，以便我们能够准确地提供客户所需的结果。”

 

ResNext使用分组卷积和深度可分离卷积来大幅提高效率（准确性/参数）。这涉及将卷积块拆分为较小的可分离块，以便IPU有效地支持这些卷积块。

为了更深入地了解针对组卷积和完全深度可分离卷积的硬件适用性， Graphcore的客户工程团队制定了一组微基准测试，其中包括典型的卷积模块。测试表明，IPU具有明显的全面优势，分组卷积的吞吐量优势更高达77倍。



Citadel高性能计算研发团队负责人Daniele Scarpazza表示，“ 在Citadel，我们的一个重点是利用尖端技术来优化一系列策略和资产类别的投资流程。我们相信，不断重新评估和改进我们为投资团队提供的技术可以帮助我们在竞争中保持领先地位。我们很高兴作为其早期合作伙伴之一与Graphcore合作，以测试新处理器技术在我们业务中可能实现的应用。 Graphcore IPU是专为机器学习而设计的，其新颖的架构已经使我们能够探索以前效率低下或根本不可能实现的新技术。”

 伦敦帝国理工学院计算机系机器人视觉教授Andrew Davison教授说，“我们相信，新的处理器技术将在不久的将来在空间AI和SLAM（同步定位和地图构建）的发展中发挥关键作用。我们很高兴能够在早期获得Graphcore创新型新硬件的研究机会。完全通用的空间AI将需要图形上的稀疏概率和几何推理以及具有深层神经网络的计算。Graphcore对通信和计算同样重视，创造了一种新的可扩展架构，我们相信它具有以低延迟和低功耗执行所有这些算法的潜力。” 

最后，Graphcore还宣布还将与戴尔公司一起展示我们的第一个IPU技术，该技术旨在满足企业客户构建本地机器智能计算的需求。

据悉，在戴尔公司的SC19（＃913）展位上展出的DellEMC DSS 8440是一款采用Graphcore技术的机器学习服务器。该系统使用8个Graphcore C2 IPU处理器PCIe卡提供1.6PetaFlops的机器智能计算，每个卡有2个IPU处理器，所有卡都在标准4U机箱中与高速IPU-Link技术连接。