2019年9月20日，2019中国人工智能高峰论坛在中国数交会期间召开。英特尔亚太研发有限公司首席工程师卞昭娟发表了“利用Intel  CoFluent技术加速AI芯片设计”主题演讲。

她介绍，人工智能芯片的市场正在蓬勃的发展，Intel  CoFluent的技术可以为人工智能芯片提供完整的仿真方案，是一个单芯片及多芯片的仿真，是一个高可配的数据流的影射及优化，支持软件、硬件的协同设计。

以下为演讲实录：  

非常高兴今天有机会在大连和大家一起探讨AI芯片方面的话题，虽随着人工智能浪潮的到来，人工芯片也得到了蓬勃的发展，大家在市面上看到各种各样的人工智能的芯片，这个门槛是不是很低啊？为什么很多人都在生产人工智能芯片？

今天我为大家介绍一下它的现状和门槛，Intel  CoFluent技术提供了整套的模拟的仿真解决方案，来加速芯片的设计，最后用于分析。

几大分析师对人工智能的展望，都说的非常好，基本上是告诉大家，现在是采用人工智能技术的一个最佳的时机。

说了这么多人工智能，人工智能到底是什么？大家可能有不同的想法。基本上就是让机器可以从经验当中学习，而不是按照之前设定的模式一步一步地执行。说到人工智能一定说到算法，左边列了很多人工智能的算法，右边是人工智能的不同的学习形式。由于时间的关系，我不张开了，基本上这一页要告诉大家人工智能的方法有非常多，并没有一个适合一切的人工智能的方法。

我们可以用深度学习来举例，深度学习是目前人工智能落地最火热，最广泛的一个应用。图象处理、自然语言处理是大家日常生活中经常碰见的，你打开手机相册会发现，手机对你的照片做了自动的分类，可能告诉你这些照片是什么时候拍的，有的是在室内拍的，有的是在运动场拍的，你在做照片索引的时候就会非常的方便。

大家看到蓝色的框下是人工智能的神经网络的算法，结合前面讲到的人工智能有各种各样的算法，深度学习领域，对于不同的细分领域，也有不同的神经网络的支持，所有的这些对人工智能的芯片意味着什么？

这就是各种各样的广泛的人工智能芯片带来的火热的人工智能芯片市场，在这样的市场里有什么样的玩家？我们看两边，传统的硬件厂商，英特尔，NVIDIA等，但是也有搅局的。

我们把目光专向国内，百度、阿里巴巴都了自己的人工芯片。

在人工智能芯片的市场还有一股力量不可忽视，就是很多的创业公司，我们经常听到某公司完成了一个天价的融资或者被某公司天价收购，所以资本市场在这些领域非常的火热。  

除了市场上的这些玩家之外，对于每一个企业来说，它的产品线也是相当丰富的，我们以英特尔的人工智能的芯片举例，它的布局相当的广泛，从通用的处理器到专用的芯片，从云端到设备端，其实都有完整的布局，在物联网、自动驾驶，手持设备上的不同的人工智能芯片。中间还有我们的服务器，也有很好的解决方案。                          

为什么在如此拥挤的市场上，每个公司还有各自不同的丰富的产品线，就像算法一样没有适合一切的人工智能芯片。

很多人可能会问，这个就很奇怪了，我们知道在传统的计算市场上，基本上是英特尔处理器打天下，在数据并行的一个领域，基本上不像处理器，是CPU打天下。为什么人工智能是让有这么多的芯片公司？为什么？

我们要回到人工智能带来的计算变化上，传统的CPU专注于任务并行，GPU擅长于数据并行。对不同的算法有不同的要求，即使是同样的模型，做模型的训练和推算，对计算力、内存的要求也是不一样的。人工智能芯片可能对精度的要求并没有那么高，你在做CPU的计算的时候，可能小数点之后的好几位都非常的重要。但是对于人工智能芯片来说，我只要知道这张图片是猫的概率是98%就可以了，我不需要那么高的精度。所以很多人工智能的芯片在使用低精度来减少计算量，减少存储。

所有的这些人工智能带来的集散方面的变化，告诉我们其实对于AI来说，它需要有一个新的执行引擎，需要对计算，对IO，对计算做一个再平衡。  

我们再对人工智能芯片进行分类。我们不是从市场玩家的角度分类，而是从人工智能芯片的形态来分类，一个是通用的多修用途的芯片，一个是专用的芯片。在通用的领域，目前是CPU、GPU的天下。FaceBook在讲他的数据中心在用什么样的处理器作人工智能的计算，我们可以看到在人工智能的推算的领域，基本上还是CPU的天下，在做人工智能模型的训练上，CPU和GPU各有千秋。

我们看一下专用的芯片，基本上以FPGA和ASIC为代表，FPGA对很多的云计算的厂商很有吸引力，微软做了很多的工作。ASIC是非常拥挤的赛道，无数的并购，无数的融资都是在这个领域。在这方面比较有代表的，比如英特尔之前收购的两个公司，除此之外，大家很熟悉的寒武纪，也是在这个领域。

除了这些比较常见的人工智能的芯片之外，人工智能芯片还有一个新型的芯片形态，就是神经拟态芯片，利用仿真的原理，希望注入新的思路，就跟当年制造飞机的时候思路是一样，有空气动力学派和仿真学派，这个更接近于仿真的学派，会给传统的人工智能芯片注入一些新的想法。英特尔也有推出，目前还是处于研究阶段。

前面我们讲到了通用的处理器的芯片和专用的处理器的芯片，设计的门槛有到高？我们需要看一下整个人工智能芯片的一个软件站和硬件站，我们知道所有的人工智能的应用都是执行在一个计算框架上，人工智能计算的框架也很有趣，好几年之前说到了人工智能的框架，可能两只手是数不过来的，也是百花齐放，非常的热闹。经过几年下来，差不多已经尘埃落定了，现在比较主流的框架已经没有几个了，一只手一绝对可以数得过来。这个对人工智能芯片是好事，之前做一款芯片需要支持不同的计算框架，现在需要很少数的几个框架就可以了，所以这是一件好事。

计算框架之下就是边际，对于通用的处理器和芯片来讲，会走上不同的路，通用的处理器来讲，由于对边际的技术已经相当成熟了，对芯片的性能的提升有非常显著的提高。还有多芯片的可扩展的研究。对于专用的芯片来讲，难度和通用芯片完全不一样，专用的芯片要设计自己的指令，要设计整个的流水线，更重要的是你要把软件和硬件结合起来，你要对数据流做一个影射。专用芯片就像前面讲到了很多是在终端，比如说手机上的芯片，这些芯片有什么样的要求？ 首先模型要小，装进手机里不能大，对神经网络的模型做很好的压缩。另外，也希望你的能耗比较低，不希望我做一个人脸识别，我的手机就开发发烫了，再做几个就没电了，所以大部分的工作在模型压缩和数据的处理，还有终端芯片的能耗的降低，国内的寒武纪做的相对的比较成功。还有软件和硬件的协同设计非常的重新，如何解决软件和硬件的协同设计的问题？如何解决多芯片的问题？需要用到仿真的技术。

我们先看一下英特尔提供的仿真解决方案，它是一个系统级的建模和仿真工具集，可以用来做早期的架构的设计和规划，做成本的分析，关于这样的一个工具集有很多使用的场景，有很多成功的案例，大家可以访问我们的网站去了解更多的实现的细节，在这里我不会具体地讲这个工具怎么用。相反我要看使用这个工具会达到什么样的使用目标？我们有两个例子，一个是对通用处理器，一个是专用处理器，对通用处理器，可扩展性是很有挑战的，我们发表了一篇论文，大家在网上可以搜集得到，就是把不同的神经网络的模型影射到CPU、GPU上去，然后再做这样的模拟来达到很高的仿真的精确度。从右边的两张图看到我们的精确度相当高，对神经网络的每一层都达到了90%的精确度，有了这样的精确度就非常有信心做仿真分析。                                                                       

我们部署AI应用的时候，经常要回答一个问题，我们怎么选择处理器？怎么选择网络？怎么选择内存？对不同的应用有不同的要求。在这个例子里，我们会发现我们10G的网络就够了，但是20G的性能也很好，但是就很浪费钱了，没有必要。我们通过分析可以发现，我们用更快的内存可能会带来更高的性能的提升，这样的投资就非常的划算，类似这样的分析都可以通过我们的全系统的模拟的解决方案实现。

我们再看看在专用芯片方面的仿真方案。我们做的就更多了，我们可以对单芯片和多芯片的性能和功耗进行评估，可以支持硬件和软件的协同设计。对于硬件的设计非常的简单，我们提供高可靠的模型，对一些存储单元做一些性能，做一些功耗的配置，你这些硬件的模型就搭好了。对于软件来说，我们采用了高阶语言，进行自动的代码生成，对数据的迁移做非常好的优化，最后通过模拟得到一个可视化的报告，来帮助你分析整个系统的瓶颈，帮助你做快速地迭代。      

对于终端芯片来说，比较不同的数据驻留策略很重要，我们可以放在计算器里，把A放在内存里或者把B放在计算器里，对于用模拟器做这样的分析非常的方便，几行代码就搞定。

还包括一些循环的次序的分析等等。

左边的是高阶语言配置我们的模拟器，右边可以看到模拟的结果，它的功耗和它的性能，做好最佳的选择。

总结一下，人工智能芯片的市场正在蓬勃的发展，Intel  CoFluent的技术可以为人工智能芯片提供完整的仿真方案，是一个单芯片及多芯片的仿真，是一个高可配的数据流的影射及优化，支持软件、硬件的协同设计。