在芯片粒之外，另一个值得我们关注的动向是芯片和软件协同设计。如前所述，芯片系统的规模正在越来越大，模块越来越多，功能越来越复杂，如果没有一个好的软件系统和生态的话，具体的应用很难充分利用芯片提供的性能，从而看到的就是实际应用中的实际性能和芯片的峰值性能相差甚远。更进一步，随着人工智能这类算法驱动类应用的火热，如何结合算法来做芯片的优化和设计也是进一步提升芯片性能的重要方法之一。而我们在本届Hotchips上也确实看到了软件和算法相关优化成为了厂商在演讲内容中的重点。

Intel在本届Hotchips上的Ponte Vecchio演讲中，一个重点就是其OneAPI软件接口以及DPC++工具。OneAPI使用一个API来支持不同的底层硬件，从而理想的情况下无需修改应用的软件代码，只需要在OneAPI中直接指定相应的后端执行硬件就可以。OneAPI计划会支持至少Intel的CPU和GPU，可望大大减少应用所需要的软件工作。另一方面，DPC++则是Intel对于目前CUDA生态的回应，使用DPC++可以将已有的为CUDA编写的程序直接移植到Intel的GPU上，这样就大大增加了Intel生态的吸引力。

软件在Tesla的Dojo芯片中也起到了至关重要的作用。如前所述，Dojo的设计牵涉到大量的compute tile，如何在不同的compute tile之间分配任务就成了决定整体系统性能的关键；除此之外，如何在不同的Dojo芯片之间分配任务也决定了整体系统的可扩展性。在Tesla的解决方案中，编译器软件将会确保将模型并行化处理并且加载到不同的compute tile中，同时尽量保证模型需要的数据都能装入片上SRAM中以保证性能降低对外部DRAM的依赖。除了编译器之外，Tesla在软件-芯片协同设计中另一个值得一提的是使用了独特的数值表示方式，在常见的FP16和BFP16之外还支持自研的CFP8和CFP16格式的数值表示方式并且在芯片中做了相应支持。根据Tesla公布的材料使用CFP8和CFP16可以获得更好的模型训练效果，而这也是软件-芯片协同设计的很好例子。

在Intel和Tesla之外，在本届Hotchips上和AI相关的演讲几乎都会涉及软件-芯片协同设计，其中包括了业界巨头如Nvidia（Hopper GPU中使用了FP8和Transformer Engine），以及新锐初创公司如Untether AI（公布了UAI FP8数制和imAIgine SDK）和壁仞（TF32+数制和BIRENSUPA软件平台）。我们认为，软件-芯片协同设计正在成为芯片行业进一步推动芯片规模更上一个台阶背后的重要支柱之一，只有在有了强而有力的软件支持，以及对于算法的深入理解后，芯片规模进一步提升才会有相应的回报。