他把功耗曲线逐层拆解开来，每拆一层就在屏幕上标一个对应的数据搬运量。
从卷积层到全连接层再到注意力机制，搬运量的峰值越来越高，整张图看上去就像一面正在倾斜的墙。
王东来没有直接回答。
他走到白板前拿起记号笔，画了一个全新的架构草图。
不是传统的SIMD阵列，而是一种混合粒度的张量计算单元，粗粒度处理大规模矩阵乘法，细粒度处理稀疏化后的注意力计算。
两者共用同一组片上缓存，但调度逻辑分开。
“传统GPU用SIMD堆算力，靠暴力计算碾压神经网络。但AI推理任务的瓶颈不是算力，是数据搬运。每一层神经网络的权重都要从外部内存搬进计算单元，搬一次消耗的能量比算一次还多。你们的方案用大容量片上缓存来减少搬运次数，方向对，但片上缓存的容量终归有限，缓存再大，也装不下整个GPT模型的权重。”
他在混合粒度张量计算单元的架构图上添了几笔，在片上缓存和外部DRAM之间加了一个极简的数据压缩引擎。
“在数据进出片上缓存的时候加一层硬件压缩解压逻辑，不是软件压缩，是直接做在硅片上的专用压缩引擎。神经网络权重本身有大量冗余，稀疏化之后大部分权重是零，非零部分也有很强的规律性。用轻量级的差分编码把权重流压缩到原来的几分之一，数据搬运量就对应降下来了。”
周工盯着那张架构图看了很久，眼神越来越亮。
内容未完，下一页继续阅读