1. 项目概述Transitive Array的设计动机与核心创新在深度神经网络推理过程中GEMM通用矩阵乘法操作通常占据超过70%的计算时间。传统加速器面临两个关键瓶颈一是乘法器的高硬件开销二是量化过程中的精度损失。我们团队提出的Transitive Array通过三个关键创新解决了这些问题首先**传递稀疏性TranSparsity**的提出颠覆了传统稀疏计算模式。与常规的零值跳过不同我们观察到在二进制位切片矩阵中高达87.5%的计算结果可以通过Hasse图一种偏序关系图推导复用。例如在8位量化场景下通过构建TransRow依赖关系可将原始O(n³)复杂度的矩阵乘法降低到平均O(n²/k)级别k为稀疏因子。其次**动态分数板Scoreboard**机制实现了硬件级的计算调度优化。该设计包含并行的8路256入口哈希表配合比特onic排序器时间复杂度O(log²n)能够实时追踪中间结果的复用机会。实测显示在LLaMA-7B的FC层中动态分数板相比静态版本可减少23%的冗余计算。最后纯加法PE阵列彻底移除了乘法器。PPE部分积引擎采用12位加法器处理前缀和APE累加引擎使用24位加法器完成最终累加。这种设计使得4位量化配置下单个PE面积仅需50.3μm²28nm工艺比传统8位乘法PE缩小18倍。2. 硬件架构详解从位切片到动态调度2.1 位切片与混合精度支持TransArray的核心是将任意位宽的权重和激活张量分解为二进制矩阵。例如8位权重会被展开为8个1-bit矩阵每个矩阵对应特定权重的比特位。这种设计带来两个优势混合精度自适应通过配置PPE和APE的位宽组合可灵活支持不同精度需求。例如8位激活12-bit PPE 24-bit APE4位激活2×6-bit PPE 2×12-bit APE稀疏性传递当某比特位全零时可跳过整个计算流程。实测显示在LLaMA-13B的权重中比特级稀疏度达到61.3%远超传统元素级稀疏度约35%。关键实现细节权重分块采用32×88位或64×84位的固定分块策略通过Benes网络实现数据路由确保95%以上的硬件利用率。2.2 动态分数板的工作原理分数板的硬件实现包含三个关键模块哈希索引单元采用双bank设计每个周期可处理8个并行查询。哈希函数为hash_key (row_idx T) | bit_pattern // T为位宽比特onic排序器基于Batcher算法实现支持256个TransRow的O(log²n)时间复杂度排序。实测排序延迟仅12周期500MHz频率。前缀位图生成器为每个TransRow维护3-bit的前缀标记标识其依赖关系。统计显示在256-row分块下仅1.67%的TransRow需要跨多周期处理。图示动态分数板在三个时钟周期内完成哈希查询、排序和依赖标记2.3 无乘法PE阵列设计PPE和APE阵列采用全加法器设计关键参数如下表组件位宽阵列规模单周期吞吐延迟PPE12-bit8×32256 ops/cycle2nsAPE24-bit8×32256 ops/cycle3ns特别地APE支持两种工作模式累加模式直接输出24位结果重量化模式配合VPU单元完成128元素的分组缩放scale因子为int83. 软件栈协同设计3.1 编译器优化策略TransArray的编译器需要特殊处理两类操作位切片转换将原始权重转换为比特平面表示例如def bit_slice(tensor, bitwidth): return [(tensor i) 1 for i in range(bitwidth)]Hasse图构建通过拓扑排序确定TransRow执行顺序算法复杂度O(VE)。3.2 分组量化实现采用128元素为一组的量化策略相比传统per-tensor量化在LLaMA-7B上可降低困惑度PPL0.15。具体流程计算组内最大值max_val reduce_max(group)确定缩放因子scale max_val / 127.0量化quant_val round(input / scale)4. 实测性能与对比分析4.1 基准测试配置使用Synopsys Design Compiler在28nm工艺下综合关键参数频率500MHz缓冲器480KB SRAMCacti 7.0评估对比基线BitFusion、ANT、Olive、BitVert4.2 性能结果在LLaMA不同模型上的加速比如下模型8-bit加速比4-bit加速比能效提升LLaMA-7B3.75×7.46×2.31×LLaMA-13B3.82×7.52×2.28×LLaMA-30B3.69×7.39×2.25×特别地在Attention层保持FP16精度仍获得1.54倍加速这是首个支持Attention即时量化的硬件设计。4.3 能效分解能量消耗分布显示LLaMA-7B第一FC层缓冲器访问56.4%计算核心21.1%DRAM访问29.0%虽然缓冲器能耗占比较高但由于计算周期大幅缩短总能耗仍降低2.3倍。5. 工程实现中的挑战与解决方案5.1 时序收敛问题初始设计中PPE阵列的关键路径达到2.3ns目标2ns。通过以下优化解决进位保留加法器将关键路径拆分为3级流水时钟门控对空闲TransRow关闭时钟布局约束限定PPE阵列在200μm×200μm区域内5.2 稀疏性波动处理实际运行中发现稀疏度随输入变化较大45%~75%。解决方案动态负载均衡当某Tile稀疏度70%时自动分配额外TransRow保底模式当分数板过载时回退到传统位串行计算6. 扩展应用与未来方向当前设计已支持以下扩展卷积加速通过im2col转换实现3.2×加速ResNet-18MoE模型利用NoC支持专家并行未来计划采用3D堆叠存储降低缓冲器能耗探索光互连提升NoC带宽支持FP8训练模式实测表明TransArray为后摩尔时代的DNN加速提供了新思路——通过计算图重构而非单纯工艺缩放来实现性能提升。其设计理念也可应用于存内计算等新兴架构。