标签：AI 推理芯片

AI 推理芯片是专门为大模型推理场景设计的加速芯片，与追求极致算力与带宽的训练芯片不同，推理芯片更关注单位功耗下的 Token 吞吐量、延迟确定性与多模型并发能力，核心是以低精度计算与大容量片上存储换取推理效率，能力包括低精度计算单元、专用…