延迟

延迟是指AI从接收输入请求到产生完整输出响应的时间间隔，是衡量AI系统实用性的关键性能指标。低延迟对于实时交互应用（如对话系统、实时翻译）至关重要。影响延迟的主要因素包括模型规模、硬件配置、网络传输、…