一、什么是LLM 蒸馏?
LLM 蒸馏是把大模型的能力迁移到小模型上的技术过程,让小模型在保持较高任务表现的同时降低推理成本与部署门槛。它通过监督微调、特征对齐、偏好学习等多种手段让小模型「模仿」大模型的行为与思考模式,是大模型普及的关键技术。
二、LLM 蒸馏包含哪些?
· OTLP 协议
· API 与 SDK
· Collector 数据管道
三 、LLM 蒸馏的发展历程
2019 年 OpenTracing 与 OpenCensus 合并为 OpenTelemetry,2021 年 Trace 规范 1.0 发布并进入稳定期,2022 年 Metrics 规范稳定,2023 年 Logs 规范稳定并完成三大支柱统一,2024 年 eBPF 集成与 AI 观测成为新方向。
四、LLM 蒸馏的核心价值有哪些?
· 统一遥测数据标准
· 避免厂商锁定