ERNIE-4.5-21B-A3B-Paddle
ERNIE-4.5-21B-A3B-Paddle
百度 · 更新于 2024-09-11
ERNIE-4.5-21B-A3B-Paddle 是百度推出的文本混合专家(MoE)语言大模型,总参数量 210 亿,每个 token 激活 30 亿参数。采用异构 MoE 架构与模态隔离路由技术,依托飞桨框架优化,适配智能对话、内容创作等轻量化场景,提供 ERNIEKit 微调与 FastDeploy 部署工具链,基于 Apache 2.0 协议开源。
核心参数
| 厂商 | 百度 |
|---|---|
| 分类 | 文本生成/大模型 |
| 更新时间 | 2024-09-11 |
| 标签 | 文本生成、中文、英文、高性价比、工具调用 |
模型能力
| 输入类型 | 文本 |
|---|---|
| 输出类型 | 文本 |
| Function Call | 是 |
| 模型精调 | 是 |
| 前缀缓存 | 是 |
| 结构化输出 | 是 |
模型参数
| 模型更新时间 | 2024-09-11 |
|---|---|
| 开源分类 | 开源 |
| 多模态支持 | 否 |
| 典型场景 | 内容创作 |