Baichuan-7B

Baichuan-7B 是百川智能于 2023 年 6 月发布的开源可商用大型预训练语言模型，采用 70 亿参数、Decoder-only 架构，在 1.2 万亿 tokens 上训练，支持中英双语及 4096 上下文窗口。其优化包括 RMSNorm 归一化、SwiGLU 激活函数和 RoPE 位置编码，在 C-EVAL/MMLU 等基准测试中同参数规模表现最佳，可应用于自然语言处理、翻译、问答系统及智能客服、金融等多领域。