Starcoder2_3b

Starcoder2_3b 是 ServiceNow 训练的 30 亿参数开源代码生成模型，基于 The Stack v2 数据集的 17 种编程语言训练，处理超 3 万亿 token。采用分组查询注意力，上下文窗口 16384 标记，滑动窗口注意力 4096 标记，支持填空目标训练。性能媲美 StarCoder1-15B，适用于本地轻量编码辅助、代码补全及个人开发工具。