近日，IBM AI团队推出了Granite4.0Nano系列，这是一个专为本地和边缘推理而设计的小模型系列，旨在为企业提供更强的控制力和开源许可。该系列包括 8 种型号，提供 350M 和约 1B 两种尺寸，采用混合 SSM 和变压器架构，支持基本模式和指令模式。所有模型均在 Apache2.0 许可下发布，可以在流行的运行时环境中本地运行，例如 vLLM、llama.cpp 和 MLX。

Granite4.0Nano 系列包括四个型号系列及其基本版本。其中，Granite4.0H1B 采用了参数约为 1.5B 的混合 SSM 架构，而 Granite4.0H350M 也采用了参数为 350M 的混合方式。为了确保最大的运行时兼容性，IBM 还提供了 Granite4.01B 和 Granite4.0350M 的转换器版本。

这些H变体模型在SSM层和变压器层之间交替，与纯变压器相比，这种混合结构在内存增长方面具有显着优势，同时保持了变压器模块的通用性。Granite4.0Nano 模型没有使用简化的数据管道，而是遵循与大规模 Granite4.0 模型相同的训练方法，在超过 15 万亿个 token 上进行训练，并进行了指令调优，以增强工具使用和指令跟随能力。

IBM 还将 Granite4.0Nano 与其他类似型号进行了比较，包括 Qwen、Gemma 和 LiquidAI LFM。结果显示，在常识、数学、代码和安全等领域都有显着改进。此外，该系列模型在 IFEval 和 Berkeley 函数调用排行榜第 3 版的代理任务中表现良好。

这些模型ISO42001经过认证，并带有加密签名发布，确保企业使用所需的可追溯性和治理能力。用户可以通过 Hugging Face 和 IBM watsonx.ai 访问这些模型，并将其部署在边缘、本地和浏览器级别，帮助早期的 AI 工程师和软件团队更好地实施项目。