MoE 是什么？

行业百科 📅 2026-09-19 20:13 ✍ 数智化转型网 👁 2026年9月19日 💬 0 评论

一、什么是MoE？ MoE（Mixture of Experts）是一类通过多个「专家」子网络配合路由器（Ro […]

一、什么是MoE？

MoE（Mixture of Experts）是一类通过多个「专家」子网络配合路由器（Router）动态分配算力的稀疏大模型架构，让模型在不显著增加推理计算量的前提下大幅扩展总参数量，已成为主流大模型扩展的关键技术路线之一，支撑万亿参数模型。

二、MoE包含哪些模块？

· 视觉编码器

· 跨模态对齐

· 联合嵌入空间

三、MoE的发展历程

2019 年 ViLBERT、VisualBERT 开启视觉-语言预训练，2021 年 CLIP 实现图文对齐里程碑，2023 年 GPT-4V、Gemini 等原生多模态大模型发布，2024 年视频理解、实时语音多模态成为新前沿。

四、MoE的核心价值有哪些？

· 打破模态壁垒

· 支撑更自然人机交互

CXOU AI 未来大会 · 报名通道限时开启

🏷 标签 MoE

💬 评论

零信任 Zero Trust

零信任是云计算与远程办公时代替代传统边界防御的下一代安全架构范式：把信任从「网络位置」转为「身份与上下文」，让企业在开放环境下依然能实施最小权限与持续验证，是 …

📅 09-20 · 👁 2026年9月20日

Service Mesh服务网格

Service Mesh 是云原生时代把微服务治理能力从框架下沉到基础设施的关键架构：让多语言微服务在不修改业务代码的前提下获得一致的网络、安全、可观测能力，是…

📅 09-20 · 👁 2026年9月20日

数字主线

数字主线是离散制造企业从「卖设备」转向「卖设备 + 数据 + 服务」的关键基础设施，是工业 4.0 时代把设计、制造、运维全链路数据贯通、释放数据要素价值的事实…

📅 09-20 · 👁 2026年9月20日

RAG

1、英文名 / 缩写： Retrieval-Augmented Generation（缩写 RAG），别名：检 […]

📅 09-20 · 👁 2026年9月20日

人工智能1000问——数智化转型网www.szhzxw.cn

LLM蒸馏是什么？

一、什么是LLM 蒸馏？ LLM 蒸馏是把大模型的能力迁移到小模型上的技术过程，让小模型在保持较高任务表现的同 […]

📅 09-19 · 👁 2026年9月19日

人工智能1000问——数智化转型网www.szhzxw.cn

Fine-tuning 是什么？

一、什么是Fine-tuning？ Fine-tuning 是基于预训练模型在特定领域数据上进行二次训练的过程 […]

📅 09-19 · 👁 2026年9月19日