多模态学习(Multimodal Learning)是训练模型同时处理文本、图像、语音等多种输入形式、并联合理解多源数据的学习范式,其核心构成包括多模态编码、跨模态对齐与联合表征,解决的是单一模态信息不完整、难以刻画复杂场景的问题,并不解决各模态数据质量差、标注稀缺的问题。
多模态学习是什么?
多模态学习(Multimodal Learning)是训练模型同时处理文本、图像、语音等多种输入形式、并联合理解多源数据的学习范式,其核心构成包括多模态编码、跨模态对齐与联合表征,解决的是单一模态信息不完整、难以刻画复杂场景的问题,并不解决各模态数据质量差、标注稀缺的问题。
🔗 本文链接