数字化转型网人工智能研习社关注人工智能从技术到落地的全方面，包含机器学习算法、深度学习架构、自然语言处理（NLP）技术、计算机视觉技术、AI+医疗健康、AI+交通出行、AI+金融、AI+制造、AI+消费品、AI+互联网、数据隐私和安全、算法公平性、产业生态建设、政策法规制定与完善等。
本文提出一种数据为中心的UFMs文献分类体系，根据城市数据模态类型将现有的UFMs研究工作分为六大类：基于语言的模型 (Language-based models)、基于视觉的模型 (Vision-based models)、基于轨迹的模型 (Trajectory-based models)、基于时间序列的模型 (Time series-based models)、多模态模型 (Multimodal models) 及其他模型，并基于文献所侧重的模型预训练和适应技术对这些工作进行介绍。
基于语言的模型 (Language-based models)
该部分研究集中在将预训练语言模型（PLMs）应用于城市语境，主要分为预训练方法和领域适应方法两类。数字化转型网www.szhzxw.cn
预训练方法侧重于使用城市特定领域数据开发PLMs，以超越通用PLMs在特定任务上的表现。领域适应方法则主要关注利用提示工程和模型微调等技术将现有PLMs适配到城市场景中，充分利用现有PLMs中蕴含的世界知识，同时大幅减少所需的计算成本。
基于视觉的模型 (Vision-based models)
该部分研究主要分为预训练方法和领域适应方法两类。预训练方法侧重于利用街景、监控、遥感、天气栅格等城市视觉类数据进行模型预训练。领域适应方法则通过提示工程和模型微调技术，将已有的视觉模型适配至城市场景。
基于轨迹的模型 (Trajectory-based models)
该部分讨论了两类基于轨迹的模型：单模态方法和跨模态迁移方法。单模态方法基于轨迹数据进行预训练和领域适应。预训练方法主要应用于路网轨迹和自由空间轨迹两种数据类别。跨模态迁移方法则侧重于研究大语言模型在轨迹分析任务的应用。数字化转型网www.szhzxw.cn
基于时间序列的模型 (Time series-based models)
该部分介绍了基于城市时间序列数据的UFMs，主要包括单模态方法和跨模态迁移方法。单模态方法通常通过在大规模普通时间序列或空间相关时间序列数据集上进行有监督或自监督预训练来学习时间序列数据的特征和模式。跨模态迁移方法探讨了通过提示工程、模型微调、模型重编程等技术将从一个模态学习到的知识、特征或模式转移到时间序列分析任务中的应用潜力。
多模态模型 (Multimodal models)
该部分讨论了开发UFMs来处理多种数据模态以实现对城市动态更全面的理解，也可主要分为预训练方法和领域适应方法两类。其中预训练方法根据可应用领域又划分为单领域模型和多领域模型。而领域适应方法则主要基于提示工程和模型微调等技术。数字化转型网www.szhzxw.cn
其他模型 (Other Models)
该部分探讨了除前述模态外，UFMs在其他城市数据和场景中的探索性研究，如地理数据、路网数据和交通控制等。
声明：本文来自网络，版权归作者所有。文章内容仅代表作者独立观点，不代表数字化转型网立场，转载目的在于传递更多信息。如有侵权，请联系我们。数字化转型网www.szhzxw.cn
数字化转型网人工智能研习社包含哪些内容
数字化转型网人工智能研习社关注人工智能从技术到落地的全方面，包含机器学习算法、深度学习架构、自然语言处理（NLP）技术、计算机视觉技术、AI+医疗健康、AI+交通出行、AI+金融、AI+制造、AI+消费品、AI+互联网、数据隐私和安全、算法公平性、产业生态建设、政策法规制定与完善等。
本文由数字化转型网（www.szhzxw.cn）转载而成，来源于新智元；编辑/翻译：数字化转型网Jack。
