数据工程是什么？

一、数据工程是什么？

数据工程是把原始数据加工成可供模型训练与使用的高质量资产的一整套工程实践，其核心构成包括数据存储与清洗、数据标注与增强、数据版本控制与自动化特征工程，人工标注占比超70%，解决的是模型训练缺少规范、可追溯数据来源的问题，并不解决标注人力成本高与数据质量参差的问题。

二、数据工程包含哪些？

数据标注：人工标注占比超70%，涵盖属性、框选、描点等类型。

数据增强：通过旋转、裁剪、加噪提升模型泛化能力。

三、数据工程的关键技术包括哪些？

数据版本控制（DVC），像Git管理代码一样管理数据和机器学习模型，记录数据集、特征、模型权重的版本变更。

自动化特征工程（FeatureTools），通过深度特征合成（Deep Feature Synthesis, DFS），从原始数据中自动提取时间、聚合、关系型特征。