AI(人工智能)的数据是如何采集的?

人工智能数据的采集是指按结构化、半结构化和非结构化三类形态获取训练所需样本的过程,来源上包括传感器数据、网络数据、企业内部数据与政府等机构发布的外部数据,解决的是模型训练所需数据的数量、类型与来源覆盖问题,并不解决数据本身的质量缺陷、隐私合规与标注偏差问题。

翻译:

How is AI (Artificial intelligence) data collected?

1. AI (Artificial intelligence) data processing

人工智能数据的采集是指按结构化、半结构化和非结构化三类形态获取训练所需样本的过程,来源上包括传感器数据、网络数据、企业内部数据与政府等机构发布的外部数据,解决的是模型训练所需数据的数量、类型与来源覆盖问题,并不解决数据本身的质量缺陷、隐私合规与标注偏差问题。

(2) Semi-structured data: Semi-structured data refers to the data that does not use the standard data model but has certain structured elements. For example, data formats such as XML files and HTML documents have certain structures and tags that can be analyzed by parsing and processing tools.

(3) Unstructured data: Unstructured data refers to text and media files that lack a clear structure, such as emails, videos, audio, images, and social media posts. This data is usually not suitable for storage in standard structured databases and requires special processing techniques.

2. Sources of AI (Artificial intelligence) data

(1) Sensor data: Sensor data usually comes from iot devices, such as temperature, humidity, acceleration, pressure, and so on. This data can be used to monitor the physical environment and system performance, and can be analyzed and predicted through machine learning applications.

(2) Network data: Network data refers to information publicly available through the Internet. For example, content such as social media, blogs, news articles, and emails are often extracted using Web crawlers or apis.

(3) Enterprise data: Enterprise data includes various types of structured and semi-structured data, such as transaction records, customer information and product information. This data is usually stored in enterprise databases and can be queried and analyzed through SQL or other technologies.

3. External data of AI (artificial intelligence)

External data refers to data sets that are not associated with a business or organization. For example, government data, meteorological data, geographic data, demographic data, and so on. This data is usually published by governments or other agencies and can be used to improve model accuracy or identify new business opportunities.

In general, the types and sources of data are diverse, and the application of artificial intelligence (AI) needs to select appropriate data collection and processing methods according to different data characteristics in order to obtain the best results when building models.

💬 评论
🔗 本文链接

以专业为基,引领科技向善向新

Rooted in professionalism, we lead technology toward social good and innovation.

数智化转型网 · 了解更多产业资讯与选型数据 →

📰 你可能也喜欢

人工智能1000问——数智化转型网www.szhzxw.cn 行业百科

RLHF是什么?

RLHF 是把人类偏好作为奖励信号来微调大语言模型的方法,通常先做监督微调、再训练奖励模型拟合人类偏好、最后用强化学习算法优化策略,核心是让模型的输出从能生成内…
📅 10-30 · 👁 2026年10月30日
人工智能1000问——数智化转型网www.szhzxw.cn 行业百科

AI安全是什么?

AI 安全是研究人工智能系统面临的安全风险并建立防御机制的研究与工程领域,覆盖对抗攻击、提示词注入、数据中毒、模型窃取、成员推断、后门与偏见歧视等威胁面,核心是…
📅 10-30 · 👁 2026年10月30日
人工智能1000问——数智化转型网www.szhzxw.cn 行业百科

混合专家模型是什么?

混合专家模型是把前向计算按输入路由到部分参数子集上执行的稀疏化架构,核心是在不激活全部参数的前提下扩大模型容量,能力包括门控路由、专家容量约束与负载均衡机制。它…
📅 10-30 · 👁 2026年10月30日
人工智能1000问——数智化转型网www.szhzxw.cn 行业百科

AI制药是什么?

AI 制药是把人工智能应用于新药研发全流程的交叉领域,覆盖靶点发现、分子设计、化合物筛选、性质预测与临床试验设计,核心是用计算预测替代部分湿实验来压缩试错周期,…
📅 10-30 · 👁 2026年10月30日
人工智能1000问——数智化转型网www.szhzxw.cn 行业百科

人工智能是什么?

人工智能是研究、开发用于模拟、延伸和扩展人类智能的理论、方法与技术体系,核心是用从数据中归纳出的概率性模型替代人工编写的确定性规则,能力包括机器学习、深度学习、…
📅 10-30 · 👁 2026年10月30日
人工智能1000问——数智化转型网www.szhzxw.cn 行业百科

提示词注入是什么?

提示词注入是通过精心构造的输入内容绕过 AI 系统的指令优先级或安全限制、诱导大模型执行非预期行为的攻击技术,核心是把恶意指令伪装成正常输入混入上下文,能力包括…
📅 10-30 · 👁 2026年10月30日