小样本学习 Few-Shot

一、什么是小样本学习 Few-Shot

小样本学习（Few-Shot Learning）是一类让模型仅利用极少量（通常 1-几十个）标注样本就完成新任务适配的机器学习范式，其核心思想是通过元学习、度量学习或提示学习等机制让模型具备「学会学习」的能力，从而在数据稀缺场景下快速泛化。它主要解决实际业务中标注数据获取昂贵、隐私敏感或长尾分布导致样本不足的痛点，使冷启动场景与个性化场景下的模型部署成为可能。与传统监督学习依赖大规模标注不同，小样本学习强调跨任务迁移能力；与无监督学习完全不需要标签不同，它通常依赖少量高质量标注样本；与零样本学习相比，小样本通过少量示例作为条件提升可靠性。该范式在自然语言处理、计算机视觉与语音识别等领域均被广泛验证，是大模型时代低成本定制化的关键技术之一。

二、原理

1. 任务采样：从任务族中采样大量相关子任务，模拟「每个新任务只有少量样本」的场景 → 2. 元学习训练：在大量采样任务上学习一个对任务变化鲁棒的初始化或优化策略，使模型能在几步梯度内适配新任务 → 3. 支持集与查询集：以 N-way K-shot 形式构造学习任务（每类 K 个样本为支持集，其余样本为查询集） → 4. 度量或提示推理：在度量学习路线下用原型网络计算样本距离；在提示学习路线下把示例拼到 Prompt 上下文 → 5. 适配与微调：冻结或低秩微调部分参数，结合正则与早停避免灾难性遗忘 → 6. 推理泛化：在新任务的少量样本上完成预测，并通过数据增强与集成提升稳定性

三、信息卡片

四、历史时间线

• 1990 年代：人类「一次学习」认知研究启发了机器学习领域的小样本表征问题研究
• 2000 年代初：计算机视觉领域开始形式化 One-Shot / Few-Shot Learning 任务与基准（Omniglot 等）
• 2015-2016 年：Siamese Network、Matching Network 提出，奠定度量学习小样本分类的基础
• 2017-2018 年：Prototypical Network、Relation Network、MAML 等里程碑算法系统化元学习路线
• 2020 年：OpenAI 发布 GPT-3，把 Few-Shot Prompting 从专门算法推向通用大模型提示范式
• 2022-2023 年：Instruction Tuning、LoRA、RAG 等技术与 Few-Shot 提示深度结合，企业级低样本定制成为标准做法
• 2024-2025 年：围绕长尾场景、多模态少样本、Reasoning Few-Shot 的研究持续活跃，与 AI Agent 的工具学习高度融合

五、分类

按学习机制：度量学习（Prototypical、Matching Network）vs 元学习（MAML、Reptile）vs 提示学习（In-Context Few-Shot）

• 按样本规模：Zero-Shot（无样本）vs One-Shot（1 个样本）vs Few-Shot（2-几十个样本）vs Many-Shot（数十到上百个）
• 按模型形态：传统判别式小样本学习 vs 预训练大模型少样本提示 vs 多模态少样本（CLIP-style）
• 按微调策略：全参数微调 vs 提示微调（Prompt Tuning）vs 参数高效微调（LoRA、Adapter）
• 按任务类型：图像少样本分类、文本少样本分类、少样本信息抽取、少样本对话意图识别

六、应用场景

长尾图像识别与新类目冷启动：在标准预训练模型上仅用几张样本快速覆盖长尾类（零售新 SKU、工业新缺陷）

• 少样本文本分类与情感分析：在标注成本高的垂直行业（法律、医疗）用极少样本建立分类器
• 个性化对话与冷启动推荐：新用户、新内容场景下用 Few-Shot Prompt + RAG 构建个性化体验
• 专业领域文档问答：用 Few-Shot 示例引导大模型按规范格式输出（如医学结构化报告）
• 工业缺陷检测：缺陷样本极少的制造业中，Few-Shot 与度量学习使小样本缺陷分类成为可能
• AI Agent 工具学习：让 Agent 通过少量演示示例掌握新工具用法

七、优缺点

• 优点：
• 标注成本大幅下降：仅需少量样本即可达到可观性能，标注成本可降低数倍到数十倍
• 冷启动可行：新业务、新类目上线时无需等待大量数据积累，业务响应速度显著加快
• 长尾场景适用：能够覆盖传统模型因样本不足而无法支撑的小众需求（如罕见病、罕见缺陷）
• 隐私友好：减少对大规模敏感数据的依赖，便于在医疗、金融等强隐私场景使用
• 持续学习能力：与元学习结合可在新增类别时快速扩展而不丢失旧能力
• 缺点：
• 方法选择敏感：度量学习、元学习、提示学习路线在不同任务上效果差异大，缺乏统一最优解
• 对支持集质量依赖强：少数样本的偏差会显著影响结果，存在「示例选得好不好决定一切」的问题
• 理论基础薄弱：对模型的样本复杂度、泛化边界、失败模式仍缺乏严格理论保证
• 复杂任务仍受限：在需要深层推理或领域专业知识的任务上，纯少样本提示难以达到可用精度

八、常见误区

Few-Shot = Zero-Shot（错：Zero-Shot 完全不依赖示例，Few-Shot 通过少量示例显著提升可靠性）

• Few-Shot 越多越好（错：超过一定阈值后边际收益急剧下降，且过多示例会挤占上下文窗口）
• Few-Shot 可以替代微调（错：在需要稳定、结构化输出的工业场景，全量或参数高效微调仍更可靠）
• Few-Shot Prompt 是新发明的（错：核心思想长期存在于机器学习与人类教学，只是 GPT-3 等大模型使其成为通用范式）

九、关联概念

父概念：机器学习 Machine Learning、深度学习 Deep Learning、人工智能 Artificial Intelligence

• 子概念：度量学习、元学习 Meta-Learning、Prompt工程、In-Context Learning（上下文学习）、LoRA微调
• 兄弟概念：Fine-tuning、LoRA微调、零样本学习 Zero-Shot、RAG · 检索增强生成、AI Workflow
• 对比概念：Fine-tuning、零样本学习 Zero-Shot、RAG · 检索增强生成
• 应用相关：Prompt工程、大语言模型 Large Language Model、Embeddings、多模态人工智能、AI智能体 AI Agent