什么是 小样本学习？
小样本学习（Few-Shot Learning）是一类机器学习设置，要求系统利用相对于问题规模、先验数据或常规训练需求而言很小的已标注 Support Set，泛化到新任务或新类别。
快速了解
| 创建时间 | 概念源自 2000 年代，LLM 上下文从 2020 年开始 |
|---|---|
| 规范文档 | 官方规范 |
工作原理
N-way K-shot 定义一次 Episode
一次 N-way K-shot 分类 Episode 提供 N 个标签，每个标签有 K 个 Support Example，再在来自这些标签且与 Support 分离的 Query Set 上评测。K 描述的是该 Episode，并不是「少量」的通用定义；回归、生成和检测任务还会采用不同结构。报告必须写明类别平衡、Support 构建、Query 数量、先验数据，以及适配是否使用 Transductive 信息。
不同方法迁移不同形式的先验知识
Matching Networks 比较 Query 与 Support Representation；Prototypical Networks 根据 Query 到类别 Prototype 的距离分类；MAML 等优化式方法则学习可以用少量更新快速适配的初始化。其他路线还会使用预训练 Embedding、数据增强、贝叶斯推断或 Parameter-efficient Adaptation。任何路线都必须在目标域验证表示、距离函数或更新规则。
LLM Few-Shot Prompting 是推理技术
在 LLM Prompt 中，少量输入输出示例会在当前上下文中定义标签、格式或行为。这通常属于 In-Context Learning，而不是经典 Episodic Training：没有优化器步骤，示例还会在每次请求中消耗上下文。仅描述这一行为时应使用「Few-Shot Prompting」，并说明示例是否由 Retrieval 动态选择。
评测必须阻断隐藏的数据复用
应按照声称的泛化目标，以任务、类别、实体、来源或时间切分数据；随机按行切分可能让近重复样本或同一实体同时进入 Support 与 Query。需要评测多个采样 Episode 或代表性生产任务，公开采样过程与不确定性，并在适用时比较 Zero-shot、Nearest Neighbor、Linear Probe、Full Supervision 和 Fine-tuning Baseline。
主要特点
- 使用相对于目标任务和已有先验知识很小的 Support Set
- 常通过带独立 Query Set 的 N-way K-shot Episode 评测
- 迁移 Representation、相似度度量、先验或适配过程
- 涵盖度量式、优化式、概率式与数据增强方法
- 与 LLM Few-Shot Prompting 相关，但不是同一评测范式
- 需要防泄漏切分和重复评测才能支撑泛化结论
常见用途
- 利用少量已审核示例识别新出现的产品或缺陷类别
- 在专家标注昂贵时适配感知模型或文档模型
- 在大规模标注集形成前启动 Intent Classification
- 通过受控 Support-Query Episode 比较预训练 Representation
- 不更新权重，用 LLM 示例临时定义标签或输出格式
示例
Loading code...常见问题
N-way 和 K-shot 分别是什么意思？
在一次 N-way K-shot 分类 Episode 中，Support Set 包含 N 个类别，每类 K 个已标注示例，另用 Query Set 评测这些类别的预测。这个记法并没有说明模型接受过多少先验训练、Query 如何采样，也没有说明方法是否会联合使用 Query Set 信息。
小样本学习等同于 Few-Shot Prompting 吗？
不等同。经典小样本学习通常在 Support-Query Episode 上训练或评测，也可能更新参数；Few-Shot Prompting 则把示例放入 LLM 当前上下文，不执行优化器步骤。二者虽然都使用有限示例，但机制、持久性、计算、泄漏风险与评测协议不同。
多少个示例才算小样本学习？
没有统一阈值。K 只有结合任务、类别复杂度、先验数据、标注成本和 Baseline 才有意义。报告应写出准确 Support 数量与构建方式，而不是只写 Few-shot；对于 LLM Prompt，还要报告示例 Token，因为上下文成本可能比示例条数更关键。
小样本评测可能怎样泄漏测试信息？
近重复样本、同一用户或对象、共享采集批次、预训练数据重合、标签描述泄漏，或反复在最终 Test Episode 上调参，都会夸大结果。应按部署所需的实体、来源、类别或时间边界切分，去重 Support 与 Query，并保留一套从未用于决策的最终测试集。
什么时候选择 Prototype、Prompting 或 Fine-tuning？
当 Embedding 稳定且任务以类别为中心时，可优先测试 Prototype；当强 LLM 已理解领域、任务临时且可用自然语言表达时，可测试 Prompting；当行为需要持久化、请求上下文成本高或已有足够受治理数据时，可测试 Fine-tuning。最终应按质量与运维成本比较所有可行 Baseline。