什么是 小样本学习？
小样本学习是一种机器学习范式，模型仅从少量示例（通常 1-10 个）中学习执行任务，利用先验知识从最少的训练数据中进行泛化。
快速了解
| 创建时间 | 概念源自 2000 年代，LLM 上下文从 2020 年开始 |
|---|---|
| 规范文档 | 官方规范 |
工作原理
小样本学习解决了传统机器学习的一个关键限制：对大型标注数据集的需求。在大语言模型的背景下，小样本学习指的是在提示中提供少量示例来引导模型的行为。这项技术由 GPT-3 推广，允许用户通过简单地展示期望的输入输出对示例来教授模型新任务，而无需微调。它是提示工程和上下文学习的基石。
主要特点
- 从上下文中提供的 1-10 个示例（shots）中学习
- 不需要更新模型权重
- 利用预训练知识进行泛化
- 示例直接在提示中提供
- 性能随示例质量和相关性提高
- 介于零样本和完整微调方法之间
常见用途
- 教授模型新的输出格式
- 使用有限标注数据进行分类
- 无需微调即可定制模型行为
- AI 应用的快速原型开发
- 领域特定任务适应
示例
loading...
Loading code...常见问题
小样本学习需要提供多少个示例才能有效？
通常，2-5 个示例对大多数任务效果良好，但最佳数量取决于任务复杂度和模型能力。更多示例通常会提高性能，但会消耗更多上下文窗口的 token。建议从 3 个示例开始并根据结果调整——有时 1-2 个高质量示例甚至比许多普通示例效果更好。
小样本学习和微调有什么区别？
小样本学习在提示中提供示例，不修改模型权重，快速灵活但受上下文长度限制。微调实际上使用训练数据更新模型参数，创建永久定制的模型。小样本学习适合快速实验，而微调更适合需要一致行为的生产系统。
为什么示例的顺序和质量在小样本学习中很重要？
模型对示例顺序和质量很敏感，因为它们从提供的上下文中学习模式。高质量、多样化且清晰展示期望行为的示例会带来更好的结果。将最具代表性的示例放在开头或结尾（近因效应）也会影响性能，因此建议尝试不同的顺序。
小样本学习适用于所有任务吗？
小样本学习最适合可以通过示例清晰展示模式的任务，如分类、格式化、翻译和简单推理。对于复杂的多步推理、需要模型不具备的领域知识的任务，或示例可能限制输出多样性的高度创造性任务，它可能表现不佳。
小样本学习和提示工程有什么关系？
小样本学习是提示工程中的一项关键技术。提示工程涵盖所有制作有效提示的方法（包括指令、上下文和格式），而小样本学习专门关注通过示例进行教学。有效的提示通常将小样本示例与清晰的指令和结构化输出格式相结合。