什么是 大语言模型？
大语言模型（LLM，Large Language Model）是一种在海量文本数据上训练的人工智能模型，能够以出色的流畅性和上下文感知能力理解、生成和处理人类语言，为对话式 AI 到代码生成等应用提供支持。
快速了解
| 创建时间 | 2018 年（GPT-1），2020 年显著扩展（GPT-3） |
|---|---|
| 规范文档 | 官方规范 |
工作原理
大语言模型代表了自然语言处理领域的重大突破，基于 2017 年提出的 Transformer 架构构建。这些模型包括 GPT（OpenAI）、Claude（Anthropic）、LLaMA（Meta）、PaLM/Gemini（Google）等，包含数十亿到数万亿个从互联网文本、书籍和代码中学习的参数。LLM 展现出涌现能力，如上下文学习、思维链推理和少样本适应。它们通常通过下一个 token 预测任务进行预训练，并可以使用 RLHF（基于人类反馈的强化学习）等技术进行微调或与人类偏好对齐。控制 LLM 的缩放定律表明，性能随着模型规模、数据量和计算量的增加而可预测地提升。
主要特点
- 大规模参数量，从数十亿到数万亿个权重
- 通过自注意力机制实现深度上下文理解
- 在规模化时出现的涌现能力，包括推理和规划
- 通过提示词实现无需参数更新的上下文学习
- 跨多种语言任务的多任务泛化能力
- 从海量训练语料中压缩知识
常见用途
- 对话式 AI 助手和客服聊天机器人
- 内容生成，包括文章、营销文案和创意写作
- 代码生成、补全和调试，用于软件开发
- 语言翻译和跨语言交流
- 文档摘要和信息提取
示例
Loading code...常见问题
大语言模型与传统 NLP 模型有什么区别？
传统 NLP 模型是针对特定任务的，需要为情感分析或翻译等每个任务进行单独训练。大语言模型是在海量数据集上训练的通用模型，可以通过提示词执行多种任务而无需特定任务的训练。它们展现出较小模型所缺乏的涌现能力，如推理和上下文学习。
训练一个大语言模型需要多少数据和算力？
训练大型 LLM 通常需要数千亿到数万亿个 token 的文本数据，以及数千个 GPU 运行数周或数月。例如，GPT-3 使用大量计算资源在 3000 亿个 token 上进行训练。最大模型的成本可能从数百万到数亿美元不等。
什么是大语言模型的幻觉，如何减少？
幻觉是指大语言模型生成听起来合理但实际上不正确或虚构的信息。可以通过以下技术减少幻觉：使用检索增强生成（RAG）将回答建立在事实数据基础上、在高质量数据集上微调、实施事实核查机制，以及使用较低的温度参数设置以获得更确定性的输出。
大语言模型可以在本地运行而不使用云 API 吗？
可以，许多开源大语言模型如 Llama、Mistral 和 Qwen 可以在本地运行。较小的量化版本（4 位或 8 位）可以在具有 8-16GB 显存的消费级硬件上运行。llama.cpp、Ollama 和 LM Studio 等工具使本地部署变得可行。但最大的模型仍需要企业级硬件。
什么是上下文窗口，为什么它很重要？
上下文窗口是大语言模型在单次交互中可以处理的最大 token 数量，包括输入和输出。它之所以重要，是因为它限制了模型一次可以考虑多少信息。现代大语言模型的上下文窗口范围从 4K 到 200K+ 个 token。更大的窗口可以处理更长的文档，但会增加计算成本。