什么是 自然语言处理？
自然语言处理（NLP）是研究如何用计算方法分析、表示、检索、转换或生成人类语言的领域，既包括规则、统计和神经网络方法，也包括它们组成的混合系统，而不是某一种模型架构。
快速了解
| 创建时间 | 1950 年代（起源于计算语言学） |
|---|---|
| 规范文档 | 官方规范 |
工作原理
先定义任务与输出契约
文档分类返回一个或多个标签，序列标注为每个 Token 返回标签，实体抽取返回带类型的 Span，检索返回排序结果，生成任务返回文本序列或结构化对象，这些输出不能互换。选择模型前应明确标签含义、未知与拒答状态、重叠规则、Span 边界、规范化方式和输出将影响的下游决策。
文本表示方式会改变可观察行为
规范化、断句、分词、Unicode 处理、截断和 Chat Template 会改变模型实际接收的内容，以及结果如何映射回原文。英文按空格切词的规则不能直接套到中文、日文、语码混用、Emoji 或组合字符。应随模型版本化预处理，并声明 Offset 采用 UTF-8 字节、Unicode 码点、UTF-16 单元、Token 还是字素簇。
评测必须跟随任务、语言与决策
分类可使用宏平均 F1 与校准，抽取需要精确或允许重叠的 Span 指标，检索需要召回与排序指标，生成任务通常组合确定性检查、参考答案指标、模型评分器和人工复核。当随机按行切分会让同一用户、文档来源、会话或未来信息跨集合泄漏时，应改用分组或时间切分，并报告语言、方言、领域、长度和稀有标签切片。
生产 NLP 包含完整生命周期控制
离线分数无法覆盖畸形输入、Prompt Injection、隐私、标签过期、Schema 变化或延迟结果。系统应保留来源与模型版本，最小化敏感文本，在生成前完成检索鉴权，校验结构化结果，监控漂移与拒答，并准备确定性兜底。LLM 可以扩展统一入口，但在边界明确的任务中，小模型或规则通常更快、更便宜且更易审计。
主要特点
- 覆盖分析、抽取、检索、转换与生成等任务
- 可以采用规则、统计、神经网络或混合方法
- 要求显式定义语言、领域、输入、标签与输出契约
- 结果依赖分词、规范化和 Offset 约定
- 按具体任务选择指标，不存在统一 NLP 分数
- 必须处理歧义、多语言差异、隐私和分布漂移
常见用途
- 从合同或客服记录中抽取带类型的实体与关系
- 按照明确且可复核的标签体系分类消息
- 在保留来源与访问元数据的前提下检索和排序段落
- 结合术语一致性与事实检查执行翻译或摘要
- 在应用校验下生成对话文本或结构化结果
示例
Loading code...常见问题
NLP、NLU 和 NLG 有什么区别？
NLP 是处理人类语言的计算方法总称；NLU 通常指意图、实体、关系或语义表示等分析任务，NLG 则从数据或上下文生成语言。这个边界不是统一协议，一个系统可以同时组合理解、生成、检索、规则与人工复核。
大语言模型等同于 NLP 吗？
不等同。LLM 是 NLP 使用的一类模型，NLP 还包括词典、Parser、统计分类器、序列标注器、检索系统、翻译系统和确定性规则。对于边界明确的抽取或分类任务，小模型或规则基线可能更容易验证和运维。
为什么 NLP 任务必须定义标签和 Offset 契约？
「中性」「组织」或「相关」等标签只有在书面标注规则下才有确定含义。Span 输出还要声明 Offset 单位，因为 UTF-8 字节、Unicode 码点、UTF-16 单元、Token 与字素簇可能不同。缺少这些契约时，训练数据、API、评测代码和界面可能指向不同文本范围或结果。
应该如何评测 NLP 系统？
指标必须匹配输出与决策：分类看宏平均 F1 与校准，抽取看精确 Span F1，检索看召回和排序指标，生成任务组合确定性检查、参考答案指标、模型评分器与人工复核。模型选择集和最终测试集要分离，防止用户或文档泄漏，并按语言、领域、长度、稀有标签与风险切片。
NLP 上线后常见的故障是什么？
常见故障包括语言分布变化、新术语、标签政策漂移、预处理不一致、上下文截断、畸形输入、隐私泄漏，以及把未校准分数直接用于决策。系统应监控输入与结果切片、保留版本、支持拒答、校验输出，并准备回滚和人工复核路径。