什么是 无监督学习?

无监督学习是在没有任务目标标签的输入数据上优化结构发现目标,并输出表示、聚类、成分、密度或异常分数,其含义仍需独立验证的机器学习范式。

快速了解

全称Unsupervised Learning
创建时间1960 年代,源于模式识别和统计分析研究
规范文档官方规范

工作原理

根据问题选择目标函数

聚类按声明的特征空间和相似度划分样本。DBSCAN 通过密度连通定义分组,层次聚类记录嵌套合并或拆分,谱聚类则划分相似图。

降维回答不同问题。t-SNE 与 UMAP 优化邻域表示,Isomap 与 LLE 则施加不同流形假设。仅因缺少标签就运行某种算法,并不能证明其几何结构对应真实业务类别。

区分无监督学习与自监督学习

两者都可以从没有人工任务标签的数据开始,但自监督学习会从数据中构造预测目标,例如被遮盖 Token 或成对视图,再使用类似监督学习的损失训练。无监督学习是历史上更宽泛的潜在结构发现范式。现代管线常组合两者:先自监督预训练表示,再对表示做聚类或密度建模。

同时验证稳定性、用途与失败切片

轮廓系数、Davies-Bouldin 指数与Calinski-Harabasz 指数等内部指标只衡量所选表示下的几何结构,不能证明簇真实或有用。

应比较算法、随机种子、数据样本、特征、相似度和簇数。若后来取得标签,应把标签留在拟合过程之外,只把调整兰德指数或标准化互信息作为外部划分证据。

主要特点

  • 使用没有外部任务标签的输入数据
  • 仍需明确目标函数、表示、相似度或密度假设
  • 可输出聚类、成分、嵌入、密度或异常分数
  • 可能支持新样本归纳,也可能只对已拟合数据做传导分析
  • 没有参考标签时不存在统一准确率
  • 需要稳定性、领域、下游效果和治理验证

常见用途

  1. 在制定策略前探索客户行为分群
  2. 对文档分组以审查语料并发现分类体系
  3. 在可视化或下游建模前压缩高维特征
  4. 估计正常运行区域以辅助异常分诊
  5. 从用户与物品交互矩阵中学习潜在因子

示例

loading...
Loading code...

常见问题

无监督学习真的既没有标签也没有损失吗?

它没有为每条样本提供外部任务目标,但仍会优化明确目标。K-means 最小化簇内距离,PCA 保留方差,自编码器最小化重建误差。目标函数编码了假设,本身不能证明结果在语义上正确。

无监督学习和自监督学习有什么区别?

自监督学习从输入自身构造预测目标,并优化类似监督学习的任务,例如预测被遮盖 Token。无监督学习是更宽泛的潜在结构发现范式,两者在历史文献中存在重叠。判断方法时应查看实际目标,而不是只依赖名称。

没有真值标签时如何评估无监督学习?

组合内部几何指标、不同种子和重采样下的稳定性、领域专家审查、下游任务表现和运行结果。每类证据回答不同问题。轮廓系数高只说明某个表示和距离定义下分隔较好,不代表簇一定真实。

为什么同一数据集可以产生不同但都合理的聚类?

聚类结果取决于特征、缩放、距离、算法、初始化和粒度。同一客户数据可以按价值、行为、地域或风险分组,每种划分服务不同任务。簇编号没有天然语义,只有声明用途并经过验证后才有业务含义。

无监督预处理也会泄漏测试信息吗?

会。即使转换不读取目标标签,在切分前拟合也可能吸收测试分布。缩放器、PCA、聚类、词表等学习型转换应只在训练数据或每个交叉验证训练折中拟合,再将冻结结果应用到验证集和测试集。

相关术语

相关文章