什么是 Ollama?

更新于

Ollama 是一个开源模型运行与分发工具,通过 CLI 和本地 HTTP 服务管理受支持的模型制品,同时提供托管云推理与有文档边界的兼容 API。

快速了解

全称Ollama Local LLM Framework
创建时间2023年发布,随着 Llama 2/3 的开源而迅速爆火
规范文档官方规范

工作原理

本地与云端 API

本地原生 API 通常位于 http://localhost:11434/api,OpenAI 兼容接口位于 /v1;直接云推理使用 https://ollama.com/api 或 https://ollama.com/v1,并要求 API Key。本地服务在回环地址上不要求鉴权,登录后则可经本地服务调用云模型。

兼容层只覆盖官方文档列出的子集,并可能与原生 API 独立演进。应用应固定 Ollama 版本,记录实际 API Surface,验证所需字段、流式、工具、结构化输出和错误语义,不能假定所有上游 SDK 功能都可直接使用。

模型与 Modelfile 身份

模型名或可变 Tag 便于试用,却不是完整发布身份。应用应记录准确 Artifact Digest、来源与许可证、Ollama 版本、架构、量化、Tokenizer 与 Template 行为、上下文配置、Adapter 和 Modelfile 内容。

Modelfile 是包含 FROM、PARAMETER、TEMPLATE、SYSTEM、LICENSE、MESSAGE、REQUIRES 与能力声明等指令的蓝图。它打包运行配置,但不会重新训练基础权重,也不能证明模板、Adapter 或许可证一定正确。

容量、上下文与服务

模型能否装入设备并达到可接受性能,取决于制品大小、量化、上下文长度、KV Cache、Batch 与并发、硬件后端、内存带宽和 Ollama 版本。参数量或下载大小无法单独预测延迟、吞吐和回答质量。

应在目标 Prompt 分布上测量冷加载、热请求延迟、首 Token 时间、输出速率、峰值内存、并发、取消和质量。Ollama 适合本地与小型服务场景,但能否承担生产负载必须由实测证明,不能由产品名称直接推断。

安全与数据边界

除非外层可信组件提供鉴权、TLS、资源授权、速率与请求大小限制和审计策略,否则不应把无需鉴权的本地 API 暴露到非回环网络。模型与 Adapter 文件也属于供应链制品,加载前应核验来源、Digest、许可证和更新策略。

本地推理可以让模型请求留在主机,但不保证完整应用离线或私密。模型下载、云模型、集成、遥测、远程检索、回退、日志和备份都是独立数据路径,需要分别评审。

主要特点

  • 通过 CLI 与服务完成受支持模型制品的拉取、检查、创建、运行和删除
  • 提供 Ollama 原生 API 及带明确支持边界的 OpenAI、Anthropic 兼容接口
  • 同时存在本地与云端执行路径,必须分别记录端点、凭据和数据位置
  • 使用 Modelfile 描述基础制品、模板、消息、参数、最低版本与能力
  • 容量受硬件影响,上下文、并发、量化和运行时版本共同决定资源需求
  • 本地回环 API 默认不鉴权,远程暴露前必须建立外部安全边界

常见用途

  1. 在开发或可离线评测中运行已固定的开源权重模型
  2. 确认所需 API 子集后,为后端应用提供本地 HTTP 模型端点
  3. 通过经过审查的 Modelfile 与 Artifact Digest 构建可复现模型变体
  4. 在相同模型、负载、硬件和质量门槛下比较 Ollama 与高吞吐服务引擎
  5. 在本地 RAG 原型中使用模型,同时独立加固检索、存储、授权与日志

示例

loading...
Loading code...

常见问题

Ollama 只是本地模型运行时吗?

不是。当前 Ollama 同时提供本地服务与直接云推理,本地和云端对应的原生、OpenAI 兼容及 Anthropic 兼容 Base URL 不同。登录后,经本地服务发出的请求也可能调用云模型,因此必须显式记录端点和模型位置。

Ollama 的 OpenAI 兼容接口支持全部 OpenAI API 功能吗?

不支持。Ollama 只承诺文档列出的子集,本地与直接云端行为也可能不同。应针对固定 Ollama 版本验证应用依赖的端点、流式、工具、结构化输出、状态、错误与取消语义,不能假定可无差异替换。

如何固定 Ollama 模型以便复现实验?

不能只记录可见 Tag,还要保存 Artifact Digest、来源与许可证、Ollama 版本、量化、Tokenizer 与 Template 行为、上下文参数、Adapter 和 Modelfile。可变 Tag、运行时、模板或硬件后端变化后,都应重新评测。

可以把 Ollama 本地 API 直接暴露到网络吗?

本地 API 在回环地址上不要求鉴权。确需远程访问时,应置于可信网关或私有网络后,并配置 TLS、身份验证、资源授权、速率和请求大小限制、日志策略及主机防火墙,不能把局域网成员身份当作授权。

本地运行 Ollama 是否自动保证隐私与离线?

不能。已下载的本地模型可以在主机内完成推理,但完整应用仍可能使用模型下载、云模型、远程检索、集成、遥测、日志、备份或回退。需要逐条核验数据路径并实际测试离线行为;本地推理只是其中一项控制。

相关工具

相关术语

相关文章