什么是 Ollama?
更新于
Ollama 是一个开源模型运行与分发工具,通过 CLI 和本地 HTTP 服务管理受支持的模型制品,同时提供托管云推理与有文档边界的兼容 API。
快速了解
| 全称 | Ollama Local LLM Framework |
|---|---|
| 创建时间 | 2023年发布,随着 Llama 2/3 的开源而迅速爆火 |
| 规范文档 | 官方规范 |
工作原理
本地与云端 API
本地原生 API 通常位于 http://localhost:11434/api,OpenAI 兼容接口位于 /v1;直接云推理使用 https://ollama.com/api 或 https://ollama.com/v1,并要求 API Key。本地服务在回环地址上不要求鉴权,登录后则可经本地服务调用云模型。
兼容层只覆盖官方文档列出的子集,并可能与原生 API 独立演进。应用应固定 Ollama 版本,记录实际 API Surface,验证所需字段、流式、工具、结构化输出和错误语义,不能假定所有上游 SDK 功能都可直接使用。
模型与 Modelfile 身份
模型名或可变 Tag 便于试用,却不是完整发布身份。应用应记录准确 Artifact Digest、来源与许可证、Ollama 版本、架构、量化、Tokenizer 与 Template 行为、上下文配置、Adapter 和 Modelfile 内容。
Modelfile 是包含 FROM、PARAMETER、TEMPLATE、SYSTEM、LICENSE、MESSAGE、REQUIRES 与能力声明等指令的蓝图。它打包运行配置,但不会重新训练基础权重,也不能证明模板、Adapter 或许可证一定正确。
容量、上下文与服务
模型能否装入设备并达到可接受性能,取决于制品大小、量化、上下文长度、KV Cache、Batch 与并发、硬件后端、内存带宽和 Ollama 版本。参数量或下载大小无法单独预测延迟、吞吐和回答质量。
应在目标 Prompt 分布上测量冷加载、热请求延迟、首 Token 时间、输出速率、峰值内存、并发、取消和质量。Ollama 适合本地与小型服务场景,但能否承担生产负载必须由实测证明,不能由产品名称直接推断。
安全与数据边界
除非外层可信组件提供鉴权、TLS、资源授权、速率与请求大小限制和审计策略,否则不应把无需鉴权的本地 API 暴露到非回环网络。模型与 Adapter 文件也属于供应链制品,加载前应核验来源、Digest、许可证和更新策略。
本地推理可以让模型请求留在主机,但不保证完整应用离线或私密。模型下载、云模型、集成、遥测、远程检索、回退、日志和备份都是独立数据路径,需要分别评审。
主要特点
- 通过 CLI 与服务完成受支持模型制品的拉取、检查、创建、运行和删除
- 提供 Ollama 原生 API 及带明确支持边界的 OpenAI、Anthropic 兼容接口
- 同时存在本地与云端执行路径,必须分别记录端点、凭据和数据位置
- 使用 Modelfile 描述基础制品、模板、消息、参数、最低版本与能力
- 容量受硬件影响,上下文、并发、量化和运行时版本共同决定资源需求
- 本地回环 API 默认不鉴权,远程暴露前必须建立外部安全边界
常见用途
- 在开发或可离线评测中运行已固定的开源权重模型
- 确认所需 API 子集后,为后端应用提供本地 HTTP 模型端点
- 通过经过审查的 Modelfile 与 Artifact Digest 构建可复现模型变体
- 在相同模型、负载、硬件和质量门槛下比较 Ollama 与高吞吐服务引擎
- 在本地 RAG 原型中使用模型,同时独立加固检索、存储、授权与日志
示例
Loading code...常见问题
Ollama 只是本地模型运行时吗?
不是。当前 Ollama 同时提供本地服务与直接云推理,本地和云端对应的原生、OpenAI 兼容及 Anthropic 兼容 Base URL 不同。登录后,经本地服务发出的请求也可能调用云模型,因此必须显式记录端点和模型位置。
Ollama 的 OpenAI 兼容接口支持全部 OpenAI API 功能吗?
不支持。Ollama 只承诺文档列出的子集,本地与直接云端行为也可能不同。应针对固定 Ollama 版本验证应用依赖的端点、流式、工具、结构化输出、状态、错误与取消语义,不能假定可无差异替换。
如何固定 Ollama 模型以便复现实验?
不能只记录可见 Tag,还要保存 Artifact Digest、来源与许可证、Ollama 版本、量化、Tokenizer 与 Template 行为、上下文参数、Adapter 和 Modelfile。可变 Tag、运行时、模板或硬件后端变化后,都应重新评测。
可以把 Ollama 本地 API 直接暴露到网络吗?
本地 API 在回环地址上不要求鉴权。确需远程访问时,应置于可信网关或私有网络后,并配置 TLS、身份验证、资源授权、速率和请求大小限制、日志策略及主机防火墙,不能把局域网成员身份当作授权。
本地运行 Ollama 是否自动保证隐私与离线?
不能。已下载的本地模型可以在主机内完成推理,但完整应用仍可能使用模型下载、云模型、远程检索、集成、遥测、日志、备份或回退。需要逐条核验数据路径并实际测试离线行为;本地推理只是其中一项控制。