Ollama 本地大模型运行环境:开源免费的一键部署方案

资源概览

Ollama 是一个用于在本地运行大语言模型的开源框架,采用 MIT 许可证,商业使用无需授权费用。

项目说明
开源协议MIT License
适用平台macOS / Linux / Windows / Docker
最新版本0.5.7
安装包体积约 82MB(Windows)
官方仓库https://github.com/ollama/ollama

核心功能亮点

  1. 一条命令启动模型ollama run qwen2.5 自动下载并进入对话,无需手动管理权重文件。

  2. 模型库丰富:官方 Model Library 收录 Llama、Qwen、DeepSeek、Gemma、Phi 等上百个开源模型。

  3. OpenAI 兼容 API:本地启动后监听 11434 端口,兼容 OpenAI 接口规范,现有代码改一行 base_url 即可迁移。

  4. 量化默认优化:自动选择适合本地显存的量化版本,8GB 显存可流畅运行 7B 模型。

  5. Modelfile 自定义:支持用类 Dockerfile 语法定制系统提示词、温度参数与模型合并。

适用场景

  • 开发者本地调试 LLM 应用,避免 API 调用费用

  • 企业内部搭建不联网的私有模型服务

  • 学习大模型原理与推理流程

下载与安装

官方下载:https://github.com/ollama/ollama/releases

Windows 安装完成后执行:

ollama --versionollama run qwen2.5:7b

快速上手

启动服务并调用兼容接口:

curl http://localhost:11434/v1/chat/completions \  -H "Content-Type: application/json" \  -d '{"model":"qwen2.5:7b","messages":[{"role":"user","content":"你好"}]}'

同类资源对比

工具协议平台特点
OllamaMIT全平台命令行优先,API 兼容 OpenAI
LM Studio专有(免费)全平台图形界面友好
LocalAIMITDocker多后端,支持音频图像
GPT4AllMIT全平台自带桌面客户端

注意事项

  • 运行 7B 模型建议 8GB 以上显存或 16GB 内存

  • MIT 协议允许商用,但模型本身的授权需单独确认

  • Windows 版需 Windows 10 1809 及以上版本