Ollama本地大模型部署完全指南：一行命令运行70+开源模型
资源概览
名称：Ollama
版本：v0.5.7
授权：Apache-2.0（开源免费）
适用平台：Windows 10/11、macOS 12+、Linux (Ubuntu/CentOS/Fedora)
体积：约82MB（安装包）
官网：https://ollama.com
Ollama是一款开源的本地大模型运行框架，支持Qwen、Llama、DeepSeek等70+开源模型一键下载和运行。所有推理在本地完成，数据不上传云端。
核心功能
一键安装：安装包仅82MB，自动配置GPU驱动
70+模型库：涵盖文本、代码、多模态等多种模型
API兼容：OpenAI兼容接口，即插即用
LLM服务：内置Web UI和命令行界面
模型管理：支持模型拉取、删除、版本管理
适用场景
个人开发者本地测试AI应用
企业私有化部署AI服务
教育培训机构本地AI实验室
数据敏感场景的离线推理
下载与安装
官方下载
官方下载：https://ollama.com/download
Windows安装
# 方法1：下载安装包运行 # 下载地址：https://ollama.com/download/OllamaSetup.exe # 方法2：使用winget winget install Ollama.Ollama # 验证安装 ollama --version
macOS安装
# Homebrew安装 brew install ollama # 或直接下载安装包 curl -L https://ollama.com/download/Ollama.dmg -o Ollama.dmg hdiutil attach Ollama.dmg cp -R /Volumes/Ollama/Ollama.app /Applications/
Linux安装
# Ubuntu/Debian curl -fsSL https://ollama.com/install.sh | sh # CentOS/RHEL yum install -y ollama systemctl enable ollama systemctl start ollama
快速上手
运行第一个模型
# 拉取并运行Qwen2.5-7B ollama run qwen2.5:7b # 输出示例： # >>> Hello, how can I help you? # 我是一个AI助手，很高兴为你服务...
常用命令
# 列出已安装模型 ollama list # 拉取新模型 ollama pull qwen2.5:14b # 删除模型 ollama rm qwen2.5:7b # 启动Web UI ollama serve # 访问 http://localhost:11434
Python API调用
from openai import OpenAI
client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
response = client.chat.completions.create(
model="qwen2.5:7b",
messages=[{"role": "user", "content": "解释量子计算"}]
)
print(response.choices[0].message.content)同类资源对比
| 工具 | 授权 | 模型数量 | GPU支持 | 特点 |
|---|---|---|---|---|
| Ollama | Apache-2.0 | 70+ | NVIDIA/Apple Silicon | 最简单上手 |
| LM Studio | GPL-3.0 | 100+ | NVIDIA/AMD/Intel | GUI友好 |
| text-generation-webui | GPL-3.0 | 50+ | NVIDIA/AMD | 功能丰富 |
| vLLM | Apache-2.0 | 30+ | NVIDIA | 高吞吐服务 |
注意事项
硬件要求：
CPU推理：建议16GB以上内存
GPU推理：NVIDIA RTX 20系列或更高，显存8GB+
Apple Silicon：M1/M2/M3系列原生支持
网络问题：模型下载可能需要科学上网，可使用镜像站
权限问题：Linux用户可能需要添加到video组：
sudo usermod -aG video $USER模型选择：7B模型适合消费级GPU，14B+需要专业卡