引言
大模型浪潮席卷全球，但调用商业 API 往往意味着数据出境、额度限制和高昂费用。有没有一种方式，能让你在自己的电脑上运行 GPT 级别的模型，完全免费、离线可用、数据自主可控？
答案是 Ollama。
Ollama 是一款开源的本地大模型运行平台，支持一键部署 llama、qwen、kimi-k2.5、gemma、mistral 等数十种主流模型。本文将带你从零掌握 Ollama 的安装配置、模型管理、API 调用，并深入实战——用 Python 调用 Ollama API 构建本地知识库问答系统。
读完这篇文章，你将能够：在自己的电脑上跑起大模型，用 API 构建 AI 应用，真正把大模型变成你的私人工具。
一、Ollama 是什么
Ollama 的核心目标是降低大模型的使用门槛。它将模型的下载、加载、推理全部封装成简单的命令行指令，让你无需了解 CUDA、GPU 配置、模型格式等底层细节，在几秒钟内启动一个可用的本地大模型。
主要特性：
- 模型库丰富：内置支持 llama、qwen、kimi-k2.5、deepseek、gemma、mistral、phi 等数十个系列
- 跨平台：支持 macOS、Linux、Windows
- API 优先：提供 REST API，方便集成到任何应用
- 上下文窗口管理：自动管理长文本的上下文，避免内存溢出
- Modelfile：支持自定义模型参数、prompt 模板、系统角色
二、安装与快速上手
2.1 安装
macOS / Linux：
curl -fsSL https://ollama.com/install.sh | sh
Windows：
直接前往 [ollama.com/download](https://ollama.com/download) 下载安装包，双击运行即可。
2.2 验证安装
ollama --version
2.3 拉取第一个模型
ollama pull llama3.2
首次运行会自动下载模型文件（视网络而定，约 1-2 GB）。国内用户建议配置镜像加速：
export OLLAMA_HOST=https://registry.nju.edu.cn
ollama pull llama3.2
2.4 对话测试
ollama run llama3.2
进入交互式对话界面，输入问题即可。例如：
>>> 用 Python 写一个快速排序
模型将输出完整的快速排序实现代码。
三、模型管理：高级操作
3.1 查看本地模型
ollama list
输出示例：
NAME ID SIZE MODIFIED
llama3.2 a72a8f2e2c4e 2.0GB 3 days ago
qwen2.5:latest 845654de3e23 1.4GB 2 days ago
deepseek-r1:7b 0c1de96a1d89 4.1GB 1 day ago
3.2 自定义模型参数
Ollama 支持通过 Modelfile 自定义模型行为。例如，创建一个擅长代码审查的专用模型：
创建 Modelfile
cat > Modelfile << 'ENDOFFILE'
FROM llama3.2
PARAMETER temperature 0.3
PARAMETER top_p 0.9
SYSTEM """
You are a senior code reviewer. For each review, provide: issue location, severity level, and improvement suggestions.
"""
ENDOFFILE
构建模型
ollama create code-reviewer -f Modelfile
3.3 量化：让小机器也能跑大模型
模型量化通过降低权重精度来减少内存占用。Ollama 自动选择最优量化级别，但你也可以手动指定：
ollama pull llama3.2:latest --quantization q4_K_M
常用量化级别（按内存占用从低到高）：q2_K、q3_K_M、q4_0、q4_K_M、q5_K_M、q8_0。
例如，在 8GB 内存的机器上，7B 模型推荐使用 q4_K_M 量化，兼顾速度和效果。
四、Python 实战：构建本地知识库问答系统
4.1 安装 SDK
pip install ollama langchain langchain-community chromadb
4.2 实现代码
import ollama
from langchain_community.document_loaders import TextLoader
from langchain_community.embeddings import OllamaEmbeddings
from langchain_community.vectorstores import Chroma
from langchain.text_splitter import RecursiveCharacterTextSplitter
1. 文档加载与分块
loader = TextLoader("your_document.txt")
documents = loader.load()
text_splitter = RecursiveCharacterTextSplitter(
chunk_size=500,
chunk_overlap=50
)
docs = text_splitter.split_documents(documents)
2. 向量化并存入向量数据库
embeddings = OllamaEmbeddings(model="mxbai-embed-large")
vectorstore = Chroma.from_documents(
docs, embeddings, persist_directory="./chroma_db"
)
3. 检索增强生成（RAG）
def ask_question(question: str) -> str:
# 相似性检索
docs = vectorstore.similarity_search(question, k=3)
context = "\n\n".join([d.page_content for d in docs])
# 组装 prompt
prompt = f"""Based on the following reference materials, answer the question.
If the information is not available, please state so honestly.
Reference materials:
{context}
Question: {question}
"""
# 调用 Ollama
response = ollama.chat(
model="qwen2.5:latest",
messages=[{"role": "user", "content": prompt}]
)
return response["message"]["content"]
4. 提问
answer = ask_question("What are the key points of this document?")
print(answer)
4.3 代码说明
上述代码实现了一个完整的本地 RAG（检索增强生成）问答流程：
- 文档加载：支持 TXT、PDF、Markdown 等格式
- 文本分块：将长文档切分为 500 字的小块，保留 50 字的 overlap 保证上下文连续性
- 向量嵌入：使用
mxbai-embed-large模型将文本转为高维向量，这是语义搜索的基础 - 相似性检索：在向量数据库中找出与问题最相关的 3 个文档块
- 生成回答：将检索结果作为上下文注入 prompt，让模型基于真实文档回答
整个过程完全本地运行，数据不会离开你的电脑，隐私安全无忧。
五、性能优化与常见问题
5.1 GPU 加速配置
Ollama 自动检测 NVIDIA GPU。若未自动启用，可手动设置：
export CUDA_VISIBLE_DEVICES=0
ollama run llama3.2
5.2 内存不足怎么办
模型加载失败或崩溃，通常是内存不足：
1. 使用更小的模型（如 7B 而非 70B）
2. 选择更激进的量化级别（q2_K 而非 q8_0）
3. 降低上下文长度：/set parameter num_ctx 2048
5.3 如何接入 Internet 搜索
Ollama 本身不提供搜索能力，但可以结合 firecrawl 爬取网页后让模型总结：
import firecrawl
scraper = firecrawl.Firecrawl(api_key="your-api-key")
result = scraper.scrape_url("https://news.ycombinator.com/")
summary = ollama.chat(
model="qwen2.5:latest",
messages=[{"role": "user", "content": f"Summarize the following: {result.content}"}]
)
print(summary['message']['content'])
总结与展望
Ollama 正在重新定义大模型的使用方式——不再依赖云端 API，不再担心数据安全，不再受制于额度限制。通过本文，你已经掌握了 Ollama 的安装部署、模型管理、自定义配置，并通过 Python 实战构建了一个完整的本地知识库问答系统。
大模型平民化的时代已经到来。一台普通电脑，加上 Ollama，就能拥有你的私人 AI 助手。
思考题：
1. 你的实际使用场景中，最适合用哪个模型？如何在效果和速度之间找到平衡？
2. 除了 RAG 问答，Ollama 还能如何与现有系统结合，自动化你的工作流？
欢迎在评论区分享你的 Ollama 使用心得！
评论区