Ollama

Ollama 是目前最受欢迎的本地大模型运行工具，它的价值在于极致的简洁性。在 Ollama 出现之前，在本地运行一个开源大模型需要配置 Python 环境、安装 PyTorch、下载模型权重、编写推理代码。Ollama 把这些步骤简化为一条命令：ollama run llama3.2。它基于 llama.cpp 后端，利用 CPU 和 GPU 混合推理，在消费级硬件上就能运行 7B-70B 参数的开源模型。项目内置了模型仓库、API 服务器和自动资源管理，是目前本地部署开源大模型的事实标准。推荐指数：★★★★★（5/5）。本地大模型运行的第一选择。