主题
OpenClaw 接入 Ollama 私有化部署
如果你拥有较强的硬件配置资源,且对个人设备的隐私安全极度敏感(你不希望通过外网的 ChatGPT 接口分析你的本地文件和系统日志),这就是本篇指南存在的意义。
通过结合本地模型管家 Ollama,你不需要额外花费任何 API Token 的费用,不仅速度更快,一切思考和行动也将完全隔离,彻底断网运行。
核心前提:Ollama 的部署与使用
Ollama 就是一套开源的「将大型语言模型塞进你的显卡或 CPU 运行」的傻瓜化工具链。
第 1 步:下载 Ollama 客户端
请前往 Ollama 官网,下载为你目前主系统匹配安装包:
Windows, Linux 或者 macOS(M 系列芯片对于 Ollama 有专属优化)。
第 2 步:下载并唤醒本地大模型
打开你的系统终端工具,运行并下载主流的 8B 参数模型(兼顾智能度与速度)。 比如 Llama-3 (大约需要占据内存 4.7G):
bash
ollama run llama3.1如果你电脑的显存较低,可以选择 ollama run qwen2:1.5b 等更小量级的开源模型;显存足够大可以考虑 14B 甚至 70B 的更大推理模型。
等待模型下载完毕并且出现 >>> 终端回复即可。至此,你的电脑就已经长出了一个 0 延迟的大模型接口:http://localhost:11434。
将 OpenClaw 指向本地 Ollama 接口
在你进行 OpenClaw 的安装与启动 时,需要利用环境变量把它的 API_BASE_URL 强行覆盖为你刚搭建的本地地址。
以直接运行 .env 变量配置为例:
bash
# 将 LLM 服务商设置为本地 Ollama
LLM_PROVIDER="ollama"
# 填入你刚才运行的具体模型名字,如 llama3.1 或 qwen2
LLM_MODEL="llama3.1"
# 明确指明 Ollama 的本地服务端口
LLM_API_BASE="http://127.0.0.1:11434/v1"如果使用 Docker 来映射,则需要注意网络互访(localhost 不能直接在 Docker 容器里找到母机的端口),所以建议将 LLM_API_BASE 指向具体的局域网 IP http://192.168.1.xxx:11434/v1。
测试与优势
重启加载环境后,通过 Telegram 或终端控制 尝试提问并观察你的设备 CPU/GPU 占用:
- 响应速度:告别了与 OpenAI 服务器交互的网络延迟,基本上发出指令数秒内即收到反馈。
- 数据不出门:你可以肆无忌惮地命令它整理包含密码的表格,总结私密笔记。它的分析完全隔离于你的主机内。
相关阅读推荐:
