Open WebUI(通常指与Ollama搭配的本地LLM交互界面)是一个基于浏览器的工具,允许你轻松管理和使用本地运行的大型语言模型(如Llama 3、Mistral等)。以下是详细使用步骤:
1. 安装前提条件
2. 安装 Open WebUI
1 | # 使用Docker一键部署(默认端口3000) |
- 访问界面:浏览器打开
http://localhost:3000
。
3. 初始配置
- 注册账户:首次访问需创建账号(后续可关闭公开注册)。
- 连接Ollama:
- 进入设置(Settings → Ollama)。
- 确认API端点填写正确(默认
http://host.docker.internal:11434
)。
4. 基本使用
- 选择模型:
顶部菜单选择已通过Ollama下载的模型(如未显示,先在Ollama中运行ollama pull 模型名
)。 - 对话交互:
在输入框中提问,模型会实时生成回复。 - 功能扩展:
- 文件上传分析(PDF/TXT等)。
- 多模型切换对比。
- 调整生成参数(温度、最大长度等)。
5. 高级管理
- 自定义配置:
修改Docker命令以持久化数据或调整端口:1
docker run -d -p 3000:8080 -v /本地路径:/app/backend/data ...
- 更新版本:
1
2docker pull ghcr.io/open-webui/open-webui:main
docker restart open-webui
常见问题解决
- 无法连接Ollama:
检查Ollama是否运行(ollama serve
),并确保Docker网络配置正确。 - 模型未加载:
通过Ollama命令行先下载模型(如ollama pull llama2
)。 - 性能问题:
确保硬件(CPU/GPU/RAM)满足模型要求,较小模型(如7B参数版)更适合低配置设备。
通过以上步骤,你可以轻松在本地部署一个功能丰富的LLM交互界面,享受私有化、低延迟的AI对话体验。