ollama+docker+open-webui 搭建本地大模型

AI头条 2个月前 aitimes
925 0

可以ollama+docker+open-webui 搭建本地大模型

ollama+docker+open-webui 搭建本地大模型
第一步:下载ollama.com 安装运行,进入CMD
https://ollama.com/library 找下载命令,搜索要下载的大模型
千问:输入:ollama run qwen:7b 进行下载安装 ,这个命令是调用安装大模型
llama3 输入:ollama run llama3:7b
ollama run llama3:8b
http://127.0.0.1:11434/
第二步:下载安装DOCKER docker.com
docker engine stopped
windows11系统下,有一天Docker突然无法启动,打开Docker Desktop显示Docker Engine stopped…,在powershell输入docker命令,提示error during connect: *************************************** In the default daemon configuration on Windows, the docker client must be run elevated to connect。
就我个人的情况,打开 控制面板》程序》启用或关闭Windows功能, 选中Hyper-V后点击确定,再确定重启电脑进行配置,之后问题解决。
第三步:docker 安装open webui
进入cmd 输入:docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
安装成功后查看:docker ps
open-webui 安装成功后,在浏览器输入127.0.0.1:3000 ,随便注册一个就可以登录使用