RockyLinux9.5下使用ollama搭建本地AI大模型DeepSeek

RockyLinux9.5下使用ollama搭建本地AI大模型DeepSeek

一、安装ollama Linux版本

https://ollama.com/download/linux

可以使用一键安装脚本进行安装ollama

curl -fsSL https://ollama.com/install.sh | sh

我这边由于网络原因，使用一键安装脚本速度太慢

采用半手动的方式安装

https://github.com/ollama/ollama/blob/main/docs/linux.md

参考上面的Manual install的部分 

先使用下载 https://ollama.com/download/ollama-linux-amd64.tgz  然后修改https://ollama.com/install.sh 脚本中一小段，进行半自动安装ollama

curl -o ollama_install.sh https://ollama.com/install.sh

vim ollama_install.sh将如下三行改为#curl --fail --show-error --location --progress-bar #    "https://ollama.com/download/ollama-linux-${ARCH}.tgz${VER_PARAM}" | $SUDO tar -xzf ollama-linux-amd64.tgz -C "$OLLAMA_INSTALL_DIR"

意思是不从网络上下载，只接本地解压

然后执行安装脚本

这时Ollama API监听在127.0.0.1上

The Ollama API is now available at 127.0.0.1:11434

vim 修改/etc/systemd/system/ollama.service 在如下位置添加如下行

Environment="OLLAMA_HOST=0.0.0.0:11434"

systemctl daemon-reloadsystemctl restart ollamafirewall-cmd --permanent --zone=public --add-port=11434/tcpfirewall-cmd --reloadollama --version

验证olloma是否安装成功 

二、使用ollma拉取deepseek模型

https://ollama.com/library/deepseek-r1

这里我选取7b版本 约4.7Gb

ollama run deepseek-r1:7b

三、docker部署open-webui图形化界面接入deepseek

yum install -y yum-utilsyum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repoyum install docker-ce docker-ce-cli containerd.io

cat >> /etc/docker/daemon.json << EOF{"log-driver": "json-file","log-opts": {"max-file": "3","max-size": "500m"},"data-root":"/data/docker", "bip": "10.112.0.1/24"}EOFsystemctl enable docker.servicesystemctl restart docker.service

运行open-webui

docker run -d -p 80:8080 -e OLLAMA_BASE_URL=http://192.168.31.98:11434 -v /data/open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:maindocker logs -f open-webui

等待出现INFO:     Uvicorn running on http://0.0.0.0:8080 (Press CTRL+C to quit)的日志时 即可浏览器打开open-webui

需要等待一段时间后，出现如下界面 

设置好账号密码后 即可正常用open-webui调用用本地的deepseek AI大模型 

接下来进行对话

可以看到思考时CPU已经打满了，由于是测试，未使用GPU显卡 

最终的效果如下