阿里云 GPU 实例 ECS 基于 Ollama + Open WebUI 部署 DeepSeek R1 模型

admin
admin
admin
137989
文章
113
评论
2025年3月4日15:40:21评论21 views字数 2218阅读7分23秒阅读模式

 这里小智使用的是阿里云的 GPU 计算型 T4 加速型 ECS，具体配置如下：

  • 实例规格：ecs.gn6i-c8g1.2xlarge

  • CPU & 内存：8核 31G

  • GPU：NVIDIA T4

  • GPU 显存：16G

  • 操作系统：Ubuntu 24.03

这样的配置能够满足高性能计算和深度学习任务的需求，尤其是针对需要 GPU 加速的场景。

阿里云 GPU 实例 ECS 基于 Ollama + Open WebUI 部署 DeepSeek R1 模型

        Ubuntu 安装 ollama：

  1. curl -fsSL https://ollama.ai/install.sh | sh

        以下是安装完成时控制台的输出信息：

  1. >>> NVIDIA GPU ready.>>> The Ollama API is now available at 127.0.0.1:11434.>>> Install complete. Run "ollama"from the command line.

         curl 命令访问 11434 端口:

  1. curl127.0.0.1:11434

    得到该结果，说明ollam已正常运行:

  1. Ollama is running

   拉取模型:

  1. ollama pull deepseek-r1:7b

    经过多次尝试，发现直接拉取4.7G的模型存在困难，因此改为通过Docker拉取包含 deepseek-r1:7b 模型的 allam 镜像

  1. https://hub.docker.com/r/mazurkatarzyna/ollama-deepseek-r1-7b
  1. docker pull mazurkatarzyna/ollama-deepseek-r1-7b:latest

   使用 Docker Compose 进行部署的配置文件如下：

  1. services:  ollama:    container_name: ollama    pull_policy: if_not_present    image: mazurkatarzyna/ollama-deepseek-r1-7b:latest     deploy:      resources:        reservations:          devices:            - driver: nvidia              count: 1              capabilities:                - gpu    environment:      OLLAMA_ORIGINS: "*"      OLLAMA_HOST: "0.0.0.0"open-webui:    image: ghcr.io/open-webui/open-webui:ollama    container_name: open-webui    volumes:      - open-webui:/app/backend/data    depends_on:      - ollama    ports:      - 8080:8080    environment:      - 'ENABLE_OPENAI_API=False'      - 'OLLAMA_BASE_URL=http://ollama:11434'      - 'WEBUI_SECRET_KEY='    extra_hosts:      - host.docker.internal:host-gatewayvolumes:    open-webui: {}

            docker compose 部署时报错：

  1. Error response fromdaemon: could not select device driver "nvidia"withcapabilities: [[gpu]]

    需要通过以下命令来安装 NVIDIA Container Toolkit：

  1. curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpgcurl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.listsudo apt-get updatesudo apt-get install -y nvidia-container-toolkitsudo nvidia-ctk runtime configure --runtime=dockersudo systemctl restart docker

   安装完成后，通过 Docker Compose 成功部署，Ollama 和 Open WebUI 容器均已正常启动。

阿里云 GPU 实例 ECS 基于 Ollama + Open WebUI 部署 DeepSeek R1 模型

   通过服务器的 IP 地址访问 8080 端口，即可进入 Open WebUI 的界面。注册并登录账号后，系统会默认选中"deepseek-r1:7b"模型，可以立即开始对话。

阿里云 GPU 实例 ECS 基于 Ollama + Open WebUI 部署 DeepSeek R1 模型

   部署成功！  

原文始发于微信公众号（智检安全）：阿里云 GPU 实例 ECS 基于 Ollama + Open WebUI 部署 DeepSeek R1 模型

免责声明:文章中涉及的程序(方法)可能带有攻击性，仅供安全研究与教学之用，读者将其信息做其他用途，由读者承担全部法律及连带责任，本站不承担任何法律及连带责任；如有问题可邮件联系(建议使用企业邮箱或有效邮箱,避免邮件被拦截，联系方式见首页)，望知悉。
  • 左青龙
  • 微信扫一扫
  • weinxin
  • 右白虎
  • 微信扫一扫
  • weinxin
admin
  • 本文由 发表于 2025年3月4日15:40:21
  • 转载请保留本文链接(CN-SEC中文网:感谢原作者辛苦付出)：
                   阿里云 GPU 实例 ECS 基于 Ollama + Open WebUI 部署 DeepSeek R1 模型https://cn-sec.com/archives/3794406.html
                  免责声明:文章中涉及的程序(方法)可能带有攻击性，仅供安全研究与教学之用，读者将其信息做其他用途，由读者承担全部法律及连带责任，本站不承担任何法律及连带责任；如有问题可邮件联系(建议使用企业邮箱或有效邮箱,避免邮件被拦截，联系方式见首页)，望知悉.

发表评论

匿名网友 填写信息