近期腾讯朱雀实验室发现:这些广受欢迎的AI工具中普遍存在安全漏洞。如果使用不当,攻击者可能窃取用户数据、滥用算力资源,甚至控制用户设备。
文本将介绍这些流行AI工具的安全问题,以及如何使用开源的AI-Infra-Guard一键检测与收敛相关风险。
一、Ollama
Ollama是一个开源应用程序,允许用户在Windows、Linux和macOS设备上本地部署和操作大型语言模型(LLM),受 Docker 的启发,Ollama 简化了打包和部署 AI 模型的过程, 现在已成为最流行的的个人电脑跑大模型的方案,目前网络上大部分本地部署DeepSeek R1的文章也是推荐的此工具。
1)模型删除
例如,通过接口删除模型。
2)模型窃取
通过接口查看ollama模型。
ollama支持自定义镜像源,自建一个镜像服务器,再通过接口就能轻松窃取私有模型文件。
3)算力窃取
通过接口查看ollama模型。之后便能用请求对话,窃取了目标机器的算力。
4)模型投毒
可以通过接口查看正在运行的模型,接着可以用下载有毒的模型,通过删除正常模型,在通过接口迁移有毒模型到正常模型路径,通过有毒模型污染使用者的对话。
5)远程命令执行漏洞 CVE-2024-37032
-
缓解方案
升级到最新版ollama,但是ollama官方目前无任何鉴权方案,运行ollama serve时确认环境变量OLLAMA_HOST为本地地址,避免公网运行。建议本地运行ollama再使用反向代理工具(如Nginx)为服务端增加访问保护
二、OpenWebUI
openwebui是现在最流行的大模型对话webui,包含大模型聊天,上传图片,RAG等多种功能且方便与ollama集成。也是现在deepseek本地化部署常见的搭配。openwebui在历史上也出现了不少漏洞,这里挑选几个典型。
【CVE-2024-6707】一个文件黑掉你的AI
用户通过Open WebUI的HTTP界面点击消息输入框左侧的加号(+)上传文件时,文件会被存储到静态上传目录。上传文件名可伪造,未进行校验,允许攻击者通过构造包含路径遍历字符(如../../)的文件名,将文件上传至任意目录。
攻击者可通过上传恶意模型(如包含Python序列化对象的文件),反序列化后执行任意代码,或通过上传authorized_keys实现远程命令执行。
流程图如下:
-
缓解方案
三、ComfyUI
以上大部分漏洞影响ComfyUI全系列核心代码(包含目前最新版本),部分流行插件,影响包括远程命令执行、任意文件读取/写入,数据窃取等。
-
缓解方案
由于漏洞修复缓慢,ComfyUI最新版本目前仍然存在漏洞,不建议将其暴露公网使用。
四、AI-Infra-Guard: AI风险一键检测与防范
AI-Infra-Guard是什么
AI Infra Guard(AI Infrastructure Guard) 是一个高效、轻量、易用的AI基础设施安全评估工具,专为发现和检测AI系统潜在安全风险而设计。目前已经支持检测30种AI组件、不仅支持常见的AI应用dify、comfyui、openwebui,也支持像ragflow、langchain、llama-factory等开发训练框架的漏洞检测。
1)通过大模型自动积累漏洞规则
为了解决海量AI组件CVE漏洞规则的人工分析成本,我们实现了用大模型自动将历史漏洞收集的方案,传统方式中可能需要人工分析CVE描述 → 写正则匹配规则(耗时3h/漏洞),现在利用混元大模型,自动同步CVE+大模型自动解析 -> 生成漏洞检测逻辑只需要30s。也实现了对AI组件相关漏洞的实时监控:
2)使用友好
· 零依赖,开箱即用,二进制文件仅8MB
· 内存占用<50MB,扫完千节点集群不卡顿
· 跨平台兼容,同时支持Windows/MacOS/Linux
使用
Al-Infra-Guard 已在GitHub开源,目前已收录30+AI应用指纹,200+安全漏洞数据库,且已包含腾讯朱雀实验室独家发现的英伟达Triton,Pytorch,ComfyUI与Ray等知名AI组件漏洞。
./ai-infra-guard -localscan
如果在检测到AI服务在公网开放,也会提示
单个目标
./ai-infra-guard -target [IP:PORT/域名]
多个目标
./ai-infra-guard -target [IP:PORT/域名] -target [IP:PORT/域名]
# 扫描网段寻找AI服务
./ai-infra-guard -target 192.168.1.0/24
# 从文件读取目标扫描
./ai-infra-guard -file target.txt
获取地址
欢迎大家Star、体验并反馈工具的任何问题!
原文始发于微信公众号(重生之成为赛博女保安):想本地化部署DeepSeek?这些漏洞要注意!
- 左青龙
- 微信扫一扫
-
- 右白虎
- 微信扫一扫
-
评论