点击上方蓝字 关注【渗透测试】不迷路
前言
声明:文章中涉及的工具(方法)可能带有攻击性,仅供安全研究与教学使用;
读者若做其他违法犯罪用途,由用户承担全部法律及连带责任;
文章作者不承担任何法律及连带责任。
测试环境:
Windows 10 16G运行内存
Ollama #0.5.7 AI模型运行环境必装之一
DeepSeek R1 #deepseek-r1:7b
Anything LLM #V1.7.3-r2 几乎支持所有包含文字的文档格式:txt、word、csv、xls、Markdow、pdf等等
自备科学上网
Ollama是什么?
Ollama是一款开源的本地大语言模型(LLM)运行框架,支持Linux/macOS/Windows多平台。它通过简单的命令行工具,让用户无需复杂配置就能在本地运行Llama、DeepSeek、Phi等前沿AI模型。通过智能化的依赖检测、自动GPU加速支持,以及轻量级架构设计,Ollama将大模型部署门槛降到新低。
安装ollama
官网:https://ollama.com/download
我这里是Windows系统,所以选择Windows版。
坐等下载完成......
Windows:下载完成后,运行下载的安装文件(通常为OllamaSetup.exe),按照屏幕上的指示完成安装过程。
安装完成后,您可以在应用程序菜单或搜索栏中找到Ollama,启动它。
验证安装
启动Ollama后,您可以在命令行中输入以下命令来验证Ollama是否成功。
ollama --version
浏览器访问http://127.0.0.1:11434为ollama的api端口。
通过以上步骤,您应该能够成功安装并运行Ollama。如果在安装过程中遇到任何问题,建议查看Ollama的官方文档或寻求社区支持。
部署DeepSeek-R1模型
下载地址: https://ollama.com/library/deepseek-r1
根据您的需求选择相应的模型版本,数字越大,代表数据量越多。
ollama run deepseek-r1:7b
模型部署完成后查看当前系统中有哪些模型:
ollama list #可以看到我们刚刚下载的deepseek-r1:7b模型
启动交互式对话
ollama run deepseek-r1:7b
## 当界面显示>>>标签表示会话启动成功,输入“你好,你是谁?”,看DeepSeek-R1是怎么回答的。
至此 代表DeepSeek-R1已经完全部署好了可成功运行。
安装AnythingLLM
AnythingLLM 是由 Mintplex Labs Inc. 开发的一款全栈应用程序, 全方位AI应用程序。与文档聊天,使用AI代理,高度可配置,多用户,无需繁琐的设置。 适用于桌面(Mac、Windows和Linux),可以将任何文档、资源(如网址链接、音频、视频)或内容片段转换为上下文,以便任何[大语言模型]((LLM)在聊天期间作为参考使用,同时支持多用户管理并设置不同权限,一个完全可定制的、私有的、多合一的 AI 应用程序,用于您的企业或组织,它基本上是一个具有许可的完整 ChatGPT,但具有任何 LLM、嵌入模型或向量数据库。
官网Windows版下载:
https://docs.anythingllm.com/installation-desktop/windows#install-using-the-installation-file
坐等下载完成......
Windows:下载完成后,运行下载的安装文件(通常为AnythingLLMDesktop.exe),按照屏幕上的指示完成安装过程。
配置 AnythingLLM
LLM 首选项配置
点击上传标志,选择“Click to upload or drag and drop”开始添加文档。
知识库上传本地的文档(PDF、TXT、Markdown、DOCX文档)或第三方Web链接、GitHub、GitLab等平台的数据链接。
验证效果
在线数据源添加
文中涉及的工具及方法仅用于技术交流,请勿用于非法用途。
技术交流
扫描下方二维码,并在验证信息中说明来意,文章仅供交流学习,本公众号不承担任何有关责任!
星球介绍
自研工具、二开工具、免杀工具、漏洞复现、教程等资源、漏洞挖掘分析、网络安全相关资料分享。
原文始发于微信公众号(渗透测试):手把手教你构建企业级本地AI漏洞文库:基于Ollama + DeepSeek R1+ Anything LLM 完整指南
- 左青龙
- 微信扫一扫
-
- 右白虎
- 微信扫一扫
-
评论