全民都能用上ChatGPT—【本地部署Llama3.1 AI模型】

提问：

至少要有8GB的RAM来运行7B型号，16GB的RAM来运行13B的型号，32GB的RAM 来运行33B 型号。

--->安装ollama

官网地址：https://ollama.com/

官网提供了mac，linux，windows三种系统的安装包。

我们是windows系统，下载安装完成后它就自动运行了。

浏览器访问：http://127.0.0.1:11434/ 

可看到ollama已经运行

--->更改模型文件路径

模型默认安装路径如下

C:Users%username%.ollamamodels

更改用户变量

变量名：OLLAMA_MODELS变量值：D:ollamamodels（示例路径，请根据实际情况调整）

--->互联网部署

Ollama服务监听的网络地址默认为127.0.0.1，如果让其他用户可访问，需要设置OLLAMA_HOST为0.0.0.0

windows的方法是编辑环境变量，创建一个新变量OLLAMA_HOST，值为0.0.0.0，然后重启Ollama。

OLLAMA_PORT：默认端口是11434

OLLAMA_ORIGINS：星号表示允许域。（google.com,linkedin.com）

--->常用参数配置

其他配置可通过帮助参数进行查看：

ollama serve -h

--->拉取llama3.1大模型

从官网给的命令直接执行拉取

https://ollama.com/library/llama3.1

ollama run llama3.1

拉取完成，现在就可以直接使用了

当然，这样不是特别美观，当问一些编码问题时，可能就需要web-ui了。

页面效果

--->下载并安装 Node.js 工具：https://nodejs.org/zh-cn

--->安装npm，完成git clone进入目录再执行

npm install

--->git clone https://github.com/ollama-webui/ollama-webui-lite.git

--->cd ollama-webui-lite

--->安装依赖项

npm ci

--->在开发模式下运行应用程序

这里就提一下，有兴趣的可以去弄。

--->LLama模型+Lora微调