# CPU only image:
docker run -ti --name local-ai -p 8080:8080 localai/localai:latest-cpu
# Nvidia GPU:
docker run -ti --name local-ai -p 8080:8080 --gpus all localai/localai:latest-gpu-nvidia-cuda-12
# CPU and GPU image (bigger size):
docker run -ti --name local-ai -p 8080:8080 localai/localai:latest
# AIO images
docker run -ti --name local-ai -p 8080:8080 localai/localai:latest-aio-cpu
curl -X "POST" "http://localhost:8080/v1/chat/completions" -H "Content-Type: application/json" -d "{ "model": "Qwen2.5-14B-Instruct-Q4_K_S.gguf", "messages": [{ "role": "user", "content": "北京景点?" }], "temperature": 1 }"完好地作出了回答。 (3-3)同理，但当我用localai载入bge-reranker-v2-m3后，始终在ragflow的模型供应商中无法用localai加载到这个模型。 二、Ragflow (1)安装Ragflow git clone https://github.com/infiniflow/ragflow (2)docker版有两种方式： # Use CPU for embedding and DeepDoc tasks: docker compose -f docker-compose.yml up -d
# To use GPU to accelerate embedding and DeepDoc tasks:
docker compose -f docker-compose-gpu.yml up -d
（3）这里我犯了一个错，让我折腾了很久
在.env配置中，有个默认的安装的slim版本，
没有引起我的重视， 一直都是用的默认款来安装；所以，在后面的配置中始终无法找到reranker，这才有了上面localai中安装reranker的动作。
正确的应该是：
安装完整版，这时就会出现bge-reranker-v2-m3这个大模型了。
就这么点差别，让我在上面折腾了三周时间。这也是水平低的表现。
三、Ragflow+Ollama
用localai确实麻烦，主要是没解决好Ragflow这个docker和LocalAI这个docker两者之间的通讯问题，所以，在ragflow中有了reranker后，又换回到ollama中。
1、在ragflow中配置好ollama模型
2、添加知识库时选择reranker模型，
总结：由于知识点的不了解，导致正确选择ragflow的docker方式，继而使在reranker模型问题上又拉入了localai作为嫁接补充，可local-ai命令又不知道在哪里找到，最终陷入了“本来是治疗A，但发现治疗A之前要先治疗B”的循环中，浪费了时间和精力，好在最终回归了正途，这番历程不可谓不曲折，但收获很大，也算是另一种补偿吧。 原文始发于微信公众号（MicroPest）：补录：找寻Ragflow的reranker的心酸历程
- 左青龙
- 微信扫一扫
-
- 右白虎
- 微信扫一扫
-
评论