如何使用Ollama在本地运行Qwen3并支持MCP和工具使用

admin 2025年5月5日23:07:07评论10 views字数 2264阅读7分32秒阅读模式
如何使用Ollama在本地运行Qwen3并支持MCP和工具使用

Qwen3是阿里巴巴Qwen团队最新发布的开源大语言模型,提供具有竞争力的性能,高度模块化和工具使用能力。

在本指南中,我将向您展示如何通过Ollama在本地运行Qwen3,并启用MCP(模型上下文协议)工具功能,如代码解释器网络获取时间查询

到最后,您可以构建由Qwen3驱动的智能助手,完全在您的机器上运行——无需云API密钥!

为什么选择Qwen3 + Ollama + MCP?

为了实现这些高级功能,阿里巴巴引入了模型上下文协议(MCP)

MCP允许模型通过调度命令行服务与外部工具交互,使大语言模型能够以结构化和安全的方式访问时间、从网站获取数据或调用其他本地工具。

在Qwen-Agent生态系统中,像mcp-server-timemcp-server-fetch这样的MCP工具作为终端点,可以在需要时被模型本身触发。

这些工具通过一个字典配置,告诉代理为每个功能运行哪些命令。

  • Qwen3:为开源部署优化的先进大语言模型。

  • Ollama:通过一个命令简化本地LLM部署(如Qwen3)。

  • MCP:允许外部工具通过结构化消息进行通信(如网页浏览或时间查询)。

  • 工具使用:扩展Qwen3的能力超越静态文本——让它执行代码、调用API等!

在本地设置Ollama和Qwen3

步骤1:安装Ollama并运行Qwen3

在您的本地终端(Linux/macOS)上运行这些命令:

# 安装Ollamacurl -fsSL https://ollama.com/install.sh | sh# 启动Ollama服务器ollama serve

然后拉取Qwen3模型,Ollama 默认会拉取 Qwen3 系列中的基础版本:

ollama pull qwen3

这将获取Qwen3权重并准备通过Ollama API端点http://localhost:11434/v1进行本地使用。

如何使用Ollama在本地运行Qwen3并支持MCP和工具使用

步骤2:安装Qwen-Agent

接下来,克隆官方Qwen-Agent仓库并安装它,包括GUI、检索增强生成(RAG)、代码解释和MCP支持所需的额外功能。运行以下命令:

# 克隆仓库git clone https://github.com/QwenLM/Qwen-Agent.git# 安装所有额外功能pip install -e ./Qwen-Agent"[gui, rag, code_interpreter, mcp]"

-e标志确保包以可编辑模式安装,如果需要,可以更轻松地试验其内部功能。安装后,您可以编写Python脚本将助手连接到Ollama并启用工具使用。

步骤3:准备您的Python脚本

以下是运行具有MCP + Ollama的工具使用助手的完整代码:

from qwen_agent.agents import Assistant# 步骤1:配置本地Qwen3模型(通过Ollama提供服务)llm_cfg = {    'model': 'qwen3',    'model_server': 'http://localhost:11434/v1',  # Ollama API    'api_key': 'EMPTY',}# 步骤2:定义您的工具(MCP + 代码解释器)tools = [    {'mcpServers': {        'time': {            'command': 'uvx',            'args': ['mcp-server-time', '--local-timezone=Asia/Shanghai']        },        'fetch': {            'command': 'uvx',            'args': ['mcp-server-fetch']        }    }},    'code_interpreter',]# 步骤3:初始化Qwen-Agent助手bot = Assistant(llm=llm_cfg, function_list=tools)# 步骤4:发送带有URL的用户消息messages = [{'role': 'user', 'content': 'https://qwenlm.github.io/blog/ 介绍Qwen的最新发展'}]# 步骤5:运行助手并打印结果for responses in bot.run(messages=messages):    passprint(responses)

这个脚本使用Ollama后端初始化Qwen3模型,并注册两个MCP工具(timefetch)以及内置的code_interpreter。根据需要评估工具或代码后,助手处理用户消息并返回响应。

结语

将Qwen3与Qwen-Agent、MCP和Ollama结合使用,可以得到一个不依赖任何外部云服务的本地AI助手。

您可以运行多轮对话,启用实时信息检索,并执行Python代码——全部在本地基础设施内完成。

这使其成为开发人员、研究人员和产品团队的理想设置,特别是那些关注隐私、灵活性和可扩展性的人。

随着Qwen3的不断发展,我们可以期待其对复杂任务的更强大支持和与自定义工具的无缝集成,为真正自主的本地AI代理铺平道路。

本文同步自知识星球《AI Disruption》

我是Substack和Medium顶级编辑。还是独立开发。

星球里面分享AI趋势和国外数字营销。

星球非免费。定价99元/年,0.27元/天。

  • 一是运行有成本,我希望它能自我闭环,这样才能长期稳定运转;

  • 二是对人的挑选,鱼龙混杂不是我想要的,希望找到关注和热爱 AI 的人。

欢迎你的加入!

如何使用Ollama在本地运行Qwen3并支持MCP和工具使用

原文始发于微信公众号(爱唠叨的Nil):如何使用Ollama在本地运行Qwen3并支持MCP和工具使用

免责声明:文章中涉及的程序(方法)可能带有攻击性,仅供安全研究与教学之用,读者将其信息做其他用途,由读者承担全部法律及连带责任,本站不承担任何法律及连带责任;如有问题可邮件联系(建议使用企业邮箱或有效邮箱,避免邮件被拦截,联系方式见首页),望知悉。
  • 左青龙
  • 微信扫一扫
  • weinxin
  • 右白虎
  • 微信扫一扫
  • weinxin
admin
  • 本文由 发表于 2025年5月5日23:07:07
  • 转载请保留本文链接(CN-SEC中文网:感谢原作者辛苦付出):
                   如何使用Ollama在本地运行Qwen3并支持MCP和工具使用https://cn-sec.com/archives/4028838.html
                  免责声明:文章中涉及的程序(方法)可能带有攻击性,仅供安全研究与教学之用,读者将其信息做其他用途,由读者承担全部法律及连带责任,本站不承担任何法律及连带责任;如有问题可邮件联系(建议使用企业邮箱或有效邮箱,避免邮件被拦截,联系方式见首页),望知悉.

发表评论

匿名网友 填写信息