【工具】个人电脑上可以安装使用的AI工具：Chat With RTX

2024年1月13日，英伟达公司发布了一个可以免费下载，并且在个人电脑上使用的AI工具：Chat With RTX

该工具的发布，让每个PC用户都有机会基于个人电脑使用AI而不是必须联网才能使用AI。这对于广大情报分析师来说绝对是一个极大的利好。

世界各地每天有数百万人使用聊天机器人，都是基于云服务器提供的支持。现在，这些英伟达提供的突破性的工具Chat With RTX将支持在Windows PC 实现本地、快速、自定义的生成 AI。
Chat with RTX是一个技术演示，现已支持免费下载，可让用户使用自己的内容个性化聊天机器人，前提是您的电脑安装的是NVIDIA GeForce RTX 30 系列 GPU或更高版本（具有至少 8GB 视频随机存取存储器或 VRAM）加速。

Chat with RTX下载地址：

https://www.nvidia.com/en-us/ai-on-rtx/chat-with-rtx-generative-ai/

Chat with RTX 使用检索增强生成(RAG)、NVIDIA TensorRT-LLM软件和 NVIDIA RTX 加速，为本地 GeForce 支持的 Windows PC 带来生成式 AI 功能。用户可以快速、轻松地将 PC 上的本地文件作为数据集连接到 Mistral 或 Llama 2 等开源大型语言模型，从而能够快速查询上下文相关的答案。

用户只需键入查询即可，而无需搜索笔记或保存的内容。Chat with RTX 将扫描用户指向的本地文件并提供带有上下文的答案。

该工具支持各种文件格式，包括.txt、.pdf、.doc/.docx 和.xml。将应用程序指向包含这些文件的文件夹，该工具将在几秒钟内将它们加载到其库中。

用户还可以包含来自 YouTube 视频和播放列表的信息。将视频 URL 添加到 Chat with RTX 允许用户将这些知识集成到他们的聊天机器人中以进行上下文查询。例如，根据最喜欢的视频的内容询问旅行建议，或根据顶级教育资源获取快速教程和操作方法。

由于Chat with RTX在Windows RTX pc和工作站上本地运行，因此提供的结果很快-并且用户的数据保留在设备上。与依赖基于云的LLM服务不同，Chat with RTX让用户在本地PC上处理敏感数据，而无需与第三方共享或连接互联网。
注意1：除了具有至少8GB VRAM的GeForce RTX 30系列GPU或更高版本外，Chat with RTX需要Windows 10或11以及最新的NVIDIA GPU驱动程序535.11 或更高版本。内存至少16G。
注意2： Chat with RTX 中存在一个问题，当用户选择不同的安装目录时，该问题会导致安装失败。目前，用户应使用默认安装目录（“C:Users<用户名>AppDataLocalNVIDIAChatWithRTX”）。
注意3： Chat with RTX显示了使用RTX gpu加速llm的潜力。该应用程序是由TensorRT-LLM RAG开发人员参考项目构建的，可在GitHub上获得。开发人员可以使用参考项目开发和部署他们自己的基于rag的RTX应用程序，由TensorRT-LLM加速。

GitHub链接地址：

https://github.com/NVIDIA/trt-llm-rag-windows

原文始发于微信公众号（丁爸 情报分析师的工具箱）：【工具】个人电脑上可以安装使用的AI工具：Chat With RTX