微软发布用于生成人工智能的红队工具

微软周四宣布发布 PyRIT，这是一款开放访问的红队工具，旨在帮助安全专业人员和机器学习工程师识别生成人工智能中的风险。

微软表示， PyRIT通过自动化任务和标记需要进一步调查的区域来提高审计效率，从本质上增强了手动红队。

这家科技巨头指出，红队生成式人工智能不同于探索经典人工智能系统或传统系统，主要是因为它需要识别安全风险和负责任的人工智能风险，生成式人工智能更具概率性，并且由于生成式人工智能系统存在很大的差异架构。

生成式人工智能可能会产生不可靠或不准确的内容，其输出甚至会受到很小的输入变化的影响，而红队这些系统也需要考虑这些风险。

此外，微软指出，生成式人工智能系统可能从独立应用程序到集成有所不同，而且它们的输出也可能有很大差异。

PyRIT（用于生成式 AI 的 Python 风险识别工具包）于 2022 年启动，作为红队生成式 AI 的一组脚本，已经证明了其在红队包括Copilot在内的各种系统中的效率。

“PyRIT 并不能替代生成人工智能系统的手动红队。相反，它增强了人工智能红队成员现有的领域专业知识，并为他们自动执行繁琐的任务。PyRIT 揭示了可能存在风险的热点，安全专业人员可以深入探索这些热点，”微软解释道。

该工具为用户提供了对人工智能红队行动的策略和执行的控制，可以根据所提供的设置生成额外的有害提示，并根据从生成人工智能系统收到的响应来改变策略。

PyRIT 支持各种生成式 AI 目标制定，可以提供动态提示模板 或静态恶意提示集，提供两种对目标系统输出进行评分的选项，支持两种风格的攻击策略，并且可以节省中间输入和输出交互以供后续分析。

“PyRIT 的创建是为了回应我们的信念，即整个行业共享 AI 红队资源可以提高所有人的能力。我们鼓励整个行业的同行花时间使用该工具包，看看如何采用它来红队您自己的生成人工智能应用程序，”微软指出。

原文始发于微信公众号（河南等级保护测评）：微软发布用于生成人工智能的红队工具