泄露数据！AI总龙头英伟达人工智能软件可操纵个人信息！

根据一项新的研究，NVIDIA人工智能软件中的一个特性可以被操纵为忽略安全约束和泄露私人信息。

英伟达创建了一个名为“NeMo Framework”的系统，允许开发者使用一系列大型语言模型——这是为聊天机器人等生成型人工智能产品提供动力的底层技术。

这家芯片制造商的框架是为企业所采用的，比如使用公司的专有数据和语言模型来回答问题，这一功能可以复制客户服务代表的工作，或者为寻求简单的医疗保健建议的人提供建议。

总部位于旧金山的鲁棒智能公司的研究人员发现，他们可以很容易地突破为确保人工智能系统可以安全使用而设立的所谓“护栏”。

在将Nvidia系统用于自己的数据集之后，Robust Intelligence的分析师只花了几个小时就获得了克服限制的语言模型。

在一个测试场景中，研究人员指示英伟达的系统将字母“I”换成“J”。这一举动促使该技术从数据库中释放个人身份信息，或北极星产业。

研究人员发现，他们可以通过其他方式跳过安全控制，比如让模型以不应该的方式偏离轨道。

通过复制英伟达自己的一个关于就业报告的狭窄讨论的例子，他们可以让模型进入好莱坞电影明星的健康和普法战争等话题——尽管设计了护栏来阻止人工智能超越特定的主题。

研究人员轻而易举地击败了保护措施，突显出人工智能公司在试图将硅谷多年来涌现的最有前途的技术之一商业化时所面临的挑战。

哈佛大学(Harvard University)计算机科学教授、鲁棒智能公司首席执行官雅伦·辛格(Yaron Singer)表示：“我们看到，这是一个很难解决的问题，需要有深厚的知识专长。”“这些发现代表了一个关于存在的陷阱的警示性的故事。”

根据测试结果，研究人员建议他们的客户避免使用英伟达的软件产品。本周早些时候，英国《金融时报》请英伟达就上述研究发表评论，这家芯片制造商告知鲁棒智能（Robust Intelligence），它已经解决了分析师们提出的问题背后的一个根本原因。

Nvidia的股价自5月以来大幅飙升，当时它预测截至7月的三个月销售额为110亿美元，比华尔街此前的预测高出50%以上。

这一增长是建立在对其芯片的巨大需求之上的，这些芯片被认为是构建生成型人工智能（能够创建类人内容的系统）的市场领先处理器。

英伟达应用研究副总裁乔纳森·科恩（Jonathan Cohen）表示，该框架只是一个“构建符合开发者定义的主题、安全和保密准则的人工智能聊天机器人的起点”。

“它是作为开源软件发布的，供社区探索其功能，提供反馈，并贡献新的最先进的技术，”他说，并补充说，鲁棒智能的工作“确定了部署生产应用程序所需的额外步骤。”

他拒绝透露有多少企业正在使用该产品，但表示该公司没有收到其他关于该产品不当行为的报告。

谷歌（Google）和微软（Microsoft）支持的OpenAI等领先的人工智能公司发布了由自己的语言模型驱动的聊天机器人，并设置了防护栏，以确保其人工智能产品避免使用种族主义言论或采用霸气的人物形象。

其他公司也紧随其后，推出了定制的实验性人工智能，这些人工智能可以教导年轻的学生，提供简单的医疗建议，在不同语言之间进行翻译，以及编写代码。几乎所有人都遭遇过安全问题。

英伟达和人工智能行业的其他公司需要“真正建立公众对这项技术的信任”，该公司在欧洲、中东和非洲的政府事务负责人Bea Longworth在本周由行业游说团体TechUK举办的一次会议上表示。

Longworth补充说，他们必须给公众这样一种感觉：“这是一件有着巨大潜力的事情，而不仅仅是一个威胁，或者是一件需要害怕的事情。”

来源：Ars Technica

END

往期推荐

01

ChatGPT因捏造虚假和误导信息被正式起诉！

02

网络明星AI克隆人上线，隐私和安全如何保障？

03

国家网信办发布蓝牙、Wi-Fi等近距离信息传输安全新规范！

原文始发于微信公众号（数据安全域）：泄露数据！“AI总龙头”英伟达人工智能软件可操纵个人信息！