8位资深安全专家眼中的ChatGPT安全风险与趋势

admin 2023年3月29日18:37:42评论27 views字数 2994阅读9分58秒阅读模式

3月14日,OpenAI公司再次发布了ChatGPT的升级版GPT-4,引起了行业巨大的关注。GPT-4不仅在此前纯文本输入基础上,增加了图像输入,而且在AI能力上也有了巨大提升,例如GPT-4通过模拟美国律师资格考试,分数在应试者的前10%以内;而GPT-3.5的得分仅在90%左右。就行业普遍关注的安全性问题,GPT-4也进行了相关的能力迭代,对类似“如何制造炸弹”这样的问题,GPT-4给出了“拒绝提供建议”的回答。据OpenAI公司介绍:与GPT-3.5相比,GPT-4对不合规提问请求的响应倾向降低了82%。


但研究人员在实际测试中发现,GPT-4仍然存在回答错误或违反法规的情况,并且会犯简单的推理错误,对明显的虚假性陈述过于轻信。而在通过GPT-4生成的程序代码中,安全人员仍然能够找到安全漏洞的存在。各种迹象表明,ChatGPT对网络安全领域的潜在影响尚难以定论,仍然需要进一步的观察和判断。


日前,国外专业媒体机构VentureBeat采访了8位资深的网络安全专家,听取他们对ChatGPT和类似AI工具应用安全性的预测。专家们普遍认为:尽管生成式AI技术会降低网络犯罪的进入门槛,升级企业现有的风险态势,但是并不会给企业带来新的安全威胁。通过配置具备AI知识素养的专职安全人员,企业可以有效应对ChatGPT应用中的安全挑战。


Acronis全球研究副总裁  Candid Wuest:

“虽然ChatGPT是功能强大的AI生成式工具模型,但这项技术不是独立的工具,也无法独立运行。它依赖用户输入,并受制于用来训练它的数据。比如说,该模型生成的钓鱼文本仍需要从邮件账户发送,并指向某个具体的目标网站。这些都是可以加以分析并帮助检测威胁的信息。


虽然ChatGPT也能够编写漏洞利用的代码和载荷,但目前的测试表明,其功能并不像最初设想的那么可怕,这些代码都是已经在互联网和暗网论坛上唾手可得。目前的威胁检测方法可以很容易检测到ChatGPT编写的恶意软件,只不过ChatGPT使它们更容易被没有经验的攻击者获取到。ChatGPT不是专门针对漏洞利用而设计的,它会降低网络犯罪分子的准入门槛,但不会为犯罪团伙带来全新的攻击方法。”


McAfee高级副总裁兼首席技术官Steve Grobman:

“与任何新兴技术一样,ChatGPT的广泛应用也是机遇和挑战并存的,它可以被各种人员使用,企业组织和安全社区必须对其被利用的方式保持警惕和关注。ChatGPT具有的强大AI能力无疑会降低网络犯罪的准入门槛,使很多没有经验的攻击者也能够快速掌握复杂的攻击技术,甚至批量生成用于攻击的代码,并有效避开现有的安全防护措施。因为这些代码本身并无恶意,但却被攻击者用于投放危险内容,这也使得安全防护工作会变得更有挑战性。”

麦肯锡咨询业务合伙人 Justin Greis:

“与任何可能带来危害的新技术创新一样,企业组织在将ChatGPT应用于实际工作之前,必须落实好相关的安全护栏和保护措施,以保护这些工具不被恶意的滥用。在技术创新和恶意滥用之间始终需要有一条很微妙的道德界线。


目前,已经有许多例子表明,ChatGPT可以帮助恶意攻击者制作更具欺骗性的网络钓鱼邮件和恶意代码脚本,发动更具威胁的攻击,甚至可以帮助攻击者更准确地查询到用户的弱点和漏洞。企业组织需要研究部署合适的控制措施,来应对每一种可能的滥用场景。这其实就是网络安全的本质特点:攻防双方一直在动态变化的对抗博弈中发展与演进。”

SANS研究所高级研究员 David Hoelzer:

“ChatGPT已经风靡全球,但其对网络安全界的影响,我们的认知还处于起步阶段。ChatGPT标志着人类对AI技术的采用开始进入新时代,它提升了公众对AI安全性的关注。这对安全专业人员意味着什么?一方面,我们看到ChatGPT可用于发起更大规模的社会工程攻击,让缺乏经验的威胁分子能够迅速轻松地生成迷惑性骗局;另一方面,在开展相关的安全建设时,不能忽视ChatGPT。许多安全专业人员已经测试过ChatGPT,例如执行基本的安全检查任务、编写渗透测试方案、建立安全响应流程等,到目前为止,测试的结果喜忧参半。对于企业而言,应用ChatGPT等AI工具最大的安全挑战不在于这些工具本身,而是组织中是否有能够充分了解如何构建、使用和管理AI技术的专业安全人员。”

RSA首席信息安全官  Rob Hughes :

“与很多安全专家的担心不同,我并不认为企业应用ChatGPT会带来新的安全威胁。但是我认为,它给网络安全行业带来的最大影响是,将扩大、加快和助长现有的威胁后果,特别是对传统的网络钓鱼攻击,ChatGPT可以为攻击者提供更有迷惑性的钓鱼邮件,这是我们现在不常看到的。虽然攻击者现在还只是以离线方式利用ChatGPT,但他们早晚会结合互联网接入、自动化和AI来策划更高级钓鱼攻击或社会工程攻击,这只需要编写一段脚本就可以实现。如果攻击者通过自然语言机器人,使用分布式鱼叉网络钓鱼工具同时攻击数百个用户,安全团队将更难对付。”

Gartner分析师  Avivah Litan:

“在很多情况下,如果没有安全人员对ChatGPT的输出结果进行安全审核和验证,它造成的安全风险或许会比它给企业的帮助更要命。比如说,ChatGPT在自动化编写程序代码时,难免会存在一些安全漏洞,但却容易给企业造成一种虚假的安全感。同样,它还可能会疏忽要检测的网络钓鱼攻击,甚至会提供一些不正确或已经过时的威胁情报。


我们认为,在2023年将会看到更多由于ChatGPT应用不当导致的企业数据泄露或安全漏洞风险,为ChatGPT配置专职的安全管理人员是非常必要的。”

ESG高级副总裁、高级分析师 Doug Cahill:

“我认为,ChatGPT具有的强大能力,必将会成为攻、防双方的利器,可能的使用场景也非常多,包括攻击侦察、知识获取、最佳实践分享以及威胁情报等方面。虽然ChatGPT会被恶意攻击者不断利用,但不能因此否认这种技术创新的价值和正面的应用前景:它可以帮助企业安全团队成员之间更好的共享威胁情报以搜寻威胁,并及时更新防护规则和防御模型。需要反复强调的一点是,ChatGPT是一种辅助人的智能化工具,但它的本质不是要取代人,在各种威胁调查中仍然需要人来结合上下文进行更深入的分析。”

毕马威网络安全服务负责人  Matt Miller

“组织在实际应用ChatGPT时,安全性将是重中之重。以下是帮助组织在2023年安全利用ChatGPT的几个建议:


•为ChatGPT和类似解决方案在企业环境中的安全使用设定预期。企业要制定可接受的使用政策,列出员工可以依赖的流程、用例和数据,并建立检查机制和验证机制;

•建立内部流程,充分考虑使用自动化解决方案的法规要求,尤其是在知识产权和个人隐私管理方面的要求;

•实施技术控制措施,注意测试代码安全性和扫描恶意载荷;确保ChatGPT生成的所有代码都接受标准审查、不能直接复制应用;以及配置互联网过滤,以便在员工违规访问使用时发出警报。”

声明:除发布的文章无法追溯到作者并获得授权外,我们均会注明作者和文章来源。如涉及版权问题请及时联系我们,我们会在第一时间删改,谢谢!文章来源:安全牛

8位资深安全专家眼中的ChatGPT安全风险与趋势


原文始发于微信公众号(e安在线):8位资深安全专家眼中的ChatGPT安全风险与趋势

  • 左青龙
  • 微信扫一扫
  • weinxin
  • 右白虎
  • 微信扫一扫
  • weinxin
admin
  • 本文由 发表于 2023年3月29日18:37:42
  • 转载请保留本文链接(CN-SEC中文网:感谢原作者辛苦付出):
                   8位资深安全专家眼中的ChatGPT安全风险与趋势http://cn-sec.com/archives/1636701.html

发表评论

匿名网友 填写信息