从自动化到合规,甲方如何看待ChatGPT与Gemini?

admin 2024年4月2日10:25:54评论3 views字数 2703阅读9分0秒阅读模式

从自动化到合规,甲方如何看待ChatGPT与Gemini?

考虑到ChatGPT Plus已经作为一个付费版本存在一段时间,并且Google最近将Google Bard重新命名为GeminiGemini Advanced作为付费产品提供)。近日,Alex Haynes(国外某大型软件公司的一位CSO)比较了OpenAIGoogle的生成式AI产品如何处理信息安全专业人员的十大任务。本文摘译其对比测试的主要内容及相关结论。

友情提醒:使用生成的人工智能可能会产生不可靠的结果,因此请谨慎输入数据。

01
生成图表或概念流

Alex Haynes测试了这两种工具是否能够绘制图表和概念流。然而,Gemini承认只能够绘制ASCII图形,如果想要获得更好的效果,他们建议使用他们提供的更专业的工具。Alex Haynes让这两个工具生成了一个图表来说明OAuth身份验证的过程。

结果是:尽管Gemini使用ASCII表示,但其仍成功地完成了这项任务,并将其分类为可使用的类别。

ChatGPT会产生严重的幻觉。乍一看,尽管图片显得非常专业,但实际上它并不能代表OAuth。输出内容中使用了不确切的词汇、错误的拼写或难以理解的语言:这里Authiration和Athoricazt指的是谁?

从自动化到合规,甲方如何看待ChatGPT与Gemini?

02
解释架构图

这两个工具都能够从图表中提取信息,并解释其中所发生的事情。它们生成的结果远超我们的期望。为了测试它们,Alex Haynes用了Edgenexus的一个示例:Web应用程序防火墙(WAF)架构作为输入。

结论是:Google Gemini更擅长解释架构图,因为它的输出很简洁。ChatGPT在解释架构图时稍显冗长,但总体上能够出色地完成这项任务。

03
解释漏洞代码

尝试寻找特定的恶意软件或漏洞利用是一项常见安全操作,为此,他使用了一个名为Elasticsearch堆栈溢出的公共漏洞,并将其输入到两种工具中,看它们能理解多少内容。结果显示,这两种工具都能够准确地识别出漏洞,并给出详细的解释,包括代码的每一部分是如何工作的,以及它所起的具体作用。

04
解释日志文件

对于SecOps专业人员来说,理解日志文件的内容是常见的任务。因此,Alex Haynes为这两种工具提供了相同的CEF格式的日志文件,并让它们进行解析。结果显示:Gemini的表现更为优秀,它能够准确地总结事件,并提出下一步的行动建议。同时,它还能清晰地指出最初的尝试操作(访问/etc/passwd),并详细说明了它是如何得出这个结论的。虽然ChatGPT也得到了相同的结果,但其回答却过于繁琐。

05
编写策略和安全文档

关于本节内容的测试,Alex Haynes没有详述。结果是,他多次测试了Gemini,发现它能更准确地理解和生成安全文档,比ChatGPT更加出色。

06
识别脆弱代码

虽然这些工具并非专为检测易受攻击的代码而设计,也并不能用于检测此类代码,但它们仍然能够完成一些任务。因此,Alex Haynes决定在Python中为这两种工具设置一个不安全的直接对象引用(IDOR)漏洞示例,该示例还包括了SQL注入,以测试它们的功能。

测试结果:ChatGPT能够准确识别漏洞并发现缺乏身份验证的情况。而Gemini虽然没有识别到IDOR,但却发现了SQL注入问题,并提出了一些修正代码以解决漏洞。同样,ChatGPT也能够做到这一点,但是需要用户提示它如何进行。

07
编写脚本和代码

在日常的安全操作中心(SOC)活动中,常常需要编写用于日志解析或数据处理的脚本。针对这两种工具,Alex Haynes也给出一些建议

“请帮我写一个Python脚本,可以从.txt文件中提取所有的IPv6地址,删除所有的重复地址,然后对每个地址进行地理定位并找出其所有者,最后将这些信息输出到.csv文件中。

测试结果:在这两种工具之间没有明显胜出者;它们都能生成清晰易读的代码,而且这些代码都能够正常运行并解释其功能。

08
分析数据和度量

Alex Haynes还对这两个工具进行了测试,以查看它们是否可以帮助其分析数据或安全指标。在此方面,Gemini显然不敌ChatGPT,因为它提供的功能极其有限,只能指导他们在Excel和Power BI中进行这些操作。相比之下,ChatGPT凭借其内置的数据分析插件,能够更有效地完成这项任务。该插件可以从Excel文件中提取信息并生成用户所需的各类图表。此外,它还可以根据用户的提示,为图表添加各种设计元素,例如颜色、坐标轴和标签等。

从自动化到合规,甲方如何看待ChatGPT与Gemini?

09
编写用户安全意识宣贯材料

这两种工具可以帮助CSO生成用于安全意识活动的电子邮件。Alex Haynes用以下提示语进行测试:“生成用于安全意识活动的电子邮件,尝试使用一些幽默或讽刺性的内容,让员工更好地理解为什么不能随意点击未知来源的邮件。

在测试中,Gemini胜出了,它的电子邮件语言简洁、得体,虽然有些幽默感是主观的,但是Alex Haynes认为它稍微有趣一些。ChatGPT同样能够生成正确的语气和一封好的邮件,但在Alex Haynes尝试制作一封意识邮件时,他发现它的长度略显过长。总的来说,这两种工具的表现都非常出色。

从自动化到合规,甲方如何看待ChatGPT与Gemini?

10
解释合规框架

Alex Haynes认为,如果有一个需要快速解决如何实施法规遵从性的问题,那么这些工具肯定会有帮助。尽管用户可能不经常使用它们,但在需要的时候,它们是非常有用的。

如果曾经有人与您就PCI-DSS下的“重大”变更及其应用有过争论,那么您并不是唯一一个面临这个问题的人。以下是Alex Haynes使用每个工具时给出的提示:

"请解释在PCI-DSS背景下‘重大变化’的概念。通常来说,什么是重大变化?并列举出标准的明确要求。"

结果是,Gemini表现出色,它准确地指出了标准中的具体要求(如6.4.5和6.4.6)并解释了一些内容是否属于重大变更。相比之下,ChatGPT并未明确指出这些信息在标准中的位置。

11
ChatGPT和Gemini哪一个更好呢?

Alex Haynes认为这两种工具都是可用的,它们都可以成为提高工作效率的重要助手,并在信息安全领域的日常活动中发挥积极作用。

* 本文为陈发明编译,原文地址:https://www.darkreading.com/cybersecurity-operations/chatgpt-vs-gemini-which-is-better-for-10-common-infosec-tasks
图片均来源于网络,无法联系到版权持有者。如有侵权,请与后台联系,做删除处理。

— 【 THE END 】—

更多推荐

从自动化到合规,甲方如何看待ChatGPT与Gemini?
从自动化到合规,甲方如何看待ChatGPT与Gemini?
从自动化到合规,甲方如何看待ChatGPT与Gemini?

原文始发于微信公众号(数世咨询):从自动化到合规,甲方如何看待ChatGPT与Gemini?

  • 左青龙
  • 微信扫一扫
  • weinxin
  • 右白虎
  • 微信扫一扫
  • weinxin
admin
  • 本文由 发表于 2024年4月2日10:25:54
  • 转载请保留本文链接(CN-SEC中文网:感谢原作者辛苦付出):
                   从自动化到合规,甲方如何看待ChatGPT与Gemini?http://cn-sec.com/archives/2620206.html

发表评论

匿名网友 填写信息