考虑到ChatGPT Plus已经作为一个付费版本存在一段时间，并且Google最近将Google Bard重新命名为Gemini（Gemini Advanced作为付费产品提供）。近日，Alex Haynes（国外某大型软件公司的一位CSO）比较了OpenAI和Google的生成式AI产品如何处理信息安全专业人员的十大任务。本文摘译其对比测试的主要内容及相关结论。
友情提醒：使用生成的人工智能可能会产生不可靠的结果，因此请谨慎输入数据。
Alex Haynes测试了这两种工具是否能够绘制图表和概念流。然而，Gemini承认只能够绘制ASCII图形，如果想要获得更好的效果，他们建议使用他们提供的更专业的工具。Alex Haynes让这两个工具生成了一个图表来说明OAuth身份验证的过程。
结果是：尽管Gemini使用ASCII表示，但其仍成功地完成了这项任务，并将其分类为可使用的类别。
ChatGPT会产生严重的幻觉。乍一看，尽管图片显得非常专业，但实际上它并不能代表OAuth。输出内容中使用了不确切的词汇、错误的拼写或难以理解的语言：这里Authiration和Athoricazt指的是谁？
这两个工具都能够从图表中提取信息，并解释其中所发生的事情。它们生成的结果远超我们的期望。为了测试它们，Alex Haynes用了Edgenexus的一个示例：Web应用程序防火墙（WAF）架构作为输入。
结论是：Google Gemini更擅长解释架构图，因为它的输出很简洁。ChatGPT在解释架构图时稍显冗长，但总体上能够出色地完成这项任务。
尝试寻找特定的恶意软件或漏洞利用是一项常见安全操作，为此，他使用了一个名为Elasticsearch堆栈溢出的公共漏洞，并将其输入到两种工具中，看它们能理解多少内容。结果显示，这两种工具都能够准确地识别出漏洞，并给出详细的解释，包括代码的每一部分是如何工作的，以及它所起的具体作用。
对于SecOps专业人员来说，理解日志文件的内容是常见的任务。因此，Alex Haynes为这两种工具提供了相同的CEF格式的日志文件，并让它们进行解析。结果显示：Gemini的表现更为优秀，它能够准确地总结事件，并提出下一步的行动建议。同时，它还能清晰地指出最初的尝试操作（访问/etc/passwd），并详细说明了它是如何得出这个结论的。虽然ChatGPT也得到了相同的结果，但其回答却过于繁琐。
关于本节内容的测试，Alex Haynes没有详述。结果是，他多次测试了Gemini，发现它能更准确地理解和生成安全文档，比ChatGPT更加出色。
虽然这些工具并非专为检测易受攻击的代码而设计，也并不能用于检测此类代码，但它们仍然能够完成一些任务。因此，Alex Haynes决定在Python中为这两种工具设置一个不安全的直接对象引用（IDOR）漏洞示例，该示例还包括了SQL注入，以测试它们的功能。
测试结果：ChatGPT能够准确识别漏洞并发现缺乏身份验证的情况。而Gemini虽然没有识别到IDOR，但却发现了SQL注入问题，并提出了一些修正代码以解决漏洞。同样，ChatGPT也能够做到这一点，但是需要用户提示它如何进行。
在日常的安全操作中心(SOC)活动中，常常需要编写用于日志解析或数据处理的脚本。针对这两种工具，Alex Haynes也给出一些建议：
“请帮我写一个Python脚本，可以从.txt文件中提取所有的IPv6地址，删除所有的重复地址，然后对每个地址进行地理定位并找出其所有者，最后将这些信息输出到.csv文件中。”
测试结果：在这两种工具之间没有明显胜出者；它们都能生成清晰易读的代码，而且这些代码都能够正常运行并解释其功能。
Alex Haynes还对这两个工具进行了测试，以查看它们是否可以帮助其分析数据或安全指标。在此方面，Gemini显然不敌ChatGPT，因为它提供的功能极其有限，只能指导他们在Excel和Power BI中进行这些操作。相比之下，ChatGPT凭借其内置的数据分析插件，能够更有效地完成这项任务。该插件可以从Excel文件中提取信息并生成用户所需的各类图表。此外，它还可以根据用户的提示，为图表添加各种设计元素，例如颜色、坐标轴和标签等。
这两种工具可以帮助CSO生成用于安全意识活动的电子邮件。Alex Haynes用以下提示语进行测试：“生成用于安全意识活动的电子邮件,尝试使用一些幽默或讽刺性的内容，让员工更好地理解为什么不能随意点击未知来源的邮件。”
在测试中，Gemini胜出了，它的电子邮件语言简洁、得体，虽然有些幽默感是主观的，但是Alex Haynes认为它稍微有趣一些。ChatGPT同样能够生成正确的语气和一封好的邮件，但在Alex Haynes尝试制作一封意识邮件时，他发现它的长度略显过长。总的来说，这两种工具的表现都非常出色。
Alex Haynes认为，如果有一个需要快速解决如何实施法规遵从性的问题，那么这些工具肯定会有帮助。尽管用户可能不经常使用它们，但在需要的时候，它们是非常有用的。
如果曾经有人与您就PCI-DSS下的“重大”变更及其应用有过争论，那么您并不是唯一一个面临这个问题的人。以下是Alex Haynes使用每个工具时给出的提示：
"请解释在PCI-DSS背景下‘重大变化’的概念。通常来说，什么是重大变化？并列举出标准的明确要求。"
结果是，Gemini表现出色，它准确地指出了标准中的具体要求（如6.4.5和6.4.6）并解释了一些内容是否属于重大变更。相比之下，ChatGPT并未明确指出这些信息在标准中的位置。
Alex Haynes认为这两种工具都是可用的，它们都可以成为提高工作效率的重要助手，并在信息安全领域的日常活动中发挥积极作用。
* 本文为陈发明编译，原文地址：https://www.darkreading.com/cybersecurity-operations/chatgpt-vs-gemini-which-is-better-for-10-common-infosec-tasks
图片均来源于网络，无法联系到版权持有者。如有侵权，请与后台联系，做删除处理。
更多推荐
原文始发于微信公众号（数世咨询）：从自动化到合规，甲方如何看待ChatGPT与Gemini？
- 左青龙
- 微信扫一扫
-
- 右白虎
- 微信扫一扫
-
评论