人工智能未来发展风险难测，AI对抗AI已成必然

随着生成式人工智能技术的普及，攻击者已经将其用于网络钓鱼攻击中，网络安全公司Abnormal收集由人工智能所生成的电子邮件并且进行分析，网络安全研究人员认为，攻击者已经将生成式人工智能融入到攻击策略中，而企业也必须以相同的方式反应，运用人工智能阻挡这些钓鱼攻击。

传统钓鱼邮件通常依赖固定的模板和格式，同时也会使用共同的域或链接，整体邮件内容和风格较统一缺乏独特性，因此相当容易被安全软件标记和拦截。但是研究人员指出，攻击者运用生成式人工智能，便可以非常快速地创建独特且具针对性的内容，每封钓鱼邮件都可以针对特定的收信人特别设计，不只看起来更真实，而且因为这些邮件不具有共同的恶意指标，因此也就更难被安全解决方案辨识出来。

虽然像是ChatGPT等产品都存在一定限制以避免被滥用，但是攻击者也可以开发攻击专用的生成式人工智能模型，研究人员举例，像是WormGPT便可以制造具说服力的钓鱼邮件，而专为网络攻击所开发的生成式人工智能工具FraudGPT，也能够生成欺骗性内容。 

研究人员分析了生成式人工智能被滥用于钓鱼攻击的案例，像是攻击者伪装成保险业务，透过电子邮件试图散布恶意软件。信件中使用看似真实的名称和电子邮件地址增加可信度，但附件却是恶意软件文档。

经过开源软件Giant Language Model Test Room（GLTR）的侦测，发现邮件文字多数由人工智能生成，研究人员提到，这个案例是因为信件内容大多使用人工智能预测高机率单词，因此大部分人工智能所产生的内容都可以被辨识出来。

另一个钓鱼信件案例则是伪装Netflix信件的钓鱼攻击，攻击者冒充客服人员，并称受害者的订阅即将到期，需要点击链接续订。信件内使用线上玩具购物网站Teeela相关网域，以及使用客服平台Zendesk，让整封信看起来更可信，进而增加了攻击的有效性，但同样整封信大部分内容，也被人工智能发现可能不是由人类编写。

GLTR将最有可能由人工智能生成的字词标记为绿色

即便人工智能使用更为正式的话语，让信件在判读上更具挑战，但是GLTR仍然可以找出由人工智能生成的部分。只不过研究人员也指出，要100%完全确定信件内容是否由人工智能创建几乎不可能。 

研究人员提到钓鱼信件通常从合法的电子邮件供应商发送，且由人工智能编写的内容，语法和拼写错误更少，受害者更容易受骗。研究人员认为只有人工智能可以阻止人工智能，在攻击者开始使用人工智能生成钓鱼文件的现在，企业也应该要部署人工智能解决方案，来侦测传统安全解决方案所无法发现的攻击。