安全e刻 | 研究人员警告 AI 图像生成模型可能会泄露敏感指令;利用爬虫技术非法抓取电商数据

admin 2024年11月18日18:38:16评论18 views字数 1522阅读5分4秒阅读模式

安全e刻 | 研究人员警告 AI 图像生成模型可能会泄露敏感指令;利用爬虫技术非法抓取电商数据

研究人员警告

 AI 图像生成模型

可能会泄露

敏感指令

安全e刻 | 研究人员警告 AI 图像生成模型可能会泄露敏感指令;利用爬虫技术非法抓取电商数据

据Cyber Security News消息,研究人员最近在高级人工智能图像生成模型中发现了一个潜在的安全漏洞,能够在无意中泄露敏感系统指令,尤其是在高级扩散模型 Recraft 中。

近来,以Stable Diffusion 和 Midjourney 为代表的图像生成模型在人工智能生成图像领域掀起了一场革命。Invicti 的安全研究人员称,Invicti 公司的安全研究人员发现,这些模型的工作原理是通过一种称为 "去噪 "的过程,将随机噪音逐渐细化为清晰的图片。

目前在文本到图片排行榜上处于领先地位的 Recraft 所展示的功能已经超越了典型的扩散模型。研究人员注意到,Recraft 可以完成图像生成模型通常无法完成的语言任务。例如,当提示数学运算或地理问题时,Recraft 会生成包含正确答案的图像,而其他模型则不同,它们只是将文本可视化,而无法理解。

此外,进一步的调查还发现,Recraft 采用了两级架构:大型语言模型 (LLM) 处理和改写用户提示信息,以及将处理后的提示传递给扩散模型。这种独特的方法使 Recraft 能够处理复杂的查询,并生成更准确、更能感知上下文的图像。不过也带来了一个潜在的漏洞。

通过仔细实验,研究人员发现某些提示可以诱使系统泄露部分内部指令。通过生成带有特定提示的多个图像,研究人员能够拼凑出用于指导大模型行为的系统提示片段。

一些泄露的说明包括:以 "法师风格 "或 "形象风格 "开始描述、提供物体和人物的详细描述、将说明转化为描述性句子、包括具体的构图细节、避免使用 "太阳 "或 "阳光 "等词语、必要时将非英语文本翻译成英语。

这种无意中泄露系统提示的行为引起了人们对人工智能模型的安全性和隐私性的极大关注。如果恶意行为者能够提取敏感指令,他们就有可能操纵系统、绕过安全措施或深入了解专有的人工智能技术。

这一事件为 AI 开发人员和研究人员敲响了警钟,随着 AI 不断进步并更深入地融入我们生活的各个方面,确保这些系统的安全性和完整性变得至关重要。

利用“爬虫”技术非法抓取电商数据

网络爬虫技术是大数据时代信息采集的一项重要手段,过界和非法使用会危害网络数据安全。日前,四川省成都市双流区人民法院审结了一起利用“爬虫”软件非法抓取电商数据的案件,以非法控制计算机信息系统罪判处二被告人有期徒刑六个月至八个月不等,并处罚金,依法没收作案工具。

被告人赵某、程某共同创办了一家软件公司,赵某担任该公司的法定代表人,程某为股东。2021年,二人共同开发并售卖一款具有爬取某电商平台新开网店数据功能的软件,后又为该软件增加了可以监视用户电脑屏幕、获取用户按键记录数据、窃取用户电脑文件的控制功能,该公司继续在网络平台售卖上述具有监视、控制用户电脑功能的软件。购买安装该软件用户的电脑操作界面、键盘按键输入记录、电脑文件等信息,均被回传至赵某所搭建的服务器中。二被告人利用该软件控制了58台计算机信息系统。经鉴定,被告人赵某设计的程序具有控制计算机、获取计算机中用户数据并将数据上传至服务器的功能。

法院审理认为,被告人赵某、程某采用技术手段对他人的计算机系统实施非法控制,情节严重,其行为已构成非法控制计算机信息系统罪,系共同犯罪,依法应追究其刑事责任。综合考虑二被告人自首、坦白、认罪认罚等因素,依法作出上述判决。本案判决现已生效。

声明:除发布的文章无法追溯到作者并获得授权外,我们均会注明作者和文章来源。如涉及版权问题请及时联系我们,我们会在第一时间删改,谢谢!文章来源:freebuf、安全圈

安全e刻 | 研究人员警告 AI 图像生成模型可能会泄露敏感指令;利用爬虫技术非法抓取电商数据

原文始发于微信公众号(e安在线):安全e刻 | 研究人员警告 AI 图像生成模型可能会泄露敏感指令;利用“爬虫”技术非法抓取电商数据

免责声明:文章中涉及的程序(方法)可能带有攻击性,仅供安全研究与教学之用,读者将其信息做其他用途,由读者承担全部法律及连带责任,本站不承担任何法律及连带责任;如有问题可邮件联系(建议使用企业邮箱或有效邮箱,避免邮件被拦截,联系方式见首页),望知悉。
  • 左青龙
  • 微信扫一扫
  • weinxin
  • 右白虎
  • 微信扫一扫
  • weinxin
admin
  • 本文由 发表于 2024年11月18日18:38:16
  • 转载请保留本文链接(CN-SEC中文网:感谢原作者辛苦付出):
                   安全e刻 | 研究人员警告 AI 图像生成模型可能会泄露敏感指令;利用爬虫技术非法抓取电商数据https://cn-sec.com/archives/3405756.html
                  免责声明:文章中涉及的程序(方法)可能带有攻击性,仅供安全研究与教学之用,读者将其信息做其他用途,由读者承担全部法律及连带责任,本站不承担任何法律及连带责任;如有问题可邮件联系(建议使用企业邮箱或有效邮箱,避免邮件被拦截,联系方式见首页),望知悉.

发表评论

匿名网友 填写信息