看一眼照片就能模仿笔迹,AI 造假越来越熟练了

admin 2021年10月27日09:49:40安全闲碎评论35 views2651字阅读8分50秒阅读模式

1983 年 4 月 22 日,联邦德国汉堡市出版的《明星》画刊用 17 页篇幅报道了《希特勒日记》,详细展现了希特勒某几年生活的日常。一石激起千层浪,这一发现在整个西方引起轩然大波。最终,经过专家长期坚持不懈的鉴定,最终发现纸张里含有当时并未发明的材料,才确认《希特勒日记》是伪造的。伪造者长期练习、模仿希特勒的笔迹,在 1978 年至 1983 年共编造了 63 本《希特勒日记》,制造了这场惊天骗局。


看一眼照片就能模仿笔迹,AI 造假越来越熟练了

笔迹如同指纹一样,一度被认为是每个人独一无二的标志。司法上有专门的鉴定机构,利用笔迹进行人身同一认定,证实文件的真伪。笔迹鉴定本身也构成了一门专门的学科。清华大学和公安部曾经推出一款能自动鉴别笔迹的“计算机笔迹识别系统”,将整个检验、对比和判断的过程自动化,提高了笔迹识别的精准度。因此想骗过专业鉴定师,需要长时间模仿,甚至需要一位专业的“笔迹模仿师”。而如今,利用最新的图像 AI 算法,只需要用一张笔迹照片、一个手写单词就能还原出整套文本笔迹。

看一眼照片就能模仿笔迹,AI 造假越来越熟练了

TextStyleBrush
AI 版“格式刷” 

TextStyleBrush 是 FaceBook 近期推出的一种自监督 AI 模型,只需要输入一个示例单词就能替换图像中的文本风格,就像格式刷一样。不论是逐字修改格式还是模仿海报、垃圾桶、路牌、饮料瓶、门店招牌等不同场景中的字体格式,都毫无压力,像极了办公软件中的格式刷。

看一眼照片就能模仿笔迹,AI 造假越来越熟练了

要想构建这样一个足够灵活、能理解现实世界场景中文本和手写体细微差别的 AI 系统,需要系统能学习文字识别图像分割的方法。不同于那些目标明确、专门执行某项任务的 AI 模型,TextStyleBrush 需要理解不同的排版和书写形式中无限的文本样式,理解不同的背景中文本旋转、弯曲以及手写时纸笔之间发生的变形;理解不同的背景和图像中的噪声……因此,不能简单粗暴地直接从背景中整齐地分割文本,也不能为所有可能出现的字母和数字组合预先设定示例和注释。

看一眼照片就能模仿笔迹,AI 造假越来越熟练了

研究人员基于 StyleGAN2 模型对 TextStyleBrush 进行了设计。但是,StyleGAN2 存在两点局限:
  • StyleGAN2 是一个无条件模型,会对随机向量进行采样来生成图像,无法控制输出图像特征。但 TextStyleBrush 必须要生成指定的文本和样式;
  • StyleGAN2 的整体风格不受控制,但TextStyleBrush 需要生成的文本样式需要兼顾颜色、风格转换等全局信息以及带有强烈个人特色的笔迹细节等精细信息。
为了克服这两点局限,TextStyleBrush 首先向标准 StyleGAN2 模型引入了文本信息和风格这两个“附加条件”来控制模型的输出,文本信息直接输入到 StyleGAN2 模型生成器的第一层。

看一眼照片就能模仿笔迹,AI 造假越来越熟练了

此外,引入一个样式映射网络,提取神经网络层中特定图层的样式信息,并将这些信息注入文本生成器中,最终从各种尺度(颜色、整体风格、细节)上调整文字的风格。同时,添加用于控制高低分辨率的网络结构,让文本控制器调整文本外观的分辨率,与输入图像的分辨率相匹配。

看一眼照片就能模仿笔迹,AI 造假越来越熟练了

整个模型由七层网络模型(样式编码、内容编码、样式映射网络、样式化文本生成、字体分类、识别、鉴别)组成,还利用自监督训练方法并结合样式分类、文本识别(OCR)以及GAN这三种技术方法,识别、调整字体样式及文字内容,最终实现了普通人难以辨认的笔迹模仿效果。


看一眼照片就能模仿笔迹,AI 造假越来越熟练了

模仿笔迹 VS. 识别笔迹
深度学习的攻与防

在 TextStyleBrush 的分享博客里,研究人员也提到,这项研究虽然还停留在理论层面,但希望为未来的文本攻击研究铺个路。一方面,模仿笔迹这件事儿其实可以应用在更积极的领域:电影字幕替换、批量生产手写贺卡、帮助有书写障碍的人群写字。另一方面,就像同样使用 GAN 技术的 AI 换脸一样,笔迹模仿与生成也可能用于诈骗领域,伪造签名、伪造遗嘱……都有可能带来不良影响。

知攻方能知防。研究 AI 如何模仿笔迹,对于笔迹的鉴定与识别也有参考意义。这些年来,学界关于 AI 模仿笔迹及识别笔迹的研究从未停止。

2016年,伦敦大学学院研究分析师 Tom S. F. Haines 研究出一套模仿笔迹的 AI 算法:My Text in Your Handwriting,成功模仿多位名人笔迹。

看一眼照片就能模仿笔迹,AI 造假越来越熟练了

2017 年,在 GeekPwn 的舞台上,来自中国金融认证中心的四位选手利用 GAN 技术让机械手臂装置学习、模拟了评委的笔迹,成功骗过专业鉴定师,迷惑率高达50%。

看一眼照片就能模仿笔迹,AI 造假越来越熟练了

2018年,来自中国、马来西亚和印度研究人员组成的研究小组利用一种名为 COLD 的线性分布识别工具,从线条、倾斜方向、整体形状等方面来训练 AI 系统识别笔迹,进而判断书写者的国籍、性别等

看一眼照片就能模仿笔迹,AI 造假越来越熟练了

2019年,笔迹公司(The Handwriting Company)与布朗大学联合开发出名为海明威(Hemingway)的机器人,可以创造出漂亮的手写文字、模仿名人笔迹和书写风格,甚至复制多种语言的笔迹。


看一眼照片就能模仿笔迹,AI 造假越来越熟练了

2020 年,德国纽伦堡埃尔兰根大学模式识别系的研究人员为了帮助书写障碍人群研发出一套 AI 系统,可以对输入的文字原稿进行像素级分析,最后模仿笔迹生成新的文稿。

看一眼照片就能模仿笔迹,AI 造假越来越熟练了

当然,AI 笔迹模仿与识别大多还停留在研究层面,也与所有其他 AI 的研究一样,让人兴奋又担忧:这些技术足以以假乱真,我们将如何应用?万一被滥用,我们将如何应对?AI 技术终将会把我们带往何处?


看一眼照片就能模仿笔迹,AI 造假越来越熟练了

研究人员未曾忽略这些问题。FaceBook CTO 在推文里说,考虑到 TextStyleBrush 可能会被用来伪造笔迹,所以只分享论文和数据集,不会公开源代码。公开的这些内容,也是为了让大家集思广益,研究出更好的检测与防御方法。这也正是众多 AI 安全研究人员的初衷。

关于 AI 笔迹模仿与识别的更多资料,欢迎进入极棒知识星球获取。


看一眼照片就能模仿笔迹,AI 造假越来越熟练了
参考来源:
https://ai.facebook.com/blog/ai-can-now-emulate-text-style-in-images-in-one-shot-using-just-a-single-word/
https://lme.tf.fau.de/pattern-recognition-blog/spatio-temporal-handwriting-imitation/

http://visual.cs.ucl.ac.uk/pubs/handwriting/



往期推荐

看一眼照片就能模仿笔迹,AI 造假越来越熟练了
社工与加密的完美组合,造就了FBI史上浩大的“钓鱼”工程
 
看一眼照片就能模仿笔迹,AI 造假越来越熟练了
黑掉一辆车,有多少种方式?
 
看一眼照片就能模仿笔迹,AI 造假越来越熟练了

点阅读原文 

获取 TextStyleBrush 数据集

本文始发于微信公众号(GeekPwn):看一眼照片就能模仿笔迹,AI 造假越来越熟练了

特别标注: 本站(CN-SEC.COM)所有文章仅供技术研究,若将其信息做其他用途,由用户承担全部法律及连带责任,本站不承担任何法律及连带责任,请遵守中华人民共和国安全法.
  • 我的微信
  • 微信扫一扫
  • weinxin
  • 我的微信公众号
  • 微信扫一扫
  • weinxin
admin
  • 本文由 发表于 2021年10月27日09:49:40
  • 转载请保留本文链接(CN-SEC中文网:感谢原作者辛苦付出):
                  看一眼照片就能模仿笔迹,AI 造假越来越熟练了 http://cn-sec.com/archives/399668.html

发表评论

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: