看一眼照片就能模仿笔迹，AI 造假越来越熟练了

2021年10月27日09:49:40评论351 views字数 2651阅读8分50秒阅读模式

1983 年 4 月 22 日，联邦德国汉堡市出版的《明星》画刊用 17 页篇幅报道了《希特勒日记》，详细展现了希特勒某几年生活的日常。一石激起千层浪，这一发现在整个西方引起轩然大波。最终，经过专家长期坚持不懈的鉴定，最终发现纸张里含有当时并未发明的材料，才确认《希特勒日记》是伪造的。伪造者长期练习、模仿希特勒的笔迹，在 1978 年至 1983 年共编造了 63 本《希特勒日记》，制造了这场惊天骗局。

笔迹如同指纹一样，一度被认为是每个人独一无二的标志。司法上有专门的鉴定机构，利用笔迹进行人身同一认定，证实文件的真伪。笔迹鉴定本身也构成了一门专门的学科。清华大学和公安部曾经推出一款能自动鉴别笔迹的“计算机笔迹识别系统”，将整个检验、对比和判断的过程自动化，提高了笔迹识别的精准度。因此想骗过专业鉴定师，需要长时间模仿，甚至需要一位专业的“笔迹模仿师”。而如今，利用最新的图像 AI 算法，只需要用一张笔迹照片、一个手写单词就能还原出整套文本笔迹。

TextStyleBrush

AI 版“格式刷”

TextStyleBrush 是 FaceBook 近期推出的一种自监督 AI 模型，只需要输入一个示例单词就能替换图像中的文本风格，就像格式刷一样。不论是逐字修改格式还是模仿海报、垃圾桶、路牌、饮料瓶、门店招牌等不同场景中的字体格式，都毫无压力，像极了办公软件中的格式刷。

要想构建这样一个足够灵活、能理解现实世界场景中文本和手写体细微差别的 AI 系统，需要系统能学习文字识别和图像分割的方法。不同于那些目标明确、专门执行某项任务的 AI 模型，TextStyleBrush 需要理解不同的排版和书写形式中无限的文本样式，理解不同的背景中文本旋转、弯曲以及手写时纸笔之间发生的变形；理解不同的背景和图像中的噪声……因此，不能简单粗暴地直接从背景中整齐地分割文本，也不能为所有可能出现的字母和数字组合预先设定示例和注释。

研究人员基于 StyleGAN2 模型对 TextStyleBrush 进行了设计。但是，StyleGAN2 存在两点局限：

StyleGAN2 是一个无条件模型，会对随机向量进行采样来生成图像，无法控制输出图像特征。但 TextStyleBrush 必须要生成指定的文本和样式；
StyleGAN2 的整体风格不受控制，但TextStyleBrush 需要生成的文本样式需要兼顾颜色、风格转换等全局信息以及带有强烈个人特色的笔迹细节等精细信息。

为了克服这两点局限，TextStyleBrush 首先向标准 StyleGAN2 模型引入了文本信息和风格这两个“附加条件”来控制模型的输出，文本信息直接输入到 StyleGAN2 模型生成器的第一层。

此外，引入一个样式映射网络，提取神经网络层中特定图层的样式信息，并将这些信息注入文本生成器中，最终从各种尺度（颜色、整体风格、细节）上调整文字的风格。同时，添加用于控制高低分辨率的网络结构，让文本控制器调整文本外观的分辨率，与输入图像的分辨率相匹配。

整个模型由七层网络模型（样式编码、内容编码、样式映射网络、样式化文本生成、字体分类、识别、鉴别）组成，还利用自监督训练方法并结合样式分类、文本识别（OCR）以及GAN这三种技术方法，识别、调整字体样式及文字内容，最终实现了普通人难以辨认的笔迹模仿效果。

模仿笔迹 VS. 识别笔迹

深度学习的攻与防

在 TextStyleBrush 的分享博客里，研究人员也提到，这项研究虽然还停留在理论层面，但希望为未来的文本攻击研究铺个路。一方面，模仿笔迹这件事儿其实可以应用在更积极的领域：电影字幕替换、批量生产手写贺卡、帮助有书写障碍的人群写字。另一方面，就像同样使用 GAN 技术的 AI 换脸一样，笔迹模仿与生成也可能用于诈骗领域，伪造签名、伪造遗嘱……都有可能带来不良影响。

知攻方能知防。研究 AI 如何模仿笔迹，对于笔迹的鉴定与识别也有参考意义。这些年来，学界关于 AI 模仿笔迹及识别笔迹的研究从未停止。

2016年，伦敦大学学院研究分析师 Tom S. F. Haines 研究出一套模仿笔迹的 AI 算法：My Text in Your Handwriting，成功模仿多位名人笔迹。