上周，OpenAI发布了最新的视频生成模型Sora，引发了无数人的关注和讨论，它能够在短时间内生成高质量、连贯且富有情感的视频，可以说颠覆了传统的视频制作方式。
Sora的核心优势在于其强大的视频生成能力。它能够根据用户提供的文字描述，自动生成长达60秒的高质量视频，“碾压”了行业目前大概只有平均“4s”的视频生成长度。
这些生成的视频不仅包含高度逼真的角色和场景，还展现出了精确的主题和背景细节。此外，Sora还能够生成多角度镜头和富有情感的多个角色，使得视频内容更加生动和引人入胜。目前从OpenAI公布的示例视频来看，该模型还可以根据提示、静止图像甚至填补现有视频中的缺失帧来生成视频。
Prompt: “Animated scene features a close-up of a short fluffy monster kneeling beside a melting red candle. the art style is 3d and realistic, with a focus on lighting and texture. the mood of the painting is one of wonder and curiosity, as the monster gazes at the flame with wide eyes and open mouth. its pose and expression convey a sense of innocence and playfulness, as if it is exploring the world around it for the first time. the use of warm colors and dramatic lighting further enhances the cozy atmosphere of the image.”
Prompt: “A stylish woman walks down a Tokyo street filled with warm glowing neon and animated city signage. she wears a black leather jacket, a long red dress, and black boots, and carries a black purse. she wears sunglasses and red lipstick. she walks confidently and casually. the street is damp and reflective, creating a mirror effect of the colorful lights. many pedestrians walk about.”
内容来源：OpenAI官网
尽管OpenAI也展示了多个目前Sora的缺陷，但是已公布且未经修改的“原生AI视频”足以震撼全场。Sora发布后特斯拉CEO马斯克在社交媒体上转发网友的帖子时评论称：“gg humans”。大模型从业者表示“技术碾压”、“卷死了”，传媒影视行业纷纷探讨起可能到来的行业冲击，还有网友模仿马斯克句式评论“gg好莱坞”。
图源：央视财经新闻报道截图
根据媒体报道，Sora发布后市场同样反应热烈，纽约时报报道称，现在OpenAI的估值或达到约800亿美元，而去年年初ChatGPT刚发布不久后，OpenAI的估值大约为290亿美元。
新技术的隐忧，或将为Deepfake技术推波助澜
Sora的诞生，其出色的技术实力令人瞩目，这种颠覆性的视频制作方式有望拉低视频制作的“门槛”，“低成本、易上手”的特点也会让更多人参与到视频制作领域来，这引发了各界对于深度伪造技术（Deepfake）的一系列担忧。
深度伪造技术是一种利用人工智能算法来生成高度逼真、难以分辨真伪的视频、音频或图像内容的技术。这种技术可以模仿真实人物的表情、动作和声音，从而制作出看似真实的虚假内容。与深度伪造技术类似，Sora也可以生成高度逼真的视频内容，包括人物、场景和动作等。
图源：OpenAI网站截图
可以说，Sora具备潜在的深度伪造能力，有专家认为Sora可能会加剧深度伪造技术在其他领域的应用，通过同时控制视频人物形象与视频内容，生成更高度逼真度的视频内容用于恶意攻击、身份盗窃等，从而对个人、组织或社会造成不良影响。
加利福尼亚大学伯克利分校信息学院副院长法里德表示：“当新闻、图像、音频、视频——任何事情都可以伪造时，那么在那个世界里，就没有什么是真实的。”
2023年可以被视为大模型落地的一年，大模型的广泛应用，对众多行业产生诸多积极影响，但一些被滥用的案例也时有发生，仅今年1-2月期间，海内外数起恶意使用“深度伪造”技术引发的深度造假事件，掀起轩然大波。
美国总统大选期间AI冒充拜登给选民打电话
图源：外媒 美国总统拜登 资料图
2024年美国总统大选共和党党内初选在新罕布什尔州举行前，部分选民接到了这样一通美国总统拜登的来电。白宫新闻秘书卡里娜·让-皮埃尔证实，这一来电是“伪造，不是由总统录制”。
冒充拜登的机器人语音电话录音内容：把你们的选票留在11月份再投很重要。在这周二（23日）投票，只会让共和党人得逞，让特朗普再次当选为共和党候选人。
“假拜登来电”迅速成为美国多家媒体的热门话题，也再度引发了美国社会关于人工智能“深度伪造”可能影响大选的讨论。
泰勒·斯威夫特AI“不雅照”事件
图源：外媒 泰勒·斯威夫特 资料图
一些不法分子利用先进的AI技术，制作并传播了大量假冒泰勒·斯威夫特的虚假、色情甚至血腥的图片，这些图片在社交媒体上迅速蔓延，浏览量惊人地超过了千万次。这些图片对泰勒的名誉造成了不小的冲击，她宣布采取法律行动。事态严重，X平台甚至暂时禁止了搜索“泰勒·斯威夫”，在网站上搜索她的名字，会看到错误的提示。
这次事件引起了广泛关注，不仅BBC等主流媒体报道，甚至引起了白宫的回应。白宫发言人表态：“深度伪造技术已经拉响了警钟”。
香港最大AI诈骗案被披露, 事涉2亿港元
图源：新浪新闻
近日，据香港媒体报道，中国香港警方发现有诈骗分子利用人工智能深度伪造技术，通过公司的YouTube视频和从其他公开渠道获取的媒体资料，成功地仿造了英国公司高层管理人员的形象和声音，在网上会议中冒充多名人士，骗取财务职员2亿港元。
不仅是香港历史上损失最惨重的“变脸”案例，而且也是首次涉及AI“多人变脸”的诈骗案。
我国对于人工智能的监管规定
我国已出台针对推荐算法、深度伪造等合成内容和生成式AI的一系列监管法规。2021年起，国家网信办联合六部门已出台《互联网信息服务算法推荐管理规定》《互联网信息服务深度合成管理规定》和《生成式人工智能服务管理暂行办法》等法律法规，对计算机合成内容进行管控。这些法规包含了禁止社交平台利用推荐算法设置价格歧视等，还规定人工智能开发商必须对人工智能生成的合成内容进行标注。其中2023年7月发布的《生成式人工智能服务管理暂行办法》是中国针对AIGC的首份监管文件，为飞速发展的AIGC技术提供政策支持。
《生成式人工智能服务管理暂行办法》中已涉及智能生成视频的技术创新的条款：
第二条 利用生成式人工智能技术向中华人民共和国境内公众提供生成文本、图片、音频、视频等内容的服务（以下称生成式人工智能服务），适用本办法。
第十二条 提供者应当按照《互联网信息服务深度合成管理规定》对图片、视频等生成内容进行标识。
第二十二条 本办法下列用语的含义是：
（一）生成式人工智能技术，是指具有文本、图片、音频、视频等内容生成能力的模型及相关技术。
随着如Sora这类生成式大模型的不断涌现，人工智能已经逐渐开始重塑人类社会的历史进程，预示着未来更大的技术突破。在这一波技术革新的浪潮中，我们不仅要紧抓机遇，更要坚守安全底线。
在AI技术飞速发展的背景下，内容真实性、版权、隐私和数据安全等是不可回避的重要问题。要确保AI成为推送社会进步的重要力量，而非是失控或是恶意滥用的手段，只有这样，我们才能更好地拥抱人工智能带来的深刻变革，享受技术进步带来的红利。
*部分内容来源于网络
原文始发于微信公众号（信息安全国家工程研究中心）：OpenAI首个视频生成模型Sora登场，“低门槛”深度伪造技术引担忧
- 左青龙
- 微信扫一扫
-
- 右白虎
- 微信扫一扫
-
评论