行业分析 | 刷屏科技圈！还不了解Sora是什么？看完这篇你就懂了
2024-03-13来源：广发基金
在中国的农历年期间，AI行业也仿佛进入了辞旧迎新之际，人们见证了一系列引人注目的进步。其中，OpenAI团队发布的Sora模型，犹如一颗璀璨的星辰，它高效的降维处理能力让人不禁遐想其是否迎来了向通用人工智能（AGI）的加速转变。
01 Sora是什么？
Sora采用先进的深度学习架构，将视频数据转换为低维度的潜在空间表示，再通过空间-时间图块（Spacetime latent patches）对其进行分解。
这种方法受到了大规模语言模型成功经验的启发，将多样化的视觉数据统一为一个可处理的格式。Sora可以通过压缩网络将原始视频数据降维，然后将这些压缩后的表示分解为一系列图块（patches），再将这些图块（patches）转变为令牌（tokens）输入到模型中。Sora进一步利用这些图块（patches）在多种分辨率、持续时间和纵横比的视频和图像上进行训练，是一个以扩散模型为基础、结合transformer架构的生成模型，能够从噪声输入图块（patches）中预测出原始的“干净”图块（patches）。
该模型具备了以下7项独特的优势：
（1）视频生成长度可达1分钟，远超其他文生视频模型。热门的runway gen2一次生成4秒，可向后每次扩展4秒（最多到20秒）；pika 3秒，可向后每次扩展4秒到15秒；开源的stable video diffusion 能生成3秒。
（2）能够向前或向后扩展视频，以及连接视频。人们可以使用Sora在两个输入视频之间逐渐插值，在完全不同主题和不同场景构图的视频之间创建无缝过渡。这一视频扩展和连接的能力，将有望用于长视频制作。
（3）镜头控制能力，3D空间的一致性。Sora可以生成具有动态镜头运动的视频，随着摄像机的移动和旋转，人物和场景元素在三维空间中能保持连贯的运动。
（4）长期连续性和物体持久性。Sora通常能够有效地对短期和长期依赖关系进行建模，例如可以保留人、动物和物体，即使它们被遮挡或离开镜头；它还可以在单个样本中生成同一角色的多个镜头，在整个视频中保持外观。OpenAI官网称Sora解决了一个具有挑战性的问题，即确保一个主题即使暂时离开视野也能保持不变。
（5）模拟真实世界交互。Sora有时可以模拟简单的影响真实世界状态的动作。例如，一位画家可以在画布上留下持续一段时间的新笔触，或者一个人吃汉堡并留下咬痕。
（6）模拟数字世界。Sora能够模拟人工过程，例如视频游戏，Sora可以同时通过基本策略控制 Minecraft游戏中的玩家，同时还可以高保真地渲染世界及其动态。
（7）语言理解，遵循指示。OpenAI在视频上使用了在Dall E3引入的re-caption技术，首先训练一个高度描述性的标题生成模型，然后使用它为训练集当中的所有视频生成文本标题。OpenAI发现，基于高度描述性视频标题的培训可以提高文本保真度以及视频的整体质量。OpenAI还利用GPT将简短的用户提示转换为更长的详细标题，让Sora能够准确遵循用户提示生成高质量的视频。
02 Sora的局限性？
尽管Sora在视频生成领域展现了前所未有的能力，但它仍存在一些局限性。
例如，Sora在模拟一些基本物理交互（如玻璃破碎）时并不总是能够准确捕捉其物理特性，且在某些情况下对物体状态的改变（如食物被吃掉）的模拟也不总是正确的。
此外，尽管Sora在处理短视频和长视频时通常能够有效地模拟短期和长期依赖关系，但在长视频样本中，仍可能存在一些不连贯性或物体突然出现等问题。
03 Sora诞生的启示？
即使有一些缺陷，Sora大模型的问世仍旧是AI领域的一大飞跃，其对我国AI行业的启示是多维的。
首先，它强调了创新在推动技术进步中的核心作用，鼓励我国AI企业加大研发投入，尤其是在深度学习和计算机视觉领域。
其次，Sora的成功利用了数据的多样性和质量，这提示中国可以利用其庞大的数据资源，培育适应本土市场的AI应用。
此外，Sora的诞生也凸显了建立AI伦理规范和法规政策体系，以确保技术健康和可持续发展的必要性。
同时，国际合作与竞争的日益加剧，提醒中国需要在全球AI竞技场上积极布局。人才是关键，Sora的出现进一步说明了高级AI技术人才的重要性，将促使教育体系加大对相关专业人才培养的力度。
最后，Sora在视频生成方面的应用潜力为多个行业提供了创新思路，特别是内容创造和媒体传播，这为未来的行业应用革新开辟了道路。
（作者：广发基金研究发展部 吴鹏）
风险提示：基金有风险，投资需谨慎。本资料不构成本公司任何业务的宣传推介材料、投资建议或保证，也不作为任何法律文件。本基金管理人承诺以诚实信用、勤勉尽责的原则管理和运用基金资产，但不保证基金一定盈利，也不保证最低收益。基金过往业绩和获奖情况不预示未来表现。投资者在投资基金前应认真阅读《基金合同》和《招募说明书》等基金法律文件，全面认识基金产品的风险收益特征，在了解产品情况及听取销售机构适当性意见的基础上，根据自身的风险承受能力、投资期限和投资目标，对基金投资作出独立决策，选择合适的基金产品。
相关阅读
