昆仑万维开源中国首个面向AI短剧创作的视频生成模型SkyReels-V1，重塑AI短剧行业格局
2月18日，昆仑万维开源中国首个面向AI短剧创作的视频天生模子SkyReels-V1、中国首个SOTA级别基于视频基座模子的心情举措可控算法SkyReels-A1。
1. SkyReels-V1：Human-Centric Video Foundation Model，中国首个面向AI短剧创作的开源视频天生模子
SkyReels-V1可实现影视级人物微心情演出天生，支持33种精致人物心情与400+种天然举措组合，高度还原真人情绪表达。正如以下视频所示，SkyReels-V1支持天生大笑、咆哮、惊奇、抽泣等微心情，揭示出人物情绪丰沛的演出细节。纵然有大幅度肢体举措，SkyReels-V1天生的微心情也美满贴合人物肢体演出。
同时，SkyReels-V1为AI视频天生带来了影戏级光影美学，基于好莱坞级的高质量影视数据实习，当前SkyReels天生的每一帧画面，在构图、演员站位、相机角度等都具备影戏级的质感。无论是单人镜头演出细节，照旧多人构图，当前已具备精准的心情节制和高质感画面。
更重要的是，SkyReels-V1不只支持文生视频、还能支持图生视频，是开源视频天生模子中参数最大的支持图生视频的模子，在同平判别率下各项指标实现开源SOTA。
图1丨SkyReels-V1文生视频指标比拟（来历：昆仑万维SkyReels）
可以或许实现这样的SOTA级别，不只依靠于昆仑万维SkyReels团队基于自研的高质量数据洗濯和人工标注管线，构建了万万级的高质量影戏&电视剧&记载片数据。更依托团队自研「Human-Centric」的视频领略多模态大模子，大幅晋升视频中人物相干的领略手段，尤其是自研人物智能理会体系。
综上所述，得益于踏实的数据事变和先辈的人物智能理会体系，SkyReels-V1可以实现：
影视化心情辨认系统：11种针对影视戏剧中的人物心情领略，如不屑、不耐心、无助、厌烦等心情的领略；
人物空间位置感知：基于人体三维重建技能，实现对视频中多人的空间相对相关领略，助力模子天生影视级人物站位；
举动意图领略：构建高出400种举动语义单位，实现对人物举动的精准领略；
演进场景领略：实现人物-打扮-场景-剧情的关联说明。
SkyReels-V1不只是环球少少数开源的视频天生模子，照旧环绕人物演出、开源视频天生模子中机能最强的。
在自研推理优化框架「SkyReels-Infer」的加持下，大幅晋升推理服从，实现544p判别率，推理基于单台4090只需80s，还支持漫衍式多卡并行，支持Context Parallel，CFG Parallel，和 VAE Parallel。另外，采纳fp8 quantization以及parameter-level offload，满意低显存用户级显卡运行需求；支持flash attention、SageAttention，模子编译优化等，进一步优化耽误；基于开源diffuser库，晋升易用性。
正如下图2所示，在平等RTX4090资源环境下比拟(4卡)，SkyReels-Infer版本比HunyuanVideo官方版本端到端耽误镌汰58.3%(293.3s vs 464.3s)；SkyReels-Infer版本具备更鲁棒的陈计划策，支持用户级别显卡1卡-8卡的推理陈设。
图2丨推理天生544p视频，行使沟通卡数的RTX 4090，SkyReels-Infer版本端到端耽误优于HunyuanVideo官方(xdit) 58.3%
在平等A800资源环境下比拟，SkyReels-Infer版本比HunyuanVideo官方版本端到端耽误镌汰14.7%～28.2%（如图3所示），SkyReels-Infer版本具备更鲁棒的多卡陈计划策。
图3丨推理天生544p视频，SkyReels-Infer版本具备更鲁棒的多卡陈计划策，支持8卡陈设
2.SkyReels-A1：首个SOTA级此外基于视频基座模子的心情举措可控算法
为了实现越发精准可控的人物视频天生，昆仑万维还开源了SOTA级此外基于视频基座模子的心情举措可控算法SkyReels-A1，对标Runway的Act-One，SkyReels-A1支持视频驱动的影戏级心情捕获，实现高保真微心情还原。可以或许基于恣意人体比例（包罗肖像、半身及满身构图）天生高度传神的人物动态视频，其真实感源自对人物心情变革和情感的精准模仿、皮肤肌理、身材举措跟从等多维度细节的深度还原。
SkyReels-A1不只支持侧脸的心情节制天生、还能实现越发传神的眉眼微心情天生和更大幅度的头部与天然身材举措。SkyReels-A1可以或许实现更大幅度的人物心情驱动。对比Runway的Act-One，SkyReels-A1可以迁徙更伟大的心情举措，天生的人物面部神气可以共同肢体及画面内容实现更有声有色的演出。
3.以开源之姿，以破局之势，昆仑万维致力于敦促环球AI短剧创作生态繁荣成长
昆仑万维一向僵持开源，敦促技能平权。昆仑万维同时将SOTA级此外SkyReels-V1和SkyReels-A1举办开源，是AI短剧行业首例，也是昆仑万维SkyReels回馈行业迈出的一小步，更是促进AI短剧创作和视频天生行业枝繁叶茂的一大步。
我们信托在举办推理优化的进级和可控算法的开源后，它们将为用户带来低本钱、可控性更强的AIGC手段。昆仑万维但愿通过更多优越视频天生模子的开源和极致的AI短剧产物手段，为用户带来低本钱实现AI短剧创作的也许性、打破行业今朝视频天生同等性差的题目，让公共通过本身的电脑天生风雅且可控的人物演出。
此次开源的视频大模子，不只是一次技能打破，有助于缩小环球内容财富的数字鸿沟，更是文化财富出产力的一次革命。将来，短剧与游戏、假造实际等规模的跨界成长，将会加快财富融合。AI短剧也有但愿从“技能尝试”迈向“主流创作”，成为环球文化输出的新载体。
“实现通用人工智能，让每小我私人更好地塑造和表达自我”是公司的义务，将来，昆仑万维及SkyReels还将开源更多视频天生模子和算法、通用模子，通过开源实现AGI平权，敦促AI短剧生态的一连建树和繁荣，促进开源社区、开产生态以及AI行业的成长。