阿里通义万相 Wan2.2 视频大模型介绍
在当今人工智能飞速发展的时代,视频生成技术取得了令人瞩目的突破。阿里通义万相 Wan2.2 视频大模型作为该领域的佼佼者,凭借其卓越的性能和创新的技术,为视频创作带来了全新的可能性。
通义万相 Wan2.2 在模型架构上进行了重大创新,它率先将 MoE(混合专家)架构引入视频生成扩散模型中。视频生成模型在扩展参数规模时,面临着 token 长度远超文本和图像的难题,而 MoE 架构通过将复杂输入拆分给多个专家模型分别处理,成功实现在模型参数扩充的同时,不额外增加多余的计算负载。在 Wan2.2 中,根据扩散模型的阶段性降噪过程,利用信噪比将其分为高噪声阶段和低噪声阶段,通过选择 900 的去噪时间步,将模型分为高噪模型和低噪模型。输入首先由高噪专家模型负责前期去噪并构建主体结构,再经过低噪专家模型进行后期去噪生成细节。这种创新架构使得 Wan2.2 拥有了最低的验证损失,即生成视频与真实视频之间的差异最小,质量最高。同时,在同参数规模下,可节省约 50% 的计算资源消耗,有效解决了视频生成处理 Token 过长导致的计算资源消耗大问题。
在数据和训练方面,全新的 Wan2.2 模型实现了训练数据的显著扩充与升级。较上一代万相 2.1 模型,图像数据增加 65.6%,视频数据增加 83.2%。数据扩容极大地提升了模型的泛化能力与创作多样性,使得文生视频和图生视频效果都得到显著提升,模型在复杂场景、美学表达和运动生成方面表现更加出色,画面生成更稳定,镜头表达更准确。在模型精调阶段,Wan2.2 创新性地提出了「电影级美学控制系统」。通义万相团队编码了 60 多个直观可控的参数,通过细粒度地训练,使得视频生成的美学属性能够与用户给定的 prompt 提示词相对应。训练过程中融合了电影工业标准的光影塑造、镜头构图法则和色彩心理学体系,将专业电影导演的美学属性进行了分类,并细致整理成美学提示词。因此,Wan2.2 模型能够根据用户的美学提示词准确理解并响应用户的美学需求。例如,用户输入「黄昏」「柔光」「边缘光」「暖色调」「中心构图」等关键词,模型可自动生成金色的落日余晖的浪漫画面;使用「冷色调」「硬光」「对称构图」「低角度」的组合,则可以生成接近科幻片的画面效果。
通义万相 Wan2.2 此次共开源了三款模型,各有千秋。文生视频模型 Wan2.2-T2V-A14B,让用户仅通过输入文字描述,就能生成高质量的视频内容。例如,输入 “一个三十多岁的黑人女性在黄昏色调的复古滤镜下,坐在行驶中的地铁车厢内,周围人群来回走动形成运动模糊,而她始终保持清晰,象征着混乱中的静止”,Wan2.2 就能立刻生成一段文艺感十足的短片,光影、质感、镜头语言都十分出色。图生视频模型 Wan2.2-I2V-A14B,能够根据给定的图片生成动态场景,并且生成的所有运动都自然流畅,不会出现违和感。比如给定一张人物坐在沙发上的图片,模型生成的人物动作以及沙发的形变、回弹等都非常符合直觉。统一视频生成模型 Wan2.2-TI2V-5B,它融合了文生视频和图生视频的功能,既可以依据文字构思场景,又能通过图片定下风格,具有极高的灵活性。并且,该模型采用了高压缩率 3D VAE 架构,时间与空间压缩比达到高达 4×16×16,信息压缩率提升至 64,实现了开源模型的最高水平,仅需 22G 显存(单张消费级显卡)即可在数分钟内生成 5 秒高清视频,是目前 24 帧每秒、720P 像素级视频生成速度最快的基础模型之一 。
Wan2.2 的应用场景极为广泛。在影视制作领域,它可以帮助导演和编剧快速将创意转化为可视化的视频片段,为影片创作提供更多灵感和可能性,大大缩短创作周期,降低制作成本。例如,导演在筹备阶段可以利用 Wan2.2 快速生成不同场景的分镜脚本视频,直观地评估场景效果和叙事节奏。在广告制作中,能够根据品牌需求和产品特点,迅速生成富有创意和吸引力的广告视频。比如,一家化妆品公司想要制作一款新品广告,通过 Wan2.2 输入相关的产品特性、目标受众喜好以及想要营造的氛围等提示词,就能快速得到多个广告创意视频,从中选择最符合品牌形象的方案进行进一步优化制作。在教育领域,教师可以利用 Wan2.2 生成教学视频,将抽象的知识以更生动形象的方式呈现给学生,提高学习效果。例如,在讲解历史事件时,通过输入相关的历史背景、人物信息等,生成一段生动的历史场景视频,让学生仿佛身临其境。在社交媒体创作方面,用户可以轻松制作出具有专业水准的短视频内容,分享自己的生活、创意和想法,提升内容的吸引力和传播力。比如,一位旅行爱好者在分享旅行经历时,利用 Wan2.2 生成一段具有电影质感的旅行视频,配上自己的解说和音乐,能够吸引更多的关注和点赞。
注:以上AI工具信息均来自于用户投稿或互联网上抓取或AI生成,品牌方如需调整以上介绍资料或者更新完善内容,请及时准备好内容联系AI神器榜客服。