Wan2GP V6版 – 低配显卡玩转AI视频生成,新增数字人对话模型 Multitalk 支持50系显卡 一键整合包下载
Wan2GP 是一个由DeepBeepMeep开发的开源视频生成模型项目,旨在为GPU资源有限的用户提供高质量的视频生成体验。它支持多种视频生成模型,包括阿里的Wan及其衍生模型、腾讯的Hunyuan Video和LTV Video等,通过简洁易用的网页界面,用户无需深入了解复杂的模型细节,即可轻松生成想要的视频内容。
Wan2GP 的问世,让广大低端显卡用户也能玩转高大上的视频生成项目了。就以HunyuanVideo 13B图生视频模型来说,原版需要至少80G显存才能跑得动,现在 Wan2GP 把这个标准降低到10GB,而且生成的效果几乎没用任何的降低。但缺点也是有的,生成时间会拉长,同时需要更大的运行内存。
今天分享的 Wan2GP V6版,基于官方7月8日的V6.6打包,修复了原版模型下载报错问题。在尽量保证功能完整的情况下,进一步对WebUI做了更多的汉化翻译,目前汉化率97%。新增“多开”功能,支持一次开启多个WebUI。
注. 从V6版开始,提供两种版本,免费版和付费版两种。区别为:免费版不再提供中文翻译,原汁原味官方原版;付费版为中文翻译版,后期会逐步完全汉化,以及一些优化功能加入。
主要更新内容如下:
7月8日更新
环境部分:
更新torch到2.7.1;SageAttention 更新至2.2,与 2.1 相比,这提高了在 RTX 40xx(sm89)和 50xx(sm120)GPU 上的速度
软件部分:
WanGP v6.6,WanGP 为您提供 Vace Multitalk 双声融合无限版;
Vace 我们挚爱的超级 Control Net 已与 Multitalk 新晋王者相结合,Multitalk 能够驱动最多两个人说话(Dual Voices)。它由 Fusionix 模型加速,并得益于滑动窗口支持和自适应投影引导(虽然速度较慢,但应减少长视频中的红色效果),您的两个人将能够长时间交谈(在视频生成领域,这是无限的时间);
当然,您还将获得 Multitalk 原味版,以及 720p Multitalk 作为额外福利;
附赠了一个音频分离器,当您使用 Multitalk 与两个人交谈时,它能帮您节省时间来分离每个声音;
滑动窗口支持已添加到所有 Wan 模型中,所以想象一下,随着 text2video 在 6.5 版本中最近升级为 video2video,你现在可以无视 VRAM 的限制来放大非常长的视频。老旧的 image2video 模型现在可以重用最后一帧图像来生成新视频(正如许多人所请求的);
添加了将原始控制视频的音频进行转换的功能(杂项高级选项卡),以及一个保留生成视频中帧率的选项,因此从现在起,你将能够放大/修复你的旧视频并保持音频在其原始节奏。请注意,持续时间将限制在 1000 帧,因为我还需要为无限大小的视频添加流式传输支持;从非 WanGP 生成的视频中提取视频信息,甚至更好,你还可以对非 WanGP 视频应用后处理(上采样/MMAudio);
强制生成的视频帧率符合你的喜好,使用 Control Video 时与 Vace 配合效果非常好;
能够串联 Finetune 模型的 URL(例如将模型的 URL 放入主 Finetune 中,并在其他 Finetune 模型中引用此 Finetune 以节省时间)。
测试下来,” FusioniX “模型应该是目前消费级显卡能产出视频质量最高的模型,一段480P高质量视频生成,8G显存仅需3分24秒。不仅速度快,质量还高,甚至媲美某项商业模型。低端显卡视频生成质量再上一个新台阶。
这里隆重介绍下此次更新的MultiTalk:
MultiTalk,这是一款数字人领域的最新前沿框架。
MultiTalk专注于音频驱动的多人对话、歌唱、互动控制以及卡通风格视频生成,提供更高效和精准的数字人视频创作。
MultiTalk能够基于多声道音频输入、参考图像和提示,生成包含互动的视频,且人物唇部动作与音频保持一致。
其功能亮点如下:
支持单人与多人生成 :无论是单一角色还是复杂多人场景,MultiTalk 均能精准生成。
互动角色控制 :通过提示直接操控虚拟人物的动作与表情。
泛化性能卓越 :支持卡通角色生成及歌唱视频制作,适用范围广泛。
分辨率与长视频生成灵活 :支持 480p 和 720p 分辨率输出,适应不同纵横比;最长可生成 15 秒视频。
项目特点
低显存要求:Wan2GP对显存的需求较低,某些模型甚至仅需6GB 显存即可运行,这使得更多用户能够体验到视频生成的乐趣。
支持老旧GPU:项目不仅支持最新的GPU,还兼容RTX 10XX、20XX等老旧型号,降低了硬件门槛。
高效快速:在最新GPU上,Wan2GP能够非常快速地生成视频,大大缩短了等待时间。
易用性:提供全网页界面,用户无需安装额外软件即可使用,同时集成了模型自动下载、视频生成工具(如遮罩编辑器、提示增强器)、时空生成等功能,简化了操作流程。
Loras支持:允许用户自定义每个模型,以满足个性化需求。
排队系统:用户可以列出想要生成的视频清单,稍后回来查看结果,提高了效率。
应用领域
创意内容制作:设计师、动画师等创意工作者可以利用Wan2GP快速生成概念视频、动画短片或广告素材。
娱乐与社交:用户可以在社交媒体上分享通过Wan2GP生成的有趣视频,增加互动性和趣味性。
教育与培训:教师可以制作生动的教学视频,帮助学生更好地理解和掌握知识;企业也可以利用该技术进行产品演示或员工培训。
影视后期制作:影视行业从业者可以利用Wan2GP进行特效制作、场景渲染等工作,提高制作效率和质量。
使用教程:(建议N卡,显存8G起,内存32G起。支持50系显卡,基于CUDA12.8)
使用和之前发布的Wan2.1以及类似的视频生成软件类似,根据需要,点击最上方的模型列表,切换需要使用的模型,会根据切换的模型自动下载,模型较大,耐心等待下载完成。
支持文生视频和图生视频。支持低端显卡运行阿里Wan、腾讯HunyuanVideo以及LTV Video等高精度模型。支持多种Lora类型扩展,请根据页面使用说明将lora模型放入对应的目录手动加载。
启动WebUI后,页面有“指南”选项卡,作者很详细的介绍了不同的模型参数和特点及应用领域、Lora模型的加载及使用以及VACE ControlNet的详细使用说明。UI我也做了大部分汉化,方便大家使用。
基于原版使用文档,我做了详细的翻译,建议大家仔细阅读,作为操作参考。
测试了30-50系显卡,均能正常运行。10-20没做测试,有些模型估计运行不了
赞赏
微信赞赏
支付宝赞赏
VIP部落 » Wan2GP V6版 – 低配显卡玩转AI视频生成,新增数字人对话模型 Multitalk 支持50系显卡 一键整合包下载