ComfyUI本地部署Wan2.1开源AI视频生成模型,在家也可以制作电影级别的AI视频

ComfyUI本地部署Wan2.1开源AI视频生成模型,在家也可以制作电影级别的AI视频

4.8
0热度
HuggingFace

现在AI技术越来越成熟,只要一台电脑,在家也可以制作电影级别的AI视频了,完全可以以假乱真。今天我带大家通过ComfyUI一步一步搭建Wan2.1最新的VACE工作流,带你体验AI视频的强大之处。看完这篇文章,你也可以做出一样的AI视频。一、节点安装方法一:节点的方法有很多种,一种是通过节点管理器,搜索wanvideowrapper,找到插件“ComfyUI-WanVideoWrapp

现在AI技术越来越成熟,只要一台电脑,在家也可以制作电影级别的AI视频了,完全可以以假乱真。

今天我带大家通过ComfyUI一步一步搭建Wan2.1最新的VACE工作流,带你体验AI视频的强大之处。

看完这篇文章,你也可以做出一样的AI视频。

一、节点安装

方法一:

节点的方法有很多种,一种是通过节点管理器,搜索wanvideowrapper,找到插件“ComfyUI-WanVideoWrapper”,然后点击安装

ComfyUI本地部署Wan2.1开源AI视频生成模型,在家也可以制作电影级别的AI视频

方法二:

还通过github下载节点,解压到custom_nodes目录(记得解压后的文件名后面的"main"删掉)。

链接:

https://github.com/kijai/ComfyUI-WanVideoWrapper

ComfyUI本地部署Wan2.1开源AI视频生成模型,在家也可以制作电影级别的AI视频

节点安装结束后记得重启ComfyUI

关于节点的具体安装方法,请见这篇文章:

让ComfyUI无所不能的秘密:如何自定义节点!AI绘画,ComfyUI教程,安装自定义节点

二、基础模型下载

万相的模型比较多,有些可能还不互通,下面跟大家具体讲一下使用方法。

首先来到万相的下载页面:

https://huggingface.co/Kijai/WanVideo_comfy/tree/main

1、文生视频和图生视频模型

文件名带T2V的就是文生视频模型

显存大于12G的,可以尝试选择14B模型

显存低于12G的,建议选择1.3B模型

ComfyUI本地部署Wan2.1开源AI视频生成模型,在家也可以制作电影级别的AI视频

文件名带I2V的就是图生视频模型

图生视频的模型同样有两个版本,分别为480P和720P的

显存大于12G的,可以尝试选择720P模型

显存低于12G的,建议选择480模型

ComfyUI本地部署Wan2.1开源AI视频生成模型,在家也可以制作电影级别的AI视频

文生视频和图生视频的模型放置路径:models\diffusion_models

建议在文件夹下面新建个模型文件夹,方便模型的管理,可以将文件夹改名为“wan2.1”,模型放置路径为:

models\diffusion_models\wan2.1

2、VAE模型

不论是万相官方的工作流还是Kijai的插件,VAE的模型都是通用的

ComfyUI本地部署Wan2.1开源AI视频生成模型,在家也可以制作电影级别的AI视频

VAE模型的放置路径:models\vae

3、clip version 和 text encoder模型

上面讲的模型都是通用模型,下面讲一下不通用模型的使用方法

在使用kijai的插件时,需要对 clip version 和 text encoder模型进行替换,就是下图框选出来的两个模型(这两个模型分别都有两个版本,所以是4个文件)

ComfyUI本地部署Wan2.1开源AI视频生成模型,在家也可以制作电影级别的AI视频

clip version模型放置路径:models\clip

text encoder模型放置路径:\models\text_encoders

随着模型文件的增加多,为了避免混乱,同样你可以新建一个 kijai 文件夹放刚刚的模型,方便你对模型的管理。

ComfyUI本地部署Wan2.1开源AI视频生成模型,在家也可以制作电影级别的AI视频

三、VACE模型下载

VACE一共3个模型,14B有2个模型,1.3B有一个模型

14B的模型最好用12G以上显存的显卡

12G以下的显存的显卡就老老实实用1.3B的模型吧,1.3B的模型用8G显存的显卡也可以跑起来,但速度贼慢了。

另外14B模型建议用fp8版本的,虽然精度没有bf16的好,但速度更快一些

ComfyUI本地部署Wan2.1开源AI视频生成模型,在家也可以制作电影级别的AI视频

模型放置路径:models\diffusion_models

四、基础工作流搭建

下面开始工作流的搭建了,只要你按照我的步骤一步一步来,最终的工作流肯定是不会出错的。

首先,在工作区空白处双击,搜索并添加wanvideo smpler节点

ComfyUI本地部署Wan2.1开源AI视频生成模型,在家也可以制作电影级别的AI视频

在model管道处往外拖拽,添加wanvideo model loader 节点

ComfyUI本地部署Wan2.1开源AI视频生成模型,在家也可以制作电影级别的AI视频

找到vace_model管道,拖拽并添加vace模型选择器节点

ComfyUI本地部署Wan2.1开源AI视频生成模型,在家也可以制作电影级别的AI视频

设置好正确的文生图基础模型和VACE模型

ComfyUI本地部署Wan2.1开源AI视频生成模型,在家也可以制作电影级别的AI视频

如果你的显存不足,可以从block_swap_args管道处往外拖拽,添加blockswap节点

ComfyUI本地部署Wan2.1开源AI视频生成模型,在家也可以制作电影级别的AI视频

blockswap节点可以帮助我们节省显存占用,如果显存够用的话可以不必添加。

如果你想做一个分辨率高或时长比较长的视频,也可以添加这个节点,不过相应的运算时间也会变长。

一般blockswap节点的数值设置到20以上。

ComfyUI本地部署Wan2.1开源AI视频生成模型,在家也可以制作电影级别的AI视频

回到wanvideo sampler节点,从text管道处拖拽并连接wanvideo textEncode节点

ComfyUI本地部署Wan2.1开源AI视频生成模型,在家也可以制作电影级别的AI视频

wanvideo textEncode节点是用来写提示词的

ComfyUI本地部署Wan2.1开源AI视频生成模型,在家也可以制作电影级别的AI视频

从wanvideo textEncode节点的t5管道向外拖拽,找到并连接T5 TextEncoder节点

ComfyUI本地部署Wan2.1开源AI视频生成模型,在家也可以制作电影级别的AI视频

在这里选择我们刚刚下载的text Encode模型

ComfyUI本地部署Wan2.1开源AI视频生成模型,在家也可以制作电影级别的AI视频

下面再回到WanVideo Sampler节点,向大家介绍一下这个节点的参数含义及用法

feta_args管道,连接WanVideo Enhance-A-Video节点,提升视频质量,参数保持默认不变

TeaCache管道,连接WanVideo TeaCache节点,加速视频生成速度,参数保持默认不变。如果生成的视频手部模糊,可以尝试关掉这个节点

slg_args管道,连接WanVideo SLG节点,提升视频质量,blocks一般设为9

ComfyUI本地部署Wan2.1开源AI视频生成模型,在家也可以制作电影级别的AI视频

WanVideo Experimental Args节点功能介绍

从wanvideo sampler节点的experimental_args管道向外拖拽,连接WanVideo Experimental Args节点

ComfyUI本地部署Wan2.1开源AI视频生成模型,在家也可以制作电影级别的AI视频

video_attention_split_steps:

控制模型从什么时候开始处理帧与帧之间的连贯性。

举例:如果将这个参数设为10,表示模型在前10步只关注模型本身的细节或质量,不处理画面的连贯性。这样视频的开头会特别的清晰和稳定,在10步以后才开始慢慢加入视频连贯性的计算。

如果你特别注意视频首帧的画面质量,可以使用它。

ComfyUI本地部署Wan2.1开源AI视频生成模型,在家也可以制作电影级别的AI视频

cfg_zero_star:让视频的初始帧画面更加稳定,默认保持开启。

ComfyUI本地部署Wan2.1开源AI视频生成模型,在家也可以制作电影级别的AI视频

use_zero_init:如果视频初始画面比较混乱和闪烁,可以尝试开启看下效果。

ComfyUI本地部署Wan2.1开源AI视频生成模型,在家也可以制作电影级别的AI视频

zero_star_steps:设置cfg_zero_star从第几步开始启用,默认从第0步开始。

ComfyUI本地部署Wan2.1开源AI视频生成模型,在家也可以制作电影级别的AI视频

use_fresca:调节视频更注重细节还是更注重整体的参数,打开这个参数后,底面的 fresca_scale_low和high参数就可以使用了

fresca_scale_low和fresca_scale_high:参数越高,视频画面细节越高,参数越低,视频画面越注重画面的整体感。

ComfyUI本地部署Wan2.1开源AI视频生成模型,在家也可以制作电影级别的AI视频

fresca_freq_cutoff:参数的数值越高,模型会处理更多的细节,数值越低,模型会过滤掉细节,只处理模糊、轮廓等。保持默认的20即可。

ComfyUI本地部署Wan2.1开源AI视频生成模型,在家也可以制作电影级别的AI视频

在空白处双击,搜索WanVideo VACE Encode节点,使之与WanVideo Sampler节点的image_embeds连接

ComfyUI本地部署Wan2.1开源AI视频生成模型,在家也可以制作电影级别的AI视频

将WanVideo VACE Encode的VAE管道连接上WanVideo VAE Loader节点,并设置为Wan2_1VAE模型

ComfyUI本地部署Wan2.1开源AI视频生成模型,在家也可以制作电影级别的AI视频

我们刚刚添加的WanVideo VACE Encode是一个编辑节点,所以还要再增加一个解码节点。

在空白处双击,搜索并添加WanVideo Decode节点,使之与WanVideo Sampler节点连接。

ComfyUI本地部署Wan2.1开源AI视频生成模型,在家也可以制作电影级别的AI视频

WanVideo Decode节点上面还有一个VAE管道,将它再和VAE节点进行连接。

ComfyUI本地部署Wan2.1开源AI视频生成模型,在家也可以制作电影级别的AI视频

最后搜索并添加一个合并为视频节点,和视频解码WanVideo Decode节点进行连接

ComfyUI本地部署Wan2.1开源AI视频生成模型,在家也可以制作电影级别的AI视频

这样基础的工作流就搭建完成了。

我们之后的所有工作流都是基于这个基础工作流进行扩展搭建的,而且这个基础工作流里面的参数也基本不需要进行改变。

基础工作流完整截图见下方。

ComfyUI本地部署Wan2.1开源AI视频生成模型,在家也可以制作电影级别的AI视频

五、首尾帧工作流搭建

下面以刚刚搭建的基础工作流为基础,继续搭建一个首尾帧工作流。

在空白处双击,搜索并添加 WanVideo VACE Start To End Frame 节点

ComfyUI本地部署Wan2.1开源AI视频生成模型,在家也可以制作电影级别的AI视频

将首尾帧的图像输出管道(images)和解码节点的输入帧管道(input_frames)相连接

再将遮罩管道(masks)和遮罩输入(input_masks)管道进行连接

ComfyUI本地部署Wan2.1开源AI视频生成模型,在家也可以制作电影级别的AI视频

在首尾帧节点的start_image和end_image管道分别连接一个加载图像节点,分别放入视频的首尾帧图片

ComfyUI本地部署Wan2.1开源AI视频生成模型,在家也可以制作电影级别的AI视频

为了保证首尾帧图像的尺寸一致,需要在图像加载节点和首尾帧节点中间分别加一个图像缩放的节点

开启图像缩放节点的裁剪,选择中心裁剪,不然图像会被强制拉伸变形

ComfyUI本地部署Wan2.1开源AI视频生成模型,在家也可以制作电影级别的AI视频

增加一个获取图像尺寸的节点,通过它将首尾帧节点(WanVideo VACE Start To End Frame)的图像尺寸,传递给图像解码节点(WanVideo VACE Encode)

ComfyUI本地部署Wan2.1开源AI视频生成模型,在家也可以制作电影级别的AI视频

首尾帧节点里num_frames指的是视频总帧数

这个参数通过获取图像尺寸节点的count管道传递给视频编码节点

ComfyUI本地部署Wan2.1开源AI视频生成模型,在家也可以制作电影级别的AI视频

视频时长设置

在首尾帧节点里,默认视频总帧数为81帧

在合并为视频节点里,视频的帧率为16帧/秒

所以视频的总时长为:(81-1)/16=5秒

如果你想让视频更加丝滑连贯,可以增加视频的帧率;如果还想同时保持时长不变,就要同时增加视频帧数。

总的来说,想延长视频时长一定要增加帧数,但如果想同时让视频更丝滑,也要提高帧率,但这些都是以增加运行时间为代价的。

ComfyUI本地部署Wan2.1开源AI视频生成模型,在家也可以制作电影级别的AI视频

现在一个首尾帧的工作流就搭建好了,下图为完整工作流截图。

ComfyUI本地部署Wan2.1开源AI视频生成模型,在家也可以制作电影级别的AI视频

六、运行工作流

先说下我的本地配置:

3090显卡,24G显存,96G内存

我是开了blocks_to_swap的,数值为20,我试过关闭它,但关了后工作流报错无法运行

ComfyUI本地部署Wan2.1开源AI视频生成模型,在家也可以制作电影级别的AI视频

这个工作流的视频尺寸为800*600,一共81帧,帧率16帧/秒,总时长5秒

ComfyUI本地部署Wan2.1开源AI视频生成模型,在家也可以制作电影级别的AI视频

我还把WanVideo Sampler节点中的步数调整为了35步,其它参数没变。

ComfyUI本地部署Wan2.1开源AI视频生成模型,在家也可以制作电影级别的AI视频

整个工作流跑下来一共耗时1461.18秒,差不多24.35分钟。

下面是24.35分钟跑出来的视频。因为视频体积太大,我把视频尺寸缩小了一半以上,画质比以前降低了不少,但从总体画面来看效果还是不错的。

人物表情和动作自然,还自动补全了背景街道中车辆和人物的变化,使整个视频看起来更加真实。

ComfyUI本地部署Wan2.1开源AI视频生成模型,在家也可以制作电影级别的AI视频

总体来说VACE模型做出的视频更加真实,细节也更丰富细腻,有了它,我们在家也可以做出电影级别的AI视频了。

不过话说回来,AI视频目前还是一个抽卡的过程,如果一次出的视频不够完美,尝试更改提示词,多抽几次再试一下。

声明:内容来源公开的各类媒体平台,若收录的内容侵犯了您的权益,请联系邮箱,本站将第一时间处理。

首页 发现
看过 我的