IC-Light | 视频重新打光
使用ComfyUI IC-Light工作流程,你可以通过光照图轻松重新照明人类角色视频。借助ComfyUI IC-Light,你只需提供提示和光照贴图元素(例如形状和霓虹灯)即可轻松转换视频,此工具可生成具有增强照明效果的新视频。
想要运行这个应用吗?
- 帮助您专注于艺术创作,而非红色错误
- 由猫目社区来维护AIGC安装部署的复杂性
- 无需手动设置
- 具有惊艳的视觉效果
- 平台整合上万张高端显卡,一键启动
使用ComfyUI IC-Light工作流程,你可以通过光照图轻松重新照明人类角色视频。借助ComfyUI IC-Light,你只需提供提示和光照贴图元素(例如形状和霓虹灯)即可轻松转换视频,此工具可生成具有增强照明效果的新视频。
ComfyUI IC-Light工作流程 该工作流程由Jerry Davos开发,猫目社区已取得Jerry Davos授权
具体操作教程请访问他的YouTube频道。
YouTube地址:https://youtu.be/q__YTKxtQAE
工作流截图:
如何使用 ComfyUI IC-Light 工作流程
- 上传源视频:首先上传需要增强的原视频。
- 上传灯光图视频或单个灯光图图像:选择灯光图视频或单个图像作为新的照明模板。
- 输入负载容量和其他设置:光照贴图视频中的设置应该相同。
- 输入提示:描述新的光照设置(如阳光或霓虹灯)。
- 选择模型:推荐使用现实模型。
- 调整光照图合成及其他设置。(根据需求)
- 渲染:输出会保存在ComfyUI > Outputs文件夹中。
输入设置
这里有5个设置:
- 采样步数:控制 KSampler 渲染图像所采取的总步骤数,不建议修改。【默认值26】
- 细节增强器:增加最终渲染中的细节。【使用0.1至1之间的值】
- 种子:控制每次 KSampler 采样器的生成种子。
- 采样CFG:控制 KSampler 采样器的CFG值。
- 精细放大:类似于高分辨率修复值。【使用1.1 - 1.6可获得最佳效果】
输入提示词和反向提示词
- 正面提示:输入描述新光照效果的提示。
- 负面提示:默认配置,可编辑。
- Clip文本编码节点:用于最大化文本编码质量。
选择模型和Loras
- checkpoint:选择任何写实的SD 1.5模型。
- Loras(可选):根据需求选择你需要的Loras,不建议最大权重使用,使用0.5-0.7左右可获得最佳效果。
输入源视频
上传要改变光照的人物角色视频
- 视频大小限制在100 MB以下。
- 长度不超过15-20秒,可能无法渲染较长的视频
- 分辨率不高于720p
- 如果需要跳过一些起始帧,请使用"Skip Frames",【光照贴图视频也会跳过这么多帧】
- 修改图片的分辨率,【使用800 - 1000】之间的值可获得最佳效果
- 选择10帧以上进行测试
- 如果你有24G,则使用大约200 - 300 帧,适合尺寸为1000 - 1200
- 如果要渲染所有帧,请使用0【不推荐较长的视频】
蒙版和深度设置
- 遮罩:它使用了 Robust Video Matting,默认设置就可以了。
- Depth ControlNet:它使用最新的 DepthAnything v2 模型。强度和最终百分比设置为 75% 以获得最佳效果使用 CoAdaptor Depth可获得最佳效果。
光照图视频设置
- 上传灯光图视频:点击并上传想要的灯光图视频。它将自动缩放到源视频的尺寸确保它长于或等于源视频的时长,否则会出现错误。
- Light Map ControlNet:此光照图也用作使用这个模型
- CN 强度和最终百分比:在此处使用低值,较高的值可能会导致过度曝光或尖锐的光线过渡。
单光照贴图
- 要使用单个图像作为光照贴图,请取消禁用这些节点并将重新连接到“Pick one Input”节点。
AnimateDiff设置
- 加载 Animatediff 模型:可以使用任何模型来获得不同的效果。
- Animatediff 其他节点:需要对 animatediff 有一些了解才能更改其他设置可以在这里找到它们
- 设置 SMZ:这是用于提高模型管道质量的节点,所有设置都已预定义以便运行良好。
光照图和 IC Light的合成
- 顶部调整节点(灰色)用于控制 IC-Light 的调节,以降低对比度并控制亮度。
- 生成新背景:禁用时,它将输入原始图像,并尝试根据正向提示词框中出现的 "Background Prompts"映射与源视频背景相似的细节,如下图所示:
- [1girl, sunlight, sunset, white shirt, black short jeans, interior, room]
- 当启用生成新背景时:它将根据深度生成新的背景
- [1girl, sunlight, sunset, nature in the background, sky]
- 此外,Depth ControlNet 的强度和最终百分比降低至 45%,以在背景中有一个开放区域。
- 光照贴图位于顶部:当为 True 时,光照贴图将位于源视频的顶部并且更占主导地位,当 False 时,源将位于顶部时,光照贴图将更显着且更亮
- 主要影响区域: 2 种混合模式效果最佳Multiply: 根据顶部或底部的光照图使阴影区域变暗Screen: 它会根据顶部或底部的光照图来增亮阴影区域混合因子用于强度
- 整体调整:这将从上方控制最终处理的光图的亮度(brightness)、对比度(contrast)、伽马(gamma)和色调。
- 图像重映射:使用此节点控制整个图像的整体亮度和暗度。最小值越高,场景越亮较低的最大值将使场景变暗,并可以将较亮的区域转换为变形对象,如 QrCode Monster CN通常使用最小值 0.1 或 0.2 来稍微照亮场景。最小值为 0 时,光照贴图的黑色像素将呈现漆黑阴影。
KSamplers(Raw和Refine)
IC Raw Ksampler
IC Raw Ksampler:与其他采样器不同,由于 IC-Light 条件,它从第 8 步开始而不是从零开始(帧从第 8 步开始去噪)
- 例如,结束步骤 20
- 开始步骤于0 将没有光照贴图效果。5 的效果为 50%10 则效果为 100%。因此,大约 3-8 是一个很好的测试值。
- 当生成新背景为 TRUE 时,你可以将值设置为低于 5 以获得更好的结果
Ksampler Refine
- Ksampler Refine:它的工作原理类似于 IC 原始采样后的 Img2Img Refiner。
- 对于 25 的结束步骤
- 开始步骤于10 及以下版本将像原始采样器一样工作,并会为您提供变形对象15 可以像真正的精炼机一样工作20 无法正常工作超过 20 及以上会产生混乱的结果因此,默认 16 是好的。
面部修复
- 面部修复放大:如果面部修复后不满意,可放大至1.2-1.6。
- 面部去噪:使用约0.35-0.45,较高的值可能导致面部渲染不正确,并且可能出现滑动面部问题。
- 正面提示:你可以在此处输入面部提示,默认设置为“smiling”。
保存
- 视频合并:将以视频格式导出所有帧。如果此节点合并失败,则意味着帧太多,并且内存不足。如果发生这种情况,请减少帧数它将默认默认保存到ComfyUI > Outputs。
- 更改输出路径:如果要将输出保存到自定义保存位置,请开启此节点
关于此工作流程的作者
Jerry Davos
- YouTube Channel: https://www.youtube.com/@jerrydavos
- Patreon: https://www.patreon.com/jerrydavos