IC-Light | 视频重新打光

使用ComfyUI IC-Light工作流程，你可以通过光照图轻松重新照明人类角色视频。借助ComfyUI IC-Light，你只需提供提示和光照贴图元素（例如形状和霓虹灯）即可轻松转换视频，此工具可生成具有增强照明效果的新视频。

ComfyUI IC-Light工作流程 该工作流程由Jerry Davos开发，猫目社区已取得Jerry Davos授权

具体操作教程请访问他的YouTube频道。

YouTube地址：https://youtu.be/q__YTKxtQAE

工作流截图：

如何使用 ComfyUI IC-Light 工作流程

1. 上传源视频：首先上传需要增强的原视频。
2. 上传灯光图视频或单个灯光图图像：选择灯光图视频或单个图像作为新的照明模板。
3. 输入负载容量和其他设置：光照贴图视频中的设置应该相同。
4. 输入提示：描述新的光照设置（如阳光或霓虹灯）。
5. 选择模型：推荐使用现实模型。
6. 调整光照图合成及其他设置。（根据需求）
7. 渲染：输出会保存在ComfyUI > Outputs文件夹中。

输入设置

这里有5个设置：

• 采样步数：控制 KSampler 渲染图像所采取的总步骤数，不建议修改。【默认值26】
• 细节增强器：增加最终渲染中的细节。【使用0.1至1之间的值】
• 种子：控制每次 KSampler 采样器的生成种子。
• 采样CFG：控制 KSampler 采样器的CFG值。
• 精细放大：类似于高分辨率修复值。【使用1.1 - 1.6可获得最佳效果】

输入提示词和反向提示词

• 正面提示：输入描述新光照效果的提示。
• 负面提示：默认配置，可编辑。
• Clip文本编码节点：用于最大化文本编码质量。

选择模型和Loras

• checkpoint：选择任何写实的SD 1.5模型。
• Loras（可选）：根据需求选择你需要的Loras，不建议最大权重使用，使用0.5-0.7左右可获得最佳效果。

输入源视频

上传要改变光照的人物角色视频

• 视频大小限制在100 MB以下。
• 长度不超过15-20秒，可能无法渲染较长的视频
• 分辨率不高于720p
• 如果需要跳过一些起始帧，请使用"Skip Frames"，【光照贴图视频也会跳过这么多帧】
• 修改图片的分辨率，【使用800 - 1000】之间的值可获得最佳效果
• 选择10帧以上进行测试

• 如果你有24G，则使用大约200 - 300 帧，适合尺寸为1000 - 1200
• 如果要渲染所有帧，请使用0【不推荐较长的视频】

蒙版和深度设置

• 遮罩：它使用了 Robust Video Matting，默认设置就可以了。
• Depth ControlNet：它使用最新的 DepthAnything v2 模型。强度和最终百分比设置为 75% 以获得最佳效果使用 CoAdaptor Depth可获得最佳效果。

光照图视频设置

• 上传灯光图视频：点击并上传想要的灯光图视频。它将自动缩放到源视频的尺寸确保它长于或等于源视频的时长，否则会出现错误。
• Light Map ControlNet：此光照图也用作使用这个模型
• CN 强度和最终百分比：在此处使用低值，较高的值可能会导致过度曝光或尖锐的光线过渡。

单光照贴图

• 要使用单个图像作为光照贴图，请取消禁用这些节点并将重新连接到“Pick one Input”节点。

AnimateDiff设置

• 加载 Animatediff 模型：可以使用任何模型来获得不同的效果。
• Animatediff 其他节点：需要对 animatediff 有一些了解才能更改其他设置可以在这里找到它们
• 设置 SMZ：这是用于提高模型管道质量的节点，所有设置都已预定义以便运行良好。

光照图和 IC Light的合成

• 顶部调整节点（灰色）用于控制 IC-Light 的调节，以降低对比度并控制亮度。
• 生成新背景：禁用时，它将输入原始图像，并尝试根据正向提示词框中出现的 "Background Prompts"映射与源视频背景相似的细节，如下图所示：

• [1girl, sunlight, sunset, white shirt, black short jeans, interior, room]
• 当启用生成新背景时：它将根据深度生成新的背景

• [1girl, sunlight, sunset, nature in the background, sky]
• 此外，Depth ControlNet 的强度和最终百分比降低至 45%，以在背景中有一个开放区域。

• 光照贴图位于顶部:当为 True 时，光照贴图将位于源视频的顶部并且更占主导地位，当 False 时，源将位于顶部时，光照贴图将更显着且更亮
• 主要影响区域: 2 种混合模式效果最佳Multiply: 根据顶部或底部的光照图使阴影区域变暗Screen: 它会根据顶部或底部的光照图来增亮阴影区域混合因子用于强度

• 整体调整：这将从上方控制最终处理的光图的亮度（brightness）、对比度（contrast）、伽马（gamma）和色调。
• 图像重映射：使用此节点控制整个图像的整体亮度和暗度。最小值越高，场景越亮较低的最大值将使场景变暗，并可以将较亮的区域转换为变形对象，如 QrCode Monster CN通常使用最小值 0.1 或 0.2 来稍微照亮场景。最小值为 0 时，光照贴图的黑色像素将呈现漆黑阴影。

KSamplers（Raw和Refine）

IC Raw Ksampler

IC Raw Ksampler：与其他采样器不同，由于 IC-Light 条件，它从第 8 步开始而不是从零开始（帧从第 8 步开始去噪）

• 例如，结束步骤 20
• 开始步骤于0 将没有光照贴图效果。5 的效果为 50%10 则效果为 100%。因此，大约 3-8 是一个很好的测试值。
• 当生成新背景为 TRUE 时，你可以将值设置为低于 5 以获得更好的结果

Ksampler Refine

• Ksampler Refine：它的工作原理类似于 IC 原始采样后的 Img2Img Refiner。
• 对于 25 的结束步骤
• 开始步骤于10 及以下版本将像原始采样器一样工作，并会为您提供变形对象15 可以像真正的精炼机一样工作20 无法正常工作超过 20 及以上会产生混乱的结果因此，默认 16 是好的。

面部修复

• 面部修复放大：如果面部修复后不满意，可放大至1.2-1.6。
• 面部去噪：使用约0.35-0.45，较高的值可能导致面部渲染不正确，并且可能出现滑动面部问题。
• 正面提示：你可以在此处输入面部提示，默认设置为“smiling”。

保存

• 视频合并：将以视频格式导出所有帧。如果此节点合并失败，则意味着帧太多，并且内存不足。如果发生这种情况，请减少帧数它将默认默认保存到ComfyUI > Outputs。
• 更改输出路径：如果要将输出保存到自定义保存位置，请开启此节点

关于此工作流程的作者

Jerry Davos

• YouTube Channel: https://www.youtube.com/@jerrydavos
• Patreon: https://www.patreon.com/jerrydavos