# Wan.Video

页面：https://maomu.com/p/wan-video

阿里巴巴旗下的 Wan AI 团队开发的一个人工智能创意平台

## 产品介绍

**网站概述**https://wan.video 是由阿里巴巴旗下的 **Wan AI** 团队开发的一个人工智能创意平台，专注于利用先进的AI技术为用户提供多样化的视觉内容生成服务。该平台以其强大的视频和图像生成能力为核心，结合开源模型（如 Wan 2.1 系列），支持从文本到图像、文本到视频、图像到视频等多种创作任务。以下是对其功能和用途的详细介绍，基于公开信息和网站相关内容。

***

### **主要功能**

Wan AI 平台通过集成先进的生成式AI模型（如 Wan 2.1），为用户提供以下核心功能：

1. **文本到图像生成（Text-to-Image, T2I）**
    * 用户可以通过输入文字描述，生成高质量的静态图像。例如，描述“一只戴着墨镜的白猫坐在冲浪板上，海滩背景模糊”，即可生成符合描述的图像。
    * 图像支持多种风格（如赛博朋克、写实、卡通等）和分辨率，适合用于艺术创作、广告设计或社交媒体内容。
2. **文本到视频生成（Text-to-Video, T2V）**
    * 用户输入文字提示（如“两只拟人化的猫穿着拳击装备在聚光灯舞台上激烈对战”），平台可生成动态视频。
    * 支持多种分辨率（480p、720p，部分模型支持1080p）和时长（从几秒到数分钟）。
    * 特别之处在于，Wan 2.1 是首个能够同时生成中英文文本的视频模型，生成的视频中文字效果清晰，适用于多语言内容创作。
3. **图像到视频生成（Image-to-Video, I2V）**
    * 用户上传一张静态图像并搭配文字描述，平台可将其转化为动态视频。例如，将一张猫的图片转化为“猫在海滩上冲浪”的视频。
    * 支持多种分辨率（最高720p，部分场景支持1080p）和灵活的画面比例（如16:9、9:16、1:1），适配不同平台需求（如短视频、广告）。
4. **视频编辑（Video Editing）**
    * 提供基于AI的视频编辑功能，包括：
        * **结构保持编辑**：基于参考图像或视频进行精准修改。
        * **姿态保持编辑**：调整视频中对象的动作或姿态。
        * **视频修复与补全**（Inpainting/Outpainting）：修复视频中的缺失部分或扩展画面。
        * **多图像参考编辑**：结合多张图像生成或修改视频内容。
    * 这些功能适合专业用户用于广告、短片或教育内容的后期处理。
5. **视频到音频生成（Video-to-Audio, V2A）**
    * 平台支持根据视频内容生成匹配的音频效果，例如为生成的视频自动添加背景音乐或音效，增强沉浸感。
    * 这一功能目前在部分场景下可用，未来可能进一步扩展。
6. **首末帧到视频生成（First-Last-Frame-to-Video, FLF2V）**
    * 用户提供视频的首帧和末帧，AI自动生成中间帧，合成流畅的视频。
    * 适用于动画制作、视频修复或创意短片生产，支持多GPU加速推理，提供交互式测试界面（如Gradio demo）。

***

### **技术特点**

Wan AI 平台依托 Wan 2.1 系列模型，具备以下技术优势：

1. **高性能模型**
    * Wan 2.1 包含两种主要模型：
        * **T2V-1.3B 和 I2V-1.3B**：轻量级模型，仅需8.19GB显存，适合消费级GPU（如NVIDIA RTX 4090），可在约4分钟内生成5秒480p视频。
        * **T2V-14B 和 I2V-14B**：专业级模型，适合高分辨率（720p或1080p）和复杂场景，性能超越许多开源和闭源模型。
    * 在VBench基准测试中，Wan 2.1 得分高达84.7%-86.22%，在空间关系（92.1%）和运动准确性（89.4%）上表现优异，超越如Sora等竞争对手。
2. **高效的视频变分自编码器（Wan-VAE）**
    * 采用新型3D因果变分自编码器（VAE），优化时空压缩，减少内存占用，同时保持时间一致性。
    * 支持无限长度1080p视频的编码和解码，适合长视频生成任务。
3. **多语言支持**
    * Wan 2.1 支持中英文文本生成，生成的视频中文字效果清晰，克服了传统AI视频模型在文本渲染上的难题。
4. **开源与社区支持**
    * Wan 2.1 模型（包括代码和权重）完全开源，托管于 GitHub（https://github.com/Wan-Video/Wan2.1）和 Hugging Face（https://huggingface.co/Wan-AI）。
    * 社区贡献丰富，例如：
        * Phantom 开发了基于 Wan 2.1 的统一视频生成框架。
        * UniAnimate-DiT 提供了基于 Wan 2.1-14B-I2V 的人体动画模型。
        * DiffSynth-Studio 支持视频到视频、FP8量化、显存优化等扩展功能。
5. **消费级硬件兼容性**
    * 轻量级模型（1.3B）可在消费级GPU上运行，降低硬件门槛。
    * 提供多种优化选项（如FP8量化、TeaCache加速），可将生成速度提升约2倍。

***

### **使用场景**

Wan AI 平台适用于多种用户群体和场景，包括但不限于：

1. **内容创作者**
    * 快速生成短视频、动画或社交媒体内容，降低创作成本。
    * 通过图像到视频功能，将静态设计转化为动态广告。
2. **专业设计师与影视制作**
    * 用于广告、短片、教育视频的生成与后期编辑。
    * 企业版（通过阿里云 Model Studio）支持批量处理、商业授权和高分辨率导出。
3. **开发者和研究人员**
    * 开源模型和代码便于二次开发和学术研究。
    * 支持通过API集成到第三方应用（如 Monica AI、ComfyUI、SwarmUI）。
4. **小企业和营销团队**
    * 成本效益高，适合预算有限的团队制作高质量营销内容。
    * 多语言支持适合全球市场推广。

***

### **如何使用**

1. **访问平台**
    * 直接访问 https://wan.video，注册或登录阿里云账号以获取完整功能。
    * 部分功能可能通过阿里云 Model Studio 或第三方平台（如 Monica AI、Replicate、fal.ai）提供。
2. **操作流程**
    * **文本到视频**：输入文字描述，选择分辨率和模型，点击生成。
    * **图像到视频**：上传图像，输入描述，调整参数（如帧数、比例），生成视频。
    * **编辑与优化**：使用编辑工具调整视频细节，下载或分享成品。
3. **本地运行（开发者）**
    * 下载 Wan 2.1 模型（从 GitHub 或 Hugging Face）。
    * 使用提供的推理代码（如 `generate.py`）在本地运行，推荐配置：
        * 轻量模型：NVIDIA RTX 4090（8GB+显存）。
        * 专业模型：多GPU设置，16GB+显存。
    * 支持 ComfyUI、SwarmUI 等工作流工具，简化操作。
4. **提示优化**
    * 使用动作词汇（如“旋转”“跳跃”）、材质描述（如“光滑冰面”）和风格修饰（如“赛博朋克霓虹”）可提升生成效果。
    * 对于首末帧生成，建议使用中文提示以获得更佳效果（因训练数据以中文为主）。

***

### **与其他平台的整合**

Wan AI 模型被广泛集成到第三方平台，增强了其可访问性：

* **Monica AI**：提供用户友好的界面，支持文本和图像到视频的生成，适合非技术用户。 
* **Replicate**：提供云端推理服务，按视频生成计费（约0.2-0.4美元/次）。 
* **fal.ai**：专注于快速生成，适合测试文本到视频和图像到视频功能。 
* **ComfyUI 和 SwarmUI**：为开发者提供工作流支持，适合本地运行和定制化开发。

***

### **未来发展**

* **开源计划**：阿里云计划在2025年第二季度发布 WanX AI Video Generator 的开源版本，包括训练数据集和轻量级SDK，性能可达云端版本的85%。 
* **技术报告**：即将发布详细技术报告，披露更多模型架构和训练细节。 
* **扩展功能**：计划支持更长的视频生成（如10分钟）、更多语言和更丰富的编辑工具。

***

### **总结**

https://wan.video 是阿里巴巴 Wan AI 团队打造的AI创意平台，依托 Wan 2.1 系列模型，提供文本到图像、文本到视频、图像到视频、视频编辑等多种功能。其核心优势在于高性能、开源性、消费级硬件兼容性和多语言支持，适用于内容创作者、设计师、开发者和小企业。无论是快速生成社交媒体内容，还是进行专业视频制作，Wan AI 都提供了高效且灵活的解决方案。用户可通过网站直接访问，或利用开源模型在本地运行，未来随着开源生态的扩展，其影响力有望进一步扩大。

## 官网入口

https://wan.video/