YuE2:先改旋律与和弦计划,再生成完整歌曲

新模型猫目发布于 来源:YuE2 main README
从官方中文歌曲的三组和声处理看可编辑乐谱的价值,也看清整曲重新生成与权重许可的边界。
YuE2:先改旋律与和弦计划,再生成完整歌曲

为什么值得关注

模型把旋律和和弦计划暴露出来,修改者能具体决定保留哪些音、改变哪些和声,再生成新的完整录音。

适合谁:希望反复调整歌曲旋律、和声或结构,愿意保留并比较乐谱版本的创作者

这次有哪些亮点

  • 默认生成可编辑的旋律与和弦计划
  • 支持完整计划、仅旋律及直接生成三种条件方式
  • 官方提供中文歌连续编辑和和声对照材料

使用前需要知道

main是2026年9月YuE2,旧YuE在YuE-v1分支。编辑会重新生成完整录音;本地需24GB显存等条件。权重非商业许可附个人创作者额外许可,公司商用需另行授权。

想把一首流行歌改得更有爵士感,只改一句风格描述,往往说不清究竟希望哪部分变化。YuE2 提供了更具体的入口:先得到可阅读、可修改的旋律与和弦计划,再把修改后的计划生成有歌声和伴奏的音频。对希望反复打磨一首作品的人,这比单纯多抽几首更值得研究。

从一首中文歌看修改如何推进

官方项目页的 The Last Train 案例,从一首普通话流行歌开始。页面给出原始中文歌词、风格描述、ABC 乐谱和整曲播放器;随后要求保留旋律与歌词,换成爵士和声。官方为这一轮留下三种版本:修改和弦的版本、只改风格描述的对照,以及只提供旋律、不指定和弦的对照。

这组材料的价值是把三个不同决定摆到了一起。你可以明确要求哪几个音继续唱、和声如何改变,也可以主动把伴奏的选择交回模型。它让“更爵士一点”变成可讨论的创作动作。本文读取了案例与乐谱材料,没有本机生成,也没有把官方音频写成编辑亲测结果。

计划里确实有可改的内容

ABC 是用文本记录乐谱的方式。案例原谱中能看到 D、A/C#、Bm7 等和弦,改编版对应位置换成 Dmaj9、F#7/C#、Bm9 等符号;页面同时保留了旋律声部。即使暂时不懂这些和弦的听感,也能看出作者改变的是伴奏的和声安排,而不只是给提示词加上 jazz。

官方独立编辑指南还给了一组更收敛的例子:保留旋律、歌词顺序、拍号、速度、风格与种子,只把和弦改成七和弦,再比较两份乐谱的音符和时间是否一致。这样的检查可以确认“文字乐谱里保留了什么”,但最终音频有没有准确实现和声、是否更喜欢,仍需要听。乐谱一致不等于演唱音色和波形一致。

YuE2 官方架构图:左上为可编辑乐谱,经过音乐语义与声学表示,右上生成音频

图中先看最上方从 SYMBOLIC SCORE 到 GENERATED AUDIO 的路径,再看下方 CREATE、COVER、EDIT 三个入口。它解释了为什么创作、翻唱和编辑可以共用生成流程:不同的是乐谱从哪里来。图里的五线谱与频谱是官方架构示意,不是本文改编后录制的效果。(打开原图)

给模型多少自由,可以自己决定

默认 cot="full" 会生成旋律与和弦计划;melody 模式只用旋律计划,让伴奏自由变化;off 则从歌词和风格直接生成。已有乐谱时,也能把自己的 ABC 作为输入。对暂时不会写谱的人,先让模型出一份计划,再请支持该项目技能的智能体调整具体部分,是官方提供的路径。

但智能体不是独立的音乐生成模型:它修改谱面、歌词或风格,YuE2 才负责生成音频。官方多轮案例后来还改了速度、段落与插奏,页面保留各版输入,适合沿着一次修改去复查。这里我更建议先看前面那组三种和声处理,再考虑复杂改编,因为它最容易分清自己想控制的是什么。

还要留意:这是一份新录音的生成过程,不是对原音频做无损的局部补丁。即使只改一处和弦,整段声音也可能重新变化。已有满意成品时,应保留原音频与原计划,把新版作为候选比较。

当前主分支是 YuE2,许可也要看这一代

当前仓库 main 对应 2026 年 9 月的 YuE2,原始 YuE 的代码、文档和许可保留在 YuE-v1 分支。不要拿旧 YuE 教程的模型组合或授权来套当前版本。YuE2 本地快速开始要求 Linux、Python 3.12,以及支持 BF16、具备 24GB 显存的 NVIDIA GPU;首次使用从 Hugging Face 下载模型,输出包括音频及乐谱等过程文件。

若先看能力,可以从 YuE2 官方项目页 的成对材料入手,README 也链接 NOIZ 托管的在线演示。官方称其可免费尝试,实际使用条件以演示页面为准。

代码、文档和技能采用 Apache 2.0,模型权重则是 CC BY-NC 4.0 加个人创作者额外许可:符合条件的个人可免费生成并变现输出,公司商业使用权重需联系授权。这是开放权重模型,不能笼统称为无限制商业开源。对愿意围绕乐谱和版本继续修改的人,透明的创作计划是采用理由;对只想一次点完、无须再核对旋律与演唱的人,这套流程会多出真实的学习与判断工作。

参考:

原始资料:YuE2 main README

以上为编辑整理,功能、许可与使用条件以官方说明为准。

返回每日分享