稳定的对嘴(方案 A)
生成之后再修嘴型又慢又很难成功:模型已经生成一张大张的喊叫嘴,没办法再“改”成正确的字。要从一开始就用声音驱动嘴型。
- 分离主唱人声。 把歌曲分成主唱人声和其他部分;去掉和声与合唱。嘴型只跟一个声音走。
- 按句切段。 每段 3–8 秒,在换气的地方开始和结束。
- 只用正面近景。 胸口以上、整颗头在画面内,起始画面嘴巴闭着或微张,镜头固定。
- 声音驱动生成。 把起始画面和这段人声交给声音驱动的数字人模型。提示词写场景,再加上“没有声音时嘴巴闭上”。
- 其他镜头都不露嘴。 远景、背影、跳舞、手部、道具。在分镜表里标出哪几句露脸唱,其余设计成不需要对嘴。
- 用数据验收,不靠肉眼。 逐格追踪嘴巴张开的程度,和人声音量曲线比对。相关性低,或没声音时嘴巴还张着,就只重做那一段。
方案 B(最难的快嘴饶舌):由真人对着镜头表演这几句,再用动作/表情转移工具把表演套到角色身上(表演者的脸不会出现)。