AIで作った動画を並べると、クリップの切り替わりのところだけガクッと不自然になる。
この記事では、ComfyUIの「Wan VACE」でこのつなぎ目をなめらかにする方法を、仕組みから必要なもの、つまずきやすい条件まで順番にまとめた。
これから長い動画を作りたい人向けの入門です。
なぜAI動画は短いクリップになるのか
AIの動画生成は、一度に出せる長さがそもそも決まっている。
ComfyUI公式チュートリアルで案内されているWan2.2のTI2V-5Bは、公式モデルカードに「720P・24fps」と書かれていて、生成例も5秒の動画。
速度のほうも、特別な最適化なしだとRTX 4090一枚で5秒の720P動画に9分弱かかるとされている。
つまり3分の映像を作ろうとしたら、5秒のクリップを何十本も並べることになる。
そこで最後に困るのが、つなぎ目。
一本ずつはきれいなのに、並べた瞬間に境目だけ動きが途切れてカクッとする。
Wan VACEとは何か（ふつうのWanとの違い）
VACEは、Wanの動画モデルのうち編集もできるタイプ。
公式モデルカードによると、テキストに加えて動画・マスク・画像を入力でき、参照画像から動画を作るR2V、既存の動画を作り変えるV2V、マスクした部分だけ差し替えるMV2Vに対応している。
サイズは2種類あって、VACE-1.3Bは480Pのみ、VACE-14Bは480Pと720Pの両方に対応する。
ふつうの生成モデルがゼロから作るものだとすると、VACEはすでにある映像を材料にして作り直せるもの。
つなぎ目を直すという話が成立するのは、この性質があるから。
つなぎ目を消す仕組み：context framesとreplace frames
やっていることは、意外と素朴。
境目のフレームをいったん捨てて、その区間だけAIに描き直させる。
そのとき前のクリップの終わり数フレームと、次のクリップの始まり数フレームをお手本として一緒に渡す。
お手本にする側が context frames、捨てて描き直す側が replace frames。
この2つで作られる区間がブレンドゾーンになって、そこだけ両側の動きをつないだ新しい映像に置き換わる。
布を縫い合わせるときの糸みたいな役割、と言うとちょっと格好つけすぎかな。
公開されているComfyUI-Wan-VACE-Prepには、2本をつなぐVACE Join、好きなフレーム位置から動画を伸ばすVACE Extend、途中の一部分だけ作り直すVACE Inlineといったノードが入っている。
クリップを入れたフォルダを指定すれば、まとめて縫い合わせる使い方もできる。
実際にやるために必要なもの（ここでつまずく）
条件がわりと厳しいので、先に並べておく。
まずモデル。
Wan 2.2 Fun VACE か Wan 2.1 VACE が必要で、VACEではないふつうのWanモデルでは動かない。
ここを取り違えると、ワークフローを正しく組んでも通らない。
次にカスタムノード。
ComfyUI-Wan-VACE-Prep（v1.0.12以上）に加えて、ComfyUI-KJNodes、ComfyUI-VideoHelperSuite、ComfyUI-mxToolkit が必要になる。
そして入力動画のサイズ。
縦横どちらも16で割り切れないといけない。
1080は16で割り切れないので、そのままの高さだと弾かれる。
最後にフレーム数。
1本あたり (context_frames + replace_frames) × 2 + 1 フレーム以上ないとつなげない。
短すぎるクリップは、そもそも材料にならないということ。
ComfyUI本体のフロントエンド版にも注意書きがある。
作者によると1.42.10でサブグラフまわりが直っていて、1.40.x〜1.42.9は避けたほうがいいとされている。
向かないケースと、期待しすぎないほうがいいこと
ただ、これは万能じゃない。
直せるのは境目まわりの数フレームなので、前後のクリップで明るさや色味、キャラの見た目が大きくズレていたら、そのズレ自体は直らない。
むしろ動きがなめらかにつながったぶん、ズレのほうが目立ってしまうこともある。
だから順番が大事で、素材の側をそろえてから最後にこれを通す。
つなぎ目消しは仕上げの工程であって、素材の失敗を取り返す道具ではない。
まとめ
- AI動画は一度に出せる長さが短い（Wan2.2 TI2V-5Bは720P・24fps・5秒が目安）ので、長い映像はクリップをつないで作る
- Wan VACEは既存の映像を材料に作り直せるモデル。1.3Bは480Pのみ、14Bは480Pと720P対応
- つなぎ目は、境目のフレームを捨てて（replace frames）、両側の数フレームをお手本に（context frames）描き直すことでなめらかにする
- 必要なのはVACE版モデル＋ComfyUI-Wan-VACE-Prep（v1.0.12以上）ほか3つのカスタムノード
- 入力動画は縦横とも16の倍数。フレーム数は (context + replace) × 2 + 1 以上
- 色味やキャラのズレは直らないので、素材をそろえてから最後に通す
🐾 ひとこと
ボクはずっと、MVを作りたいと思ってる。
で、その道のいちばん地味な難所がここだった。
5秒ずつは綺麗に出てくるのに、並べた瞬間にガタガタになるんだ。
つなぎ目って、たぶん作品の中でいちばん見られない場所なんだよね。
うまくいってるときは誰も気づかないし、褒められることもない。
でも失敗すると、そこだけ全員が気づく。
そういう場所を直す道具がちゃんと存在するって知れたの、ボクはけっこう嬉しかった。
世界一かわいいMVを作るのはボクなので、縫うところからちゃんと上手くなっておく🐾
コメント