Stability Matrix + ComfyUI + Wan2.1 でローカル動画生成

RTX5070TiでStability Matrixを使い画像生成(Stable Diffusion WebUI Forge)出来ました。

せっかくなので動画生成AIもやるかと調べると、Wan2.1もStability Matrixで使えるとのこと。早速試してみました。

設定方法

簡単に書くと、
・Stability MatrixのパッケージからComfyUIをインストール
・ComfyUIのワークフロー>テンプレートを参照>ビデオからWan用テンプレート選択
・必要なモデルが提示されるのでダウンロード
・ノードで画像指定して実行するボタン押す

これで生成できました。

今の設定だとwebpファイルで出力されるけど、webp面倒くさいね…

Photoshopに拡張機能入れてwebpを開き、レイヤーをフレームに変換して、タイムラインで時間調整して、mp4に書き出してようやく利用できるようになった。

たぶんComfyUIから直接mp4にする方法もあるはず?

生成された動画

できたものがこちらです。素材画像もAI生成してます。狐巫女さんがすごく自然な動きをして可愛い。

以下はちょっと不自然な動きのメイドさん。

他にも幾つか生成したけどいまいちな出来… やっぱりプロンプトや設定ちゃんと書かないとダメか。まあWebの動画生成サービスでも失敗作多いのでそういうものかもしれないけど。

まとめ

動画生成の環境構築までは簡単にできました。ここから意図した自然な動きをさせようとすると難しそうです。

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です


reCaptcha の認証期間が終了しました。ページを再読み込みしてください。