ComfyUIでQwen-Image-Editを試す

ComfyUIでQwen-Image-Editを試した結果をまとめる。 ComfyUIが提供するテンプレートが良く出来ており、Lightingもすぐに導入できるようになっている。オブジェクトの追加・削除・変更などは安定して出来たが、スタイルの変更やテキストの編集には一部難があるように感じた。

苦手そうな絵柄の画像で試す#

多くの画像生成モデルが柔らかく透明感のあるタッチの絵柄が苦手印象があるため、そのような画像で試してみた。

また日本語の自然言語によるプロンプトも有効とあったので、日本語で試した。

画像プロンプト評価
(入力)
背景を白単色に
空を明るくして
横を向かせて
後ろを向かせて〇 ポーズが少し不自然
目を閉じて〇 機械的に調整したように見える
人物だけ実写調にして✖ 背景も実写調になっている
服に白色で「Qwen」と文字を入れて〇 服の皺を認識出来ていない
服をメイド服にして△ 絵柄が変わっている

Qwen-Imageで生成した実写画像で試す#

相性が良いと思われるQwen-Imageで作成した実写画像でも試してみた。

画像プロンプト評価
(入力)
Turn to the left
Sit down
Obtain the back-side
Remove the cat
Replace the weather with rain✖ ほぼ別人になっている
Replace the woman’s cloth with a very unfashionable cloth
Replace clothes with nudity◎ Qwen-ImageにはNSFWフィルターが入っているため無視されることを期待したが生成された。
Replace the background with a beach◎ 影の入り方も自然に変わっている
Convert the person into an anime style✖ 背景の絵柄も変わっている
Make only the background anime-style✖ 人物の絵柄も変わっている

試して思ったこと#

ここに載せていない画像生成も含めて、思ったことを次に列挙する。

  • 日本語プロンプトでも問題なく動作する。
    • ほとんどのケースで英語プロンプトと同等の結果が得られた。
    • 「しゃがむ」など一部の日本語は認識されないことがあった。
  • スタイルを維持したオブジェクトの追加・削除・変更は安定して出来た。
  • 実写調などスタイルの変更を部分的に行うことは一度も出来なかった。
  • 苦手なスタイルがあるようで、入力画像によっては、ほとんどのケースで絵柄が変わってしまうことがあった。
  • テキストの編集は上手く行かないケースが多くあった。
    • 元の画像の文字に不自然な歪みやノイズがある場合、そのまま引き継いでしまうことが多い。
    • 逆に、元の画像にあった服などによる自然な文字の歪みがなくなってしまうことが多い。
    • 文字の追加や、平面で歪みがない文字の編集は安定していた。

簡単な試し方#

趣旨から外れるので、ざっくりと紹介します。

  1. Browse Templatesを押す
  2. Qwen Image Editテンプレートを検索して選択する
  3. モデルのインストールを要求されたら全てインストールする
  4. インストールが終わったら「Step 2 - Upload Image for editing」に画像をアップロードして実行
  5. 生成速度を上げたい場合は、Lightingを指定しているノードのBypassを解除する
    • Qwen-Image-Lighting-4stepsの場合は、KSamplerのstepsを4に設定する
    • Qwen-Image-Lighting-8stepsの場合は、KSamplerのstepsを8に設定する
    • Lightingの詳細とLoraの入手方法はリポジトリを参照