機械任せでキミコエのファンアートを描いてみる ～Stable Diffusion, NovelAI～

by 岩淵夕希物智 (@butchi_y)
2022/12/15

機械任せでキミコエのファンアートを描いてみる ～Stable Diffusion, NovelAI～

本記事はキミコエ アドベントカレンダーの15日目の記事です。

2022年11月26日に行われたサイエンスカフェ(オンライン) 機械任せで絵師になる方法 ～Stable Diffusion, NovelAI～ のレポート記事を兼ねます。

スライドはこちら。

https://speakerdeck.com/butchi/science-cafe-2022-11-26-automatic-illustration

まえがき

自己紹介としては、私は 言語 の創造に携わる博士(工学)で、

中学校と大学で 美術部 に所属していました。

上京して約8年間 Webエンジニア として働いて、その後なんやかんや（入院とか）あって現在に至ります。

2

美術部に所属していたのもありデッサン力はあるはず（自称）ですし、

大学でも画像や音楽にかかわる研究をしていて芸術に関する素養はあるはず（自称）、

そして仕事もプログラミングがメインながらアニメーションやデザインもそこそこ自力で組めないといけない業務内容だったので芸術センスもあるはず（自称）です。

描いてほしい絵がある

でも、イラストが未だにうまく描けないので経験不足を実感しています。

↑ 参考までに、今の画力はこんなもんです。

朱音さんが好きなので、朱音さんのファンアートをいっぱい見たいのですが、キミコエのファンアートを定期的に描いてくれる人自体が数えるぐらいしかいないので、メインキャラとも言えない朱音さんとなるとさらにレアです。

4

そこで現れたのが「Novel AI」といういわゆる「画像生成AI」という技術です。

Stable Diffusionというプログラムから派生したサービス（正式名称はNovel AI Diffusion）で、私も最初のうちはStable Diffusionをローカルで動かしていましたが、Novel AIのほうがいい感じの絵が出てくるのとすぐ始められるので、今回の記事もNovel AIを重点的に紹介します。

絵を作るには基本的にはpromptを希望に沿った形で書きます。promptは 呪文 とも呼ばれ、言語と画像がうまく結びついているのです。 コトダマ の力を感じますね！！

次の呪文を唱えたところ、こんな感じでイラストが生成されました。

playing yellow acoustic guitar, {{{sing with a guitar}}}, black eyes, large eyes, round eyes, dark blue hair, long hair, [chubby], {{{aqua dress shirt}}}, radio dj, {black headphones}, cafe, {{{38 years old}}}, mother

5

朱音さんの年齢は定かではないですがお母さんキャラを強めるために {} で年齢を強調したり、 [] で少しだけぽっちゃりめに指定してみたりしました。

ヘッドホンやギターが歪んでいる、指がちょっと変などの問題はあったりしますが、なかなかに朱音さんの絵が表現できたのではないでしょうか。

最終的に行き着いたイラストです。
（ちょっとはっちゃけすぎたでしょうか。）

画風をいろいろなアニメのタイトルと混ぜてオリジナルブレンドみたいにしましたけど、やっぱりキャラクターに合う画風にするのが難しいですね。

パラメーターをややふんわり寄りに調整して優しい感じが出せたのがよかったです。

使用ツール

まず試しに使っていたのはStable Diffusionというツールです。

6

今回メインで使ったのはNovelAIです。

7

Stable Diffusion vs. NovelAI

8

Stable Diffusionはちょっとがんばれば無料で実行できて、さらにPythonプログラミング等の知識があれば拡張して使うこともできます。

NovelAIはWebサービスとして提供されているものなので、プログラミングの知識は一切不要です。
ただし 課金 は必要です。

機械生成のメリットとデメリット

9

機械生成は間に人を介さないだけあってすべて自分の裁量でできるうえ、割と無理な注文にも応えてくれるのがすごいところですね。

一方で、今のところの性能ではハズレな出力もけっこう出てきてしまいます。なのでガチャ的に何度も引いてアタリを見つけるという流れになりがちです。

日進月歩で改良はされ続けているのですが、特に手など体のパーツは苦手なようで、時には人に見せられないレベルのヤバい出力も…。

技術的な話

画像生成の周辺技術（コア機能とサブ機能）を紹介します。

txt2img

12

一番使う機能で、先ほどの朱音さんのイラストもこの機能を使って描きました。prompt (呪文) に沿った画像を生成してくれます。

img2img

txt2imgで生成した画像やラフ絵、3Dデッサン人形の構図などから画像を生成できます。（基本的には呪文も必要。）

14

15

フリー素材をもとに生成するのも試してみました。

16

その他の機能

upscale, inpainting, outpaintingなどの機能があります。

17

18

19

理論的なお話

理論的なお話は駆け足となってしまいましたが、
テキストと画像のエンコード・デコード、そしてDiffusionモデルという「画像にノイズを加えてから画像を復元する」という工程を繰り返すことでテキストに沿った画像が出力されることを説明しました。

21

22

その他もろもろ

Null Portrait Girl

勢いで作って2022年12月現在は更新が滞り中ですが、Stable Diffusionで写真風CG集をつくる取り組みもしています。

Null Portrait Girl

24

参考文献

AIとコラボして神絵師になる　論文から読み解くStable Diffusion (白井 暁彦 著)

25

Tips

いわゆる「AIイラスト」を投稿するにあたって

日本のイラスト投稿サイトで最大手のpixivが2022年10月にAI生成作品の取り扱いに関する機能をリリースしました。

当リリースによると、AI生成作品が「制作過程のすべて、もしくはほとんどをAIによって生成された作品」と定義され、投稿時にAI生成作品か否かの項目が追加、フィルタリングにも影響するとのことです。

つまり、ざっくり言えば機械任せのイラストと従来の手描きイラストの棲み分けが必要になったということです。

キミコエのファンアートだと、キミコエのイラストハッシュタグ「#キミコ絵」に投稿すること自体は問題ないという認識ですが、ハッシュタグ検索時に除外できるように「#AIart」や「#stablediffusion」「#NovelAI」などのハッシュタグと一緒に投稿するのが無難かと思われます。
（あくまで筆者の個人的見解ではあります。）

特に、同じ構図でいい感じのイラストが生成されたときに連投しちゃったりすると、ハッシュタグを辿るときにすごく辿りづらくなるので、その辺の気遣いをお願いしますね。

【コトダマ部インタビュー】キミコエキャラデザ 青木俊直さん「僕にとってもデビュー作だったんですよね」
【コトダマ部インタビュー】キミコエ作画 高橋瑞香さん「キミコエの世界観を守ることが使命と思っています」
はじまりの日　～コトダマ記念日～