画像生成AIは名画の巨匠を真似できるのか OpenAIの「Dall-E 2」を使ってみた

OpenAIの「Dall-E 2」のOutpainting機能を使って有名絵画の外側を描き足してみました。生成した絵画の出来栄えは……？　じっくり鑑賞することで、画像生成AIの進歩や弱点、人類の巨匠の偉大さが見えてきました。

[溝田萌里，キーマンズネット]

　大規模言語モデル「ChatGPT」の登場を皮切りに世の中は生成AI（人工知能）の話題で持ち切りです。「生成AIでできること」「生成AIが与えるリスク」「生成AIを使いこなすために、これからの時代に必要な教育」などなど多くの難しいテーマについて議論が進んでいます。ですが、そうしたことはいったん横に置いておいて、本記事は生成AIの“楽しい部分”に注目したいと思います。

　本稿で取り上げるのはOpenAIによる画像生成AI「Dall-E 2」の機能「Outpainting」です。既存の絵画の外側をAIによって描き足す新機能として2022年に11月に発表され、ちょっとした話題になりました。

　Outpaintingとは何か、Dall-E 2のWebサイトではヨハネス・フェルメールの作品『真珠の耳飾りの少女』をAIで拡張したイラストが紹介されています。人物の身体や背景に追加された置物の描写が崩壊することなくきれいに配置され、かつ絵のタッチも全体に調和がとれています。筆者は、このイラストを見て「自分が生成AIを利用してもこのクオリティーを再現できるのか」という興味がわき、本コラムを書くに至りました。

　今回は、有名絵画として『受胎告知』（フラ・アンジェリコ）、『天文学者』（ヨハネス・フェルメール）、『ムーラン・ド・ラ・ギャレット』（ルノワール）、『夜のカフェテラス』（ヴィンセント・ヴァン・ゴッホ）を選び、AIを使って拡張してみたいと思います（全てパブリックドメイン）。

　あくまで筆者の主観ですが、さまざまな面白い拡張絵画が生まれました。ぜひ生成AIの可能性に思いをはせつつ、広い心で読んでいただけたら幸いです。

『受胎告知』（フラ・アンジェリコ）

　Dall-E 2のOutpaintingは、画像から画像を生成する「i2i」技術の一つです。1024×1024ピクセルのフレームを1単位として、絵画の外側を足していきます。今回は、絵画の横幅を300ピクセルに合わせ、1フレーム分を拡張したいと思います。

　百聞は一見にしかずということで、outopaintingの様子をお見せします。まず、取り上げるのは初期ルネサンスの修道士であるフラ・アンジェリコの作品『受胎告知』。フィレンツェにあるサン・マルコ修道院の壁面に描かれたフレスコ画です。画面右の聖母マリアに天使ガブリエルが神の子を身ごもることを伝えるシーンが描かれています。

Fra Angelico,Public domain,Image viaWikimedia Commons

　こちらをDall-E 2に読み込ませると以下のような操作画面が出てきました。画面上部のテキストボックスにプロンプトを入力して「Generation」を押すと、「Generation frame」の青い枠線内に絵が描き込まれます。プロンプトは単に「expand（拡張して）」と入力して画像を生成してみました。その結果は……。

　図1が、『受胎告知』をAIで拡張した結果です。AIで生成したことを示すマークとして、右下にカラフルな透かしが入っています。ご覧になった印象はいかがでしょうか。筆者は絵画について全くの素人なのですが、以下で個人的な感想をお話ししたいと思います。

図1　『受胎告知』（フラ・アンジェリコ）をAIで拡張した画像（参考：Dall-E 2）

　元の絵画は、アーチ型の梁と柱のある建物が庭に面して描かれていましたが、この建物が下方向に拡張され、2階建ての建物に変わっています。絵の下部に大勢の人物による宴会のようなものが描き足され、背景の薄暗い色合いと相まって、元の絵画の静かで清らかな印象が大きく変わった印象です。今回の条件では、精緻な柱の装飾などは再現されず、絵のタッチも含めて描き足された部分はのっぺりとした感触になりました。なお、「フレスコ画風に」「フラ・アンジェリコ風に」とプロンプトを変えても柱の装飾を再現できず、ルネサンスの巨匠の技巧はちょっとやそっとではまねできないのだなというしみじみとした気持ちになりました。

　このように、生成AIで描き足した部分は元の絵画とのつながりに関して違和感はあるものの、これはこれで独特な雰囲気があって見るべきポイントが多いように思います。

　なお、Dall-E 2では1度の生成で4つのパターンを提案し、その中で気に入ったものがなければ、もう一度画像を生成して別の結果を得られます。今回も複数回試しましたが、一番はじめに得られた図1の結果が筆者の中で最もしっくりきたのでご紹介しました。

　さて、ここまででDall-E 2のOutpaintingを使ってできることが何となくお分かりいただけたかと思います。以下では、他の絵画についてもさくっとOutpaintingの結果をご紹介していきます。

『天文学者』（ヨハネス・フェルメール）

　次に取り上げるのは、17世紀オランダの代表画家であるヨハネス・フェルメールの『天文学者』です。人物が着ている服の青色や、集中した真剣な表情、天球儀や書物、アストロラーベ（天体観測器）といった周囲のモチーフ、室内を映した静かな構図などが、神秘で知的な雰囲気を醸し出していて、筆者もとても好きな絵画です。

Johannes Vermeer,L’Astronome,Image viaLouvre Museum

　『天文学者』の絵画の外側をAIで拡張すると図2のようになりました。視点が大きく後ろに下がり、置かれた家具など人物のいる部屋の様子が分かります。画面左には窓が2面ほど追加され、元の画よりも部屋が明るい印象になり、その結果、AIが描き足した影のコントラストが強く見えます。また、元の絵画は人物を真横からとらえた構図ですが、AIによって生成した絵画は人物を斜め後ろから見るような、バラバラな角度の視点が組み合わさっています。元の絵画の普遍的で知的なイメージとは異なり、不安定な空間の印象が面白い絵となりました。

　今回も、元の絵画との調和という意味では難しさがあるものの、今まで見ることのできなかった天文学者の部屋を垣間見れたということで、なかなか夢がある体験でした。

図2　『天文学者』（ヨハネス・フェルメール）をAIで拡張した画像（参考：Dall-E 2）

『ムーラン・ド・ラ・ギャレット』（ピエール＝オーギュスト・ルノワール）

　さて、次はさらに時代を下って、フランス印象派の巨匠ピエール＝オーギュスト・ルノワールの作品『ムーラン・ド・ラ・ギャレット』をAIで拡張したいと思います。こちらも多くの方に愛されてきた絵画ですが、その外側はどのように描かれるのでしょうか。

Pierre-Auguste Renoir,Moulin de la galette,Public domain,Image viaWikimedia Commons

　結果は図3のようになりました。まず驚いたのは、木の描写が崩壊することなく、並木道のようにきちんと描き足されていたことです。一方、元の絵画のように、柔らかな光の中で人物の表情やしぐさが浮かびあがるようなタッチは再現が難しそうでした。さらに元絵画では、手前の歓談している女性たちや、後ろでダンスをしている人たちなど、人物がそれぞれ別の視点で描かれていますが、周辺の絵が拡張されたことでこの印象が強まり、結果的に作者の視点の工夫に気付くことができました。

図3　『ムーラン・ド・ラ・ギャレット』（ピエール＝オーギュスト・ルノワール）をAIで拡張した画像（参考：Dall-E 2）

『夜のカフェテラス』（ヴィンセント・ヴァン・ゴッホ）

　最後は、オランダの後期印象派の画家ヴィンセント・ヴァン・ゴッホの『夜のカフェテラス』です。これを基に生成した絵画は、今回の中で筆者的に最も感動した出来でした。AIで拡張した結果は図4のようになりました。

Vincent Willem van Gogh,Terrasse du cafe le soir,Public domain,Image viaKroller-Muller Museum

　元の画では、右上に木の一部が書き込まれていることで絵の外側にイメージが膨らみますが、拡張後の絵画では新たに木の大部分が見えるようになり、さらに道も手前に前進して、その右手には別のカフェも描かれています。左のカフェは下から見上げるような視点で、右のカフェは建物の屋根が見えるような視点に立っていますが、その不思議さも相まってゴッホの絵の中をのぞいたような気持ちになりました。

図4　『夜のカフェテラス』（ヴィンセント・ヴァン・ゴッホ）をAIで拡張した画像（参考：Dall-E 2）

　さて、いかがだったでしょうか。筆者は有名絵画をAIで描き足すことで、技術の進歩を感じるとともに、AIには再現が難しい名画の特徴なども発見できて、学びの深い楽しい経験となりました。読者の皆さまもお時間が許せばぜひ試してみてください。なお、絵画によってはDall-E 2のポリシーに反するとしてアップロードできなかったり、パブリックドメインの作品であっても著作者が気分を悪くするような改変は禁じられていたりしますのでご注意ください。