>  > 


【アニメ制作】過酷なアニメ制作の現場、AIで救えるか 「動画マン」の作業を自動化、DeNAの挑戦


2019/02/07 17:08

「労働環境が過酷すぎる」「時間も人もお金も足りない」――日本のアニメ制作現場では、アニメーターの低賃金労働や法定労働時間の超過といった問題が指摘されている。こうした状況を、近年進化が著しいAI(人工知能)技術で改善できないか。ディー・エヌ・エー(DeNA)AIシステム部の李天キ(王に奇)さんが、2月6日に開催された技術者向けイベント「DeNA TechCon 2019」で、最新技術を用いた事例を紹介した。

 アニメの制作現場でも特に過酷とされるのが「動画マン」と呼ばれる仕事だ。動画マンは、滑らかなアニメーションになるように、原画と原画の間を埋める絵(中割り)を描く人のこと。

 私たちが良く目にする「30分間のテレビアニメ」の場合、1話当たり3500〜4000枚の中割りを描く必要があるという。1枚を完成させるのに数時間かかることもあるが、給与はほとんどの場合1枚いくらの歩合制。時間をかければかけるほどアニメーターの時給は下がっていく。


※アニメの中割りをAIで生成
http://image.itmedia.co.jp/news/articles/1902/07/anime_ai_02.jpg

■「構造変化が大きい」 アニメの難しさ

 李さんは、与えられた原画のデータを基に、原画と原画の間を埋める中割りの画像を自動生成できないかと考えた。実写動画の中間フレームを自動補完する「Frame Interpolation」という技術は既に存在する。ニューラルネットワークが、2枚の画像間におけるピクセルの移動量を表したベクトルマップ「Optical Flow」を算出し、中間フレームを合成するというものだ。


※「Frame Interpolation」の技術
http://image.itmedia.co.jp/news/articles/1902/07/anime_ai_03.jpg

 いまの技術では、フレームレートが30〜60fpsの動画を入力すると、中間フレームが補完された240〜480fpsのより滑らかな動画を生成できるという。

 しかし、この手法をそのまま「アニメの中割り」に適用するのは難しい。実写動画とアニメではフレームレートが違いすぎるからだ。フレームレートが低いアニメは「画像間の構造変化が大きい」。


※アニメの中割りにはそのまま適用できない
http://image.itmedia.co.jp/news/articles/1902/07/anime_ai_04.jpg

 李さんは「実写動画に比べ、アニメはフレームレートが低い。またイラストは実写に比べて色が単調でピクセルの対応点を特定しにくく、Optical Flowの計算が困難だ」と説明する。

■「構造情報」を使って滑らかなアニメーションを作成

 そこで李さんは「構造的生成学習」(SPGANs、Structure-consistent Prediction GANs)という手法を提案する。

 既存手法では、入力する2枚の画像間のOptical Flowを算出するだけだったが、これに首、肩、肘など関節点の座標を線でつなげたデータと、髪形、目、顔など部位ごとにフィルタリングした「マスクデータ」などを加えた。キャラクター全身の複雑な動きに対応できるよう、コンピュータに与える情報量を増やしたのだ。


※DeNAの提案
http://image.itmedia.co.jp/news/articles/1902/07/anime_ai_05.jpg

 こうした「構造情報」を利用したマルチタスクの学習モデルにし、生成した中間フレームをAIの識別器(discriminator)で「正しく描けているかどうか」評価させ、学習を繰り返した。

 また、2つの識別器を使うことで生成する中間フレームの品質を向上できたという。李さんは「静止画の細部と、画像を時系列で見たときの両方を評価することで、より自然で連続的な動きになっているかと画像の品質を確認した」と話す。


※2つの識別器を使って品質向上を図った
http://image.itmedia.co.jp/news/articles/1902/07/anime_ai_06.jpg

 同社が行った実験では、ゲームサイト「Mobage」のアバターを使用。動画から連続する5枚の画像を抽出し、最初と最後の画像から中間の画像3枚を生成できるか検証した。7fpsや30fpsなどフレームレートの間隔を変えながら実験したが、構造変化が大きい低フレームレートの動画でも「常に安定してフレーム補完ができた」(李さん)としている。


※構造変化の大きい画像の中間フレームも安定して生成できたという
http://image.itmedia.co.jp/news/articles/1902/07/anime_ai_07.jpg

 同社はアニメ「ずんだホライずん」の中割りを生成するテストも行っており、イベント内ではキャラクターの髪がふわふわと動いたり、口が滑らかに動いたりする動画が公開された。

 DeNAは今後もアニメ生成技術の研究を続けていく。AIの活用で、動画マンの労働環境はどのように変わっていくのだろうか。

www.itmedia.co.jp

7.一覧へ戻る
*.
リンク元ページへ戻る

Twitterでつぶやく
LINEで送る
ニュースURL:


| Qwe | DatNews | DatPictures | auch | Flash Lite |
0.トップページへ
Supported by text.qwe