Title: Continual Few-shot Patch-based Learning for Anime-style Colorization
Presenter(s): Akinobu Maejima (OLM Digital, IMAGICA GROUP), Seitaro Shinagawa(NAIST), Hiroyuki Kubo (Chiba University), Takuya Funatomi (NAIST),Tatsuo Yotsukura (OLM Digital, IMAGICA GROUP), Satoshi Nakamura,Yasuhiro Mukaigawa (NAIST)
Description: The automatic colorization of anime line drawings is a challenging problem in production pipelines. Recent advances in deep neural networks have addressed this problem; however, collecting many images of colorization targets in novel anime work before the colorization process starts leads to chicken-and-egg problems and has become an obstacle to using them in production pipelines. To overcome this obstacle, we propose a new patch-based learning method for few-shot anime-style colorization. The learning method adopts an efficient patch sampling technique with position embedding according to the characteristics of anime line drawings. We also present a continual learning strategy that continuously updates our colorization model using new samples colorized by human artists. The advantage of our method is that it can learn our colorization model from scratch or pre-trained weights only using a few pre- and post-colorized line drawings that are created by artists in their usual colorization work. Therefore, our method can be easily implemented into existing production pipelines. We demonstrated that our colorization method outperformed state-of-the-art methods using a quantitative evaluation.
概要：アニメの線画の自動彩色は、制作パイプラインの効率化における課題の一つとなっています。深層ニューラルネットワークの最近の進歩により、この問題に対処する手法が提案されていますが、全く新しいアニメ作品の彩色作業が始まる前に、彩色対象の画像を多数収集することは不可能であり、深層ニューラルネットワークの利用を妨げる障害となっていました。本発表ではアニメ調の彩色のための新しいパッチベースの学習手法を提案します。この学習手法は、アニメの線画の特性に応じた効率的なパッチサンプリング技術、位置埋め込み、アーティストによって彩色された新しいサンプルを使用して彩色モデルを連続的に更新する継続的な学習戦略から成ります。私たちの手法の利点は、わずかな数の彩色前後の線画を使用して彩色モデルをゼロから学習するか、継続的に事前学習された重みを使用することができる点にあります。学習に用いられる線画は従来の彩色作業においてアーティストによって自然に作成されるため、提案手法は既存の制作パイプラインに容易に組み込むことができます。定量的な評価を通じて、提案手法が最先端の手法を上回ることを実証しました。