やむやむもやむなし

やむやむもやむなし

自然言語処理やエンジニアリングのメモ

【4日目】Pre-training without Natural Images

この記事はNLP/CV論文紹介 Advent Calendar 2020の4日目の記事です。
今日はcvpaper.challenge発の取り組みである事前学習用のフラクタル画像のデータセットの論文です。

0. 論文

Pre-training without Natural Images
Hirokatsu Kataoka, Kazushige Okayasu, Asato Matsumoto, Eisuke Yamagata, Ryosuke Yamada, Nakamasa Inoue, Akio Nakamura, Yutaka Satoh

1. どんなもの？

フラクタル図形を用いてImageNetのような事前学習用のラベル付きデータセットを構築、その事前学習の効果をImageNetや自己教師あり学習の手法と比較した。

2. 先行研究と比べてどこがすごい？

ImageNetとは違い、フラクタル図形およびそのパラメータによるカテゴリを設定することで、人手を介さずに大量のラベル付きデータを自動で生成することができる。

3. 技術や手法のキモはどこ？

フラクタル図形のような、画像分類などのタスクでは普通は表れない画像を事前学習に用いる試み。
フラクタル図形とそれらを制御するパラメータを調節してカテゴリを用意することでラベル付きのデータセット「FractalDB-1k/10k」を構築した。
そしてこのFractalDBを事前学習に使用したモデルとImageNetや自己教師ありの手法(DeepCluster-10k)とでDown-streamタスクでの性能の比較を行なった。

f:id:ymym3412:20201204040520p:plain

4. どうやって有効だと検証した？

複数の画像データセットを使って事前学習の比較を実施。FractalDBで学習したモデルが一部のデータセットではImageNetを上回る効果を示した。

f:id:ymym3412:20201204040821p:plain

またC10データセットではスクラッチでの学習よりも早く学習が収束している。
f:id:ymym3412:20201204040955p:plain

5. 議論はある？

ImageNetには及ばない点はあるが自己教師あり学習よりも良い特徴を学習できているのは良い点。
自然法則を活用して大規模データセットを構築する点も面白い、自然言語処理ではマスク言語モデルによる自己教師あり学習が主流だが、このようなデータセットをNLPでも作れたりするだろうか？

またこの論文はcvpaper.challengeコミュニティ発の研究論文で、ACCV2020においてBest Paper Honorable Mention Awardを獲得しました。おめでとうございます！