【21日目】Flow-edge Guided Video Completion
この記事はNLP/CV論文紹介 Advent Calendar 2020の21日目の記事です。
今日は動画の欠損した領域を補完するVideo Completion TaskでFlowベースの手法の中で輪郭などもしっかりと補完できる手法の紹介です。
0. 論文
[2009.01835] Flow-edge Guided Video Completion
Chen Gao, Ayush Saraf, Jia-Bin Huang, Johannes Kopf
1. どんなもの？
FlowベースのVideoの領域補完の手法
2. 先行研究と比べてどこがすごい？
エッジ抽出器を用いることで境界面がぼやけず補完できる。色の伝播に色の勾配値を使うことで継ぎ目の違和感を減らす
3. 技術や手法のキモはどこ？
Flow-baseのVideo Completionモデル
従来手法では補完領域の隣接エリアからピクセルを伝播させていくと物体同士の境界がぼやけてしまっていたが、エッジ抽出器の出力を用いて伝播を行うことでぼやけることを減らした。
また単純に隣接領域から伝播させるだけでは補完できないこともあるため、フレームの時間的前後のフレームも使って補完することを行なっている。
色については、色をそのまま伝播すると継ぎ目が生じてしまう問題が先行研究にあったため、色の勾配を計算してそれを伝播させることである程度ぼやけさせて色を伝播でき(?)継ぎ目を減らすことができている。
4. どうやって有効だと検証した？
タスクに対して、定性/定量の両方から検証した。
定量評価ではいずれのデータセットと指標でも既存手法を上回る結果を示した。
定性についても自然に画像の補完ができている
5. 議論はある？
時間的に前後のフレームから補完しているので長い時間での領域補完はできないかなと思ったがデモビデオを見るとかなり自然にできているので、読み違えたかまだ理解できていない部分があるかもしれない
6. 次に読むべき論文は？
Flow-baseのVideo Completion手法
