2021年6月 文献/技術記事解説
シーン認識に重要な役割持つ本質的な情報(最小セット)「シーンエッセンス」およびそれを学習するためのNNの提案。GNNをシーンオブジェクトを本質的なものとマイナーなものに分割するように学習し、マイナーなものをInpaitingによって消去することでシーン識別者を欺く。https://t.co/csGL1TQuI1 pic.twitter.com/AoLMJaMHEa
— Teppei Kurita (@kuritateppei) 2021年6月30日
低照度下でのフラッシュ・ノンフラッシュ画像でノイズ除去を行う。極度の低照度下ではフラッシュなしの画像はノイズに埋もれ、低周波の陰影までも見えなくなるので位置合わせすらできなくなる。そこでまずカーネル正則化ベースNNでノンフラッシュのノイズを効果的に除去する。https://t.co/TsCTGQ5pXE pic.twitter.com/mgPeikzTgQ
— Teppei Kurita (@kuritateppei) 2021年6月24日
RAW画像のデモザイク、ノイズ除去、超解像を同時に行いRGBを出力するEnd2EndのNN。スケーラブルな設計がキモでパラメータであるノイズレベルを0、スケールを1に設定すればノイズ除去と超解像の動作をOFFにできる。様々な手法を体系的に検討し提案手法と比較し優位性を確認。https://t.co/rCrQsJzzpG pic.twitter.com/E4bMb4Q5yq
— Teppei Kurita (@kuritateppei) 2021年6月23日
sRGB画像からほぼ完全なRAW画像を復元する。従来手法ではISPの情報損失を伴うStepが性能を制限していた、そこでRAW⇔RGBの反転可能なISPを実現する反転可能なNNを提案。JPEGの量子化プロセスでの損失を抑えるために微分可能なJPEGシミュレータをネットワークに統合。すごい。https://t.co/eZnHpyXUTx pic.twitter.com/3Br5kwKWt4
— Teppei Kurita (@kuritateppei) 2021年6月18日
Few-Shotなインスタンスセグメンテーション。Mask R-CNNの特徴抽出器を再利用することにより、判別可能なインスタンスごとのembeddingを生成。従来手法では難しい新規クラスを柔軟に追加することができ、画像ではなくembeddingを学習し保存する事でメモリ量も削減。https://t.co/PI0pj8xsqD pic.twitter.com/G9LI4MheHg
— Teppei Kurita (@kuritateppei) 2021年6月15日
畳み込み空間伝搬ネットワーク(CSPN)の改良版CSPN++。畳み込みのカーネルサイズと伝搬の反復回数も学習させることで効率性・性能を向上。また従来はノイズのある疎な入力データを完全に信頼していたが、入力の誤差も考慮に入れた信頼度も学習することでロバストな出力を実現。https://t.co/mqVr9ROOY2 pic.twitter.com/mUeqhGARfU
— Teppei Kurita (@kuritateppei) 2021年6月12日
疎なDepthの保存を保証するようなDepth補完のための親和性行列を学習するためのシンプルかつ効率的な畳み込み空間伝搬ネットワーク(CSPN)の提案。従来の空間伝搬ネットワークと比較し高速であり性能も良い。あらゆるタイプのCNNと共同で学習することが可能。https://t.co/nkyXBLHbVM pic.twitter.com/l9tsGyLQUR
— Teppei Kurita (@kuritateppei) 2021年6月11日
DLベース単眼Depth推定は、学習した解像度と同程度の入力解像度では推定値は一貫した構造を持つが高周波は損なわれる、一方入力解像度が高くなると高周波はよく捉えられるが構造的な一貫性は低下する。そこで同じ画像を異なる2つの解像度でDepth推定をし推定値を合成する。https://t.co/wpuudTIQNv pic.twitter.com/uwyxr3D2Ng
— Teppei Kurita (@kuritateppei) 2021年6月7日