2021年10月 文献/技術記事解説
End2Endで微分可能なDepthセンサ用のシミュレーションパイプラインDDS。Structured Lightとブロックマッチングのメカニズムを再現し、新しいデバイスのシミュレーションや最適化が容易に。Depthベースの物体分類・姿勢推定・セグメンテーション等の認識タスクに対し特に有益。https://t.co/xSWQaHFrhu pic.twitter.com/nKqxGc37tY
— Teppei Kurita (@kuritateppei) 2021年10月30日
単眼Depth推定(SIDE)モデルのいくつかの隠れ層のUnitは特定のDepthの範囲にのみ反応すること(Selectivity)を発見。そこでSIDEの解釈可能性をそのDepthのSelectivityによって定量化することを提案。更に元のアーキテクチャを変更せずに解釈可能なモデルを学習させる事を提案。https://t.co/mX2Lb662Xs pic.twitter.com/iNEQALrVnf
— Teppei Kurita (@kuritateppei) 2021年10月24日
単眼Depth推定(SIDE)と疎なDepthからの補完を統合した単一アーキテクチャの提案。疎なDepthのEncodigをSparseな畳み込みで有効なDepthのみを処理しているのがキモ。疎Depthが利用可能な場合SIDEモデルにスキップ接続。SIDEでSOTA、補完でも特化モデルに対し競争力のある性能。https://t.co/4inpLCmCxY pic.twitter.com/pgFQZENtWg
— Teppei Kurita (@kuritateppei) 2021年10月23日
条件付きGANは投影ベースと分類ベースのものがあるが、前者は後者に比べInceptionスコアで劣るものの崩壊しにくいことを発見。そこで分類ベース損失に正則化(重み減衰)を施すことで崩壊を緩和するOmni-GANを提案。Inceptionスコアを100向上。BigGANに数行のコードを追加のみ。https://t.co/hns5ENI5qf pic.twitter.com/CFyXmqORyZ
— Teppei Kurita (@kuritateppei) 2021年10月16日
2021年9月 文献/技術記事解説
画像から表面法線を推定する。計測Depthから得られる法線真値はノイズや変換方法の影響を受けやすく偶発的な不確実性を有する。そこで画素毎に表面法線の確率分布を推定し角度誤差を推定することでその不確実性を定量化。大きな平面への学習の偏りが解消され高精度化を実現。https://t.co/N7g3dceAgR pic.twitter.com/p98vdDUoOU
— Teppei Kurita (@kuritateppei) 2021年9月23日
RGBD画像から顕著性を検出する。RGBD間のマルチモーダル情報を明示的にモデル化するために多段階のカスケード学習の中で正則化として相互情報量最小化をしているのがキモ。また従来のRGBD顕著性データセットの7倍ほどの規模のデータセットを新たに作成し提供。https://t.co/b7cJiRVHHa pic.twitter.com/eXb6xcZQQI
— Teppei Kurita (@kuritateppei) 2021年9月19日
画像からアルベド/法線/Depth/照明Mapを推定するInverse Rendering。従来はシーンの3D特性を無視し画像変換タスクとして定式化していたが、ここでは3Dの空間的に変化する照明を定式化。微分可能レンダラーによる再レンダリング制約を入れ込み学習をし高精度化を達成。https://t.co/NS5raatoF3 pic.twitter.com/RGPjc7qZSv
— Teppei Kurita (@kuritateppei) 2021年9月18日
カメラISPの各モジュールの順番やパラメータを、特定のカメラやデータ・タスクに合わせて最適化する。具体的には各ISPモジュールを誤差逆伝搬可能にしNASを使い効率的に探索する。通常のDLベースのISPは数百万のパラメータを持つが、提案手法は数百のパラメータの調整でOK。https://t.co/JasU4g4pQm pic.twitter.com/R1T0TGCXqv
— Teppei Kurita (@kuritateppei) 2021年9月17日
可逆画像変換タスクのための汎用フレームワークIICNet。タスクに非依存の可逆NNをベースに変換プロセスにおける情報損失を大幅に低減可能。例えばビデオシーケンスが与えられたときその空間・時間的情報を中間参照フレームと類似した１つの低解像度画像に埋め込むことが可能。https://t.co/qntWy0hdme pic.twitter.com/tEbIfQzRq8
— Teppei Kurita (@kuritateppei) 2021年9月12日
低照度における可視と赤外画像のペアからなる約3万枚のデータセット。全てのペア画像は完全にアラインがなされ、画像中の歩行者にはラベルがつけられており歩行者検出等の開発に活用可能。このデータセットを使い検討した結果、超低照度下での既存アルゴリズムの限界を発見。https://t.co/Fe6UXaRrFW pic.twitter.com/7rRgZd1TA0
— Teppei Kurita (@kuritateppei) 2021年9月10日