2021年11月 文献/技術記事解説
Dual Pixel+DL-Based Depth推定の初出。Dual Pixelから推定されるDepthに固有の曖昧さがあることを特定し、既存の単眼Depth推定ベースの手法をDual Pixelに効果的に適用することを提案、従来手法より30%の精度向上。また実写かつ5視点からなる大規模なデータセットを構築。https://t.co/yMCnok78wC pic.twitter.com/W6nPQI9vVE
— Teppei Kurita (@kuritateppei) 2021年11月27日
Dual Pixelを利用した反射除去。発想はシンプルで、背景面は焦点が合っているので左右のビューでズレがないのに対し反射面は焦点面から距離があるのでビュー間にズレが生じる。背景領域に属する画像のグラディエーションマップを計算し最適化に組み込むことで反射除去が可能。https://t.co/1hFyUW14Rv pic.twitter.com/osEbr5nxef
— Teppei Kurita (@kuritateppei) 2021年11月25日
Dual Pixelセンサーとステレオを組み合わせた、オクルージョンの影響を排除した高精度Depth推定。Dual Pixelから計算される視差の固有の不定性が2つのモダリティの単純な統合を妨げていることを指摘。そこで信頼度ボリュームをリサンプリングし連結するアプローチを提案。https://t.co/rAHApLNVDT pic.twitter.com/q1Qn8Kcypy
— Teppei Kurita (@kuritateppei) 2021年11月24日
Dual Pixel(DP)のRawデータにアクセスできるカメラは限られており、また学習用の全焦点画像を取得するには労力を要する。そこでDPセンサの光学的な画像形成を模倣し、DPのデータをCGデータから生成する方法を提案。DPデータのデブラーの学習に有効であることを提示。https://t.co/DgeM6dT4Tn pic.twitter.com/vPZuNHqDTN
— Teppei Kurita (@kuritateppei) 2021年11月23日
Dual Pixel画像からデフォーカスマップと全焦点画像の復元を同時に行う。従来は2つの復元問題を大規模な学習で独立に解いていたが、これら2つをMultiplane Image(MPI)を用いて同時に解決する最適化問題を設計し、教師なしにも関わらず従来手法を改善可能であることを提示。https://t.co/Q8P3qS66uO pic.twitter.com/sC1iYkB35L
— Teppei Kurita (@kuritateppei) 2021年11月21日
Dual Pixelの視差はデフォーカスブラーのある領域でのみ発生するが、ブラーが大きいとマッチングの性能に悪影響を与えてしまう。そこでDepth/ブラー/全焦点画像の関係を明示的に表す理論的なDPモデルを提案。Depthの推定とシャープな画像の復元を共同で行うアーキテクチャ。https://t.co/Eg41AZBdTg pic.twitter.com/wNqSn9FWYf
— Teppei Kurita (@kuritateppei) 2021年11月19日
通常、単眼Depth推定(SIDE)はシーンの内容を考慮しない普通の画像を使ってなされるが、動物の目のサッカードのようにシーン中の特定ROIに解像度を適応的に配分することで、同じ帯域幅でSIDEの精度を向上可能であることを提示。広角+望遠(MEMSミラー)のプロトタイプで実証。https://t.co/fcSsoTjRQU pic.twitter.com/BW9EicwsAJ
— Teppei Kurita (@kuritateppei) 2021年11月14日
DLベースのステレオでDepth精度と計算量のトレードオフ可能なモデル。最小要求であれば例えば仮想的なDepth位置から遠いか近いかを数ミリ秒で分類することが可能。量子化の程度を変えることで任意のDepth解像度での推定ができ、全範囲での連続的なDepth推定精度もSOTAに迫る。https://t.co/WWbHXv8FwE pic.twitter.com/xc4R9XNikM
— Teppei Kurita (@kuritateppei) 2021年11月12日