2021年7月 文献/技術記事解説
イメージセンサのノイズは画像の偽装防止に役に立つという面白い知見。センサ→ISP処理によるノイズモデルの痕跡を解析することでノイズ異常を発見できる。
— Teppei Kurita (@kuritateppei) 2021年8月2日
Image Sensors World: A Positive Effect of Image Sensor Noise https://t.co/w1sih6KLWL
フラッシュ照明下で偏光情報とNNを組み合わせオブジェクトの形状とSVBRDFを取得する。通常RGBに加えて偏光情報を組み入れることで精細な形状が取得可能。拡散偏光前提のHDR合成データセットを公開。Limitationはフラッシュを正対面から当てて拡散偏光にしなければならない所。https://t.co/wBUvlVMRBi pic.twitter.com/7MUlHdi1Jd
— Teppei Kurita (@kuritateppei) 2021年7月31日
超解像を低コストで行う。ネットワーク中で特徴量を計算する際の乗算演算を全て加算に置き換えるAdderNetを利用。ただしハイパスを加算器のみで近似するのは難しいため学習可能なパワーActivationを提案。従来の超解像モデルのエネルギー消費量を1/2.5に削減することが可能。https://t.co/Q8SFzlkAGJ pic.twitter.com/9PLLJwTHgo
— Teppei Kurita (@kuritateppei) 2021年7月21日
画像中のガラスの反射を除去する。既存手法のほとんどはガラスが十分に薄いと仮定していて、吸収効果を考慮していない。そこで吸収効果は屈折率係数マップの平均avg(Ω)として表現できるという知見を利用しavg(Ω)を推定するNNを構築。吸収効果による歪みを忠実に復元可能。https://t.co/lpkHkBtVSk pic.twitter.com/TsTxQrvsiQ
— Teppei Kurita (@kuritateppei) 2021年7月19日
光源色を推定しAuto White Balanceをする。2台のカメラのセンサーの分光感度が微妙に違うことを利用し、2つの画像間のマッピングをする3x3行列(光源色に固有)を求め、入力としてNNに突っ込む。入力の次元数が少ないのでNNもパラメータ数を少なくできる、具体的には1460以下。https://t.co/vYt74axsH5 pic.twitter.com/LUtkYBtQMX
— Teppei Kurita (@kuritateppei) 2021年7月15日
RGB+疎なDepthで密なDepth推定をする。従来のように前段でFusionしてE2Eで学習させるのではなく、疎なDepthを最大限活用するために疎Depthを拡張するための領域の信頼性をパッチ毎に推定するアプローチを取る。様々なガイド付きのDepth推定手法に適用できる汎用性がある。https://t.co/BFgzYaSevf pic.twitter.com/H57IxXpcGc
— Teppei Kurita (@kuritateppei) 2021年7月9日
RGBカメラによる事前のDepth分布を利用してライトカーテンと呼ばれる三角法ベースの適応型Depthセンサ(低コスト・高解像度・高FPS)のレーザラインを不確実性のある領域に移動させより洗練されたDepthを得る。LiDARに代わる高解像度/低コストな手法となる可能性があると主張。https://t.co/NX8TbZwYic pic.twitter.com/7OTCohp4SO
— Teppei Kurita (@kuritateppei) 2021年7月6日