文献/技術記事解説

2021年11月 文献/技術記事解説

Dual Pixel+DL-Based Depth推定の初出。Dual Pixelから推定されるDepthに固有の曖昧さがあることを特定し、既存の単眼Depth推定ベースの手法をDual Pixelに効果的に適用することを提案、従来手法より30%の精度向上。また実写かつ5視点からなる大規模なデータ…

2021年10月 文献/技術記事解説

End2Endで微分可能なDepthセンサ用のシミュレーションパイプラインDDS。Structured Lightとブロックマッチングのメカニズムを再現し、新しいデバイスのシミュレーションや最適化が容易に。Depthベースの物体分類・姿勢推定・セグメンテーション等の認識タス…

2021年9月 文献/技術記事解説

画像から表面法線を推定する。計測Depthから得られる法線真値はノイズや変換方法の影響を受けやすく偶発的な不確実性を有する。そこで画素毎に表面法線の確率分布を推定し角度誤差を推定することでその不確実性を定量化。大きな平面への学習の偏りが解消され…

2021年8月 文献/技術記事解説

パノラマ撮影画像には1枚のショット中に反射シーンの部分的なビューが含まれているので反射除去の曖昧さ解消に有用。ただそのまま利用すると位置ずれの問題があるのでCoarse-to-Fineに位置合わせをしてNNで透過シーンを復元。通常画像の反射除去と比べて大…

2021年7月 文献/技術記事解説

イメージセンサのノイズは画像の偽装防止に役に立つという面白い知見。センサ→ISP処理によるノイズモデルの痕跡を解析することでノイズ異常を発見できる。Image Sensors World: A Positive Effect of Image Sensor Noise https://t.co/w1sih6KLWL— Teppei Ku…

2021年6月 文献/技術記事解説

シーン認識に重要な役割持つ本質的な情報(最小セット)「シーンエッセンス」およびそれを学習するためのNNの提案。GNNをシーンオブジェクトを本質的なものとマイナーなものに分割するように学習し、マイナーなものをInpaitingによって消去することでシーン…

2021年5月 文献/技術記事解説

人間のインタラクションの映像のみから物理的制約のない弱教師視線推定を行う初めての試み。その方法が個人的には面白く、人同士が互いに「見つめあう」動作をする際には視線に関連する強い幾何学的制約が存在するという洞察を利用している。ドメイン間の一…

2021年4月 文献/技術記事解説

疎なDepthを補完する場合、オクルージョン境界においてDepthが不鮮明になる。そこでオクルージョン境界付近において前景と背景を明示的にモデル化し外挿でDepthを求めることを提案。またGTに外れ値が存在するとき、RMSEよりもMAEが優れた指標であることを指…

2021年3月 文献/技術記事解説

360°パノラマ画像から部屋のレイアウトを推定する。ラベルなしデータと少量のラベル付きデータを必要とする半教師あり学習。HorizonNetとMean Teacherの長所を組み合わせ両者を拡張することで、わずか12%のラベルで完全な教師あり学習に匹敵する性能を得るこ…

2021年2月 文献/技術記事解説

高解像度画像に適したDeepなセマセグ。パッチが重要か否かを適応的に判定し計算コストを削減しつつ性能を向上させるPPNを提案。PPNは汎用性があり様々なパッチベースのネットワークに統合できる。高解像度データセットに対して提案するGRNetは計算/メモリ効…

2021年1月 文献/技術記事解説

虹彩認証のための新規NNアーキの提案。虹彩の特徴は異なる局所領域で空間的に異なる重要度を持つため、空間的なAttentionと相性が良いことに注目したのがキモ。虹彩認識に有効な異なるレベルの特徴をアンサンブルするためのAttentionモジュールを提案してい…

2020年12月 文献/技術記事解説

DNNの新しいモデル圧縮手法。フィルタの冗長性を排除するために、個々のフィルタ重みの重要度を見るのではなく、重みの相関が大きいペアを反復的に同定して各ペアから1つずつ削除していく。削除の前に各ペアの相関を高めるような最適化をし情報の損失を抑え…

2020年11月 文献/技術記事解説

自発的な笑顔を認識するためのEnd2Endのアーキテクチャの提案。手動でのランドマークのアノテーションや特徴量の操作が必要ない。従来技術と異なり様々な長さの動画を扱うことができる。ネットワークもコンパクトでリアルタイムを達成するのに十分な速さ。ht…

2020年10月 文献/技術記事解説

数枚の撮影画像からSVBRDFを再構成する。従来は様々な正則化Priorを利用してきたが、ここではStyleGAN2をベースとしたMaterialGANを提案。SVBRDFパラメータの相関関係を学習し、材料についての強力なPriorとして機能することを示している。Limitation:オブジ…

2020年9月 文献/技術記事解説

非常に高速な処理が要求される場合、Depthの境界や急伸な変化がある画素のみにバイラテラルフィルタをかけることがDepth Refinementとしてコスパ良いですよという話。https://t.co/ygWEEPxdkl— Teppei Kurita (@kuritateppei) 2020年9月30日 単一画像のBlind…

2020年8月 文献/技術記事解説

透明物体(窓、瓶…)のセグメンテーションは難しいが、既存のデータセットのデータサイズは小さかった。そこで1万枚以上からなる大規模な透明物体のデータセットを提案。更に最先端の手法(DeepLabV3+)でも困難なセグメンテーションを可能にする境界を意識した…

2020年7月 文献/技術記事解説

画像から画像に変換するタスクにおいて、教師あり教師なし共に統一的に扱えるシンプルなネットワークの提案。簡単に言うとpix2pixとCycleGANのような操作が同じネットワークとロス関数(Cycle-Consistency不要)で可能になるということ。しかも性能が高い。ECC…

2020年6月 文献/技術記事解説

極端な低解像度の顔の画像と、音声を入力として、高精細な顔の画像を生成する。普通に学習させると、2つの入力信号のモダリティのギャップが大きく、音声情報が上手く使われない。そこで両者委の信号が共通の潜在表現にマッピングされるように個別のエンコー…

2020年5月 文献/技術記事解説

画像から物体の反射率・形状・照明条件を推定する。教師ありでまず分解を学習しておいて、元画像に戻すように自己教師あり転移学習で再合成誤差を最小化する、転移学習中は元のラベルつきのデータをミニバッチの半分だけ混ぜることで解が単純化されるのを防…

2020年4月 文献/技術記事解説

機械学習ベースのオートフォーカスの最新手法。スマホを同期させMVSで得られたDepthとフォーカルスタック49枚を対応させた大規模なデータセットを作ったのがキモ。MobileNetV2でスマホ上で32.5msで動作、単一画像入力、フォーカルスタック入力どちらでも動作…

2020年3月 文献/技術記事解説

影画像と影なし画像のペアじゃないデータから学習し、影除去する初の試み。基本CycleGANなのだが、入力の影画像から影マスクの生成を学習し、そのマスクを利用し影なし画像から影画像を生成することでCycle-Consistencyを維持する。結構、汎用的な考え方なの…

2020年2月 文献/技術記事解説

Imecのイメージング技術についての資料。個人的には70ページくらいからのGlobal Shutterやハイフレ技術について、素人でもわかるように簡潔にサマリが述べられていて参考になった。https://t.co/NTDyyfCwBz— Teppei Kurita (@kuritateppei) 2020年2月25日 "C…

2020年1月 文献/技術記事解説

読んだ論文:9本 技術記事引用:1本 Imecの新しいHyperspectralカメラはInGaAsでSWIRまでの波長をカバー。アプリケーションは水分、脂質、タンパク質含有量などの分析。2種類のデモザイクにより3x3と4x4の波長感度が異なる配列を生成、アプリケーションで使…

2019年12月 文献/技術記事解説

読んだ論文:9本 今更ながらPyTorchの論文を読んだのでざっとまとめます。面白かった。数ツイートになるかな。https://t.co/K1HK7DSiaa#PyTorch論文— Teppei Kurita (@kuritateppei) 2019年12月16日 PyTorchはPythonicかつ命令型。最近のDNNライブラリはdefi…

2019年11月 文献/技術記事解説

読んだ論文:4本 https://t.co/T3vObhPUGu最近は監視分野などでDNNで人混み画像から人数を推定することが多いが、DNNの弱みである敵対的攻撃を受けると深刻なセキュリティ問題を生じるので、逆にその攻撃を受けているかを検出してしまおうという話。画素単位…

Computer Vision / Computer Graphics / Computational Photography / Machine Learning / CMOS Image Sensor