2020年10月 文献/技術記事解説
数枚の撮影画像からSVBRDFを再構成する。従来は様々な正則化Priorを利用してきたが、ここではStyleGAN2をベースとしたMaterialGANを提案。SVBRDFパラメータの相関関係を学習し、材料についての強力なPriorとして機能することを示している。Limitation:オブジェクトが平面。https://t.co/eeYvQNUt1F pic.twitter.com/Gw9YOpiOiK
— Teppei Kurita (@kuritateppei) 2020年10月31日
モデルベースのVisual Odometry(VO)ににNNを入れ込む提案。カメラの姿勢推定のための対応関係を確立するために1つのビューのDepthと2つのビューからのOptical Flowを中間表現として出力する2つのNNを学習しVOに利用する。スケールドリフトの問題に対応できるとのこと。https://t.co/6zEVuriICr pic.twitter.com/3hsRJW4PRR
— Teppei Kurita (@kuritateppei) 2020年10月31日
触覚ロボティクスの分野は新しい手法を比較評価するベンチマークが存在しない。そこで強化学習のアルゴリズムを評価可能な触覚ロボティクス環境を提案。3Dプリントされた点字キーボードと触覚センサつきのロボットアームで構成。タスクは主にキーのシーケンスを学習すること。https://t.co/f96N4qKoiy pic.twitter.com/6XtlJlHAE0
— Teppei Kurita (@kuritateppei) 2020年10月30日
高精細なLiDARは高価なので、安価なPlanar LiDARとRGBカメラを併用し手頃で高精細なDepthを取得する。とはいえ散々LiDAR+RGBのFusionは行われてきた。ここではRGB画像からの意味情報とテクスチャ情報を反映した誘導的なLate Fusionを導入していおり高性能な結果を出している。https://t.co/jLj5STP1hj pic.twitter.com/Pa4nH439i7
— Teppei Kurita (@kuritateppei) 2020年10月28日
未知物体の質量と摩擦係数を両方特定するのは不定性が存在するため困難である。そこで異なるランダムな初期点からいくつかの勾配降下探索を行い全ての局所的な最小値を得てSoftmaxを適用し確率分布を得る手法を提案。ロボットアームの横押し動作に応用可能である事を示した。https://t.co/SCmHXuQ27s pic.twitter.com/Vk50lwhJ85
— Teppei Kurita (@kuritateppei) 2020年10月28日
視覚情報での物体認識は低照度下やオクルージョン下では課題が多い。そこでイベント駆動型の触覚センサを用いて、タッチベースの物体認識を行う。非同期の信号を扱うため新しいSpiking Neural Network(SNN)を利用、触覚データをグラフ構造へと整理するための手法を提案。https://t.co/SAUCIXmAw5 pic.twitter.com/2HlxxlyJT2
— Teppei Kurita (@kuritateppei) 2020年10月26日
Depth推定の為のRGB+RadarのFusionに対し様々な観点から包括的な実験を行った研究。
— Teppei Kurita (@kuritateppei) 2020年10月26日
RGB+LiDARのfusion(主にCNN)は多く研究されているが、その方法論をそのままRadarに適用できない原因はRadar特有のノイズにあると指摘。適切なノイズ除去とそれに合わせたFusion戦略が必要。https://t.co/BehQP41orA pic.twitter.com/ajy8W6rCUy
自律型無人潜水機(AUV)のセンサとしてはまずソナーが選択される。その中でもProfilingソナーは高精度な3次元再構成が可能だが、狭い範囲しか観測できないため入り組んだ水中では航行が困難になる。そこで2つの広開口ソナーを直交させ、高密度かつ広範囲の3次元再構成を実現。https://t.co/8DwleSJJfw pic.twitter.com/MZZaVgakyl
— Teppei Kurita (@kuritateppei) 2020年10月25日
DNNの分散学習に適したSGDのトレードオフ(通信効率⇔汎化性能)をwoker数, local step, batch sizeを変化させて包括的に調査(大きなミニバッチのサイズでは汎化性能が落ちる等)。更に通信効率を向上させつつ、ベースラインに対して汎化性能も高いポストローカルSGDを提案。https://t.co/jWoxIPfTtC pic.twitter.com/9rxwJtlNEm
— Teppei Kurita (@kuritateppei) 2020年10月24日
ResNet-50をtop-1精度を維持しつつメモリ5MBまで量子化する。重みの誤差を最小化するのではなく、活性化の精度にfocusし再構成誤差を最小化する。レイヤー間での誤差の蓄積を防ぐために、ノンラベルデータでの非圧縮ネットワークの活性化を用いて知識蒸留で圧縮を誘導する。https://t.co/EJrJIgtIBA pic.twitter.com/T3s2s299O9
— Teppei Kurita (@kuritateppei) 2020年10月22日
学習分布から未知の分布にあるサンプルを識別するための、VAEやRNDを用いた分布外(OOD)検知が画像のボヤけに対して脆弱であることを指摘。その性質を利用し学習時にボヤけを利用する検出器を提案。シンプルかつ効率的かつ高性能とのこと。https://t.co/oEF2Y3DyK7 pic.twitter.com/ODsc8hizkG
— Teppei Kurita (@kuritateppei) 2020年10月22日
自己教師でDeblurを学習する。そのやり方が面白い。連続した2つのフレームに対してまず学習済みNNでDeblurの結果を2つ予測する。そしてその2つのシャープな画像からNNでOptical Flowを算出し、それを利用して線形なボカしカーネルで再度Blur画像を生成、損失に使用する。https://t.co/7OI6CwZji8 pic.twitter.com/dvHJLYWW4H
— Teppei Kurita (@kuritateppei) 2020年10月21日
Neural Architecture Search(NAS)で探索されるアーキテクチャのほとんどは同じ探索空間内で単にランダムサンプリングしたモデルの性能を上回るのにすら苦労しているという報告。認識タスク等による最先端の結果はアーキテクチャによる改善ではなく、学習手法に依る事が多い。https://t.co/eNKI9aYiNn pic.twitter.com/rZn1aNxNiQ
— Teppei Kurita (@kuritateppei) 2020年10月20日
LiDARは遠距離での精度が高いが、角度分解能は低い(正確には高くするにはコストがかかる)。Stereoは遠距離でも密なDepthが得られるが遠距離だと小さいノイズが大きな誤差になる。そこでLiDAR+Stereoを融合させて高品質なDepthを生成する。既存手法と異なり自己教師学習。https://t.co/Gk3WQMv9kW pic.twitter.com/I3JQskXK3K
— Teppei Kurita (@kuritateppei) 2020年10月19日
自動運転のためのRGB+LiDARの新しいチャレンジングなデータセット。人や車が高密度に存在するシーン(17%)、オクルージョンが多い(25%)シーン、多数の天候違いや夜間フレーム、さらに3Dオブジェクトのアノテーションがついている。シンガポール全域から収集されている。https://t.co/7DT0xuCCZf pic.twitter.com/AZi7jsafFX
— Teppei Kurita (@kuritateppei) 2020年10月17日
ロボットアームによる紙コップなど変形しやすい物体の把持を「滑動」「適切」「過剰」の3状態に分類する。RGB画像とアームについた触覚センサを入力として利用し、マルチモーダルフュージョンさせNNで状態を分類する。驚きの99.97%という精度(まあ3クラス分類なのだが)。https://t.co/RSMgCex2Qd pic.twitter.com/6JuCzS2tzW
— Teppei Kurita (@kuritateppei) 2020年10月17日
Structured LightやLIDARによるDepth推定は鏡面反射が強かったり透明面では推定を誤ることがある。そこでロボットのマニピュレーションの他の動作(把持、配置…)の学習をしている間に蓄積されるデータからラベルを得てRGBD画像と共同で学習することで精度向上する事を示した。https://t.co/RSMgCeOEeN pic.twitter.com/WuVEZf0YTp
— Teppei Kurita (@kuritateppei) 2020年10月16日
ドメイン依存のない予測モデルを生成するドメイン一般化
— Teppei Kurita (@kuritateppei) 2020年10月15日
と未見カテゴリを認識するゼロショット学習を同時に扱うという非常に困難な問題設定を掲げた論文。Mixupをベースに異なるドメインとカテゴリのサンプルを混合し意味的・視覚的に新しいサンプルを生成するCuMixを提案。https://t.co/raUHPAM7wH pic.twitter.com/PtdmjbISWg
VAEは非分離表現を学習するのに有効だが、生成画像の品質はSOTAに一歩及ばない。GANは明示的な尤度推定を行わずに高品質な画像を生成可能だが、表現はもつれを持つ傾向がある。このトレードオフを解決するためにVAEで表現を学習し、GANに知識蒸留するフレームワークを提案。https://t.co/9dP32tfiEy pic.twitter.com/zhTyRuapfG
— Teppei Kurita (@kuritateppei) 2020年10月14日
観測された混合スペクトルを分解するUnmixingを困難にしている要因として、純粋な材料でもそのスペクトルには固有の変動性があることが挙げられる。そこで物理学の知見から着想を得てスペクトルの変動を微分可能な形式でモデル化しEnd2Endのアルゴリズムに組み込んだ。https://t.co/xPJ8AhsZbq pic.twitter.com/OAqOv2IsI9
— Teppei Kurita (@kuritateppei) 2020年10月13日
学習段階で悪意がある毒サンプルを挿入して性能を操作するPoisoning攻撃の汎用性をより高めた。具体的には「モデルの知識を持たず」「ラベリング・テスト時には手を出せない」条件でも高性能な攻撃を可能にした。最急降下法による最適化の本質的特性を利用しているのがキモ。https://t.co/yRMUvlAoTe pic.twitter.com/MhosagGrNM
— Teppei Kurita (@kuritateppei) 2020年10月12日
明るさの変化のみを記録するイベントカメラは高速かつHDRでの撮影が可能であるが、映像の再構成を学習するための品質の良い真値を持つデータセットが存在しないという課題があった。そこで既存データセットの統計解析に基づき、汎化性を向上させる合成学習データを生成した。https://t.co/pXesxvrj4g pic.twitter.com/KPNfNqR9UM
— Teppei Kurita (@kuritateppei) 2020年10月10日
X線を利用した骨盤骨折診断には左右の対称性を利用する事が強く推奨されている。ただ救急外来などは患者のポーズや衣服の状況等が安定しているとは限らない。そこで解剖学的な対称性を事前知識として入れた骨折検出NNを提案。2000人以上のX線画像で評価しロバスト性を確認。https://t.co/BlUETQ00wI pic.twitter.com/IXHp9lDj6R
— Teppei Kurita (@kuritateppei) 2020年10月9日
画素毎に2つのBucketを持ち、どちらに光を入れるかを制御できるCMOSイメージセンサを利用し、リアルタイムの符号化センシングを可能に。アプリとして光源分離を利用したリアルタイムのPhotometric Stereo(形状、Albedo推定)を提示。特殊CISをゼロから設計、製造している。https://t.co/7DAiWsfQCB pic.twitter.com/q8jTWfH6jZ
— Teppei Kurita (@kuritateppei) 2020年10月8日
材料と非常に近い焦点が合ったカメラとコヒーレント光源の下で物理的に正確なスペックル場と統計量をシミュレートする。センサと照明のapertureを近似するためにGaussian Apodizationを使用した事がキモ。従来手法と比較して数桁シミュレーション時間を高速化することに成功。https://t.co/IuPY5Uml5j pic.twitter.com/tYzfOT1swj
— Teppei Kurita (@kuritateppei) 2020年10月7日
サムスンが低消費電力の13M CMOSイメージセンサを発表。30fpsで100mW未満。並列ADC周辺において様々な低消費電力化の施策をした結果達成できたとのこと。https://t.co/DvM9uk6uYO
— Teppei Kurita (@kuritateppei) 2020年10月6日
遠赤外線を使いNLOSを行う。可視光とは異なり長波長側では、熱源が光源としてみなされ、光輸送の定式化が単一バウンス問題に単純化できる。また、可視光のスペクトルと比較して非常に強い鏡面反射を持つ傾向があることを利用している。https://t.co/Um6nnBoov1
— Teppei Kurita (@kuritateppei) 2020年10月6日
自動運転時の衝突しない空間(フリースペース)を検出する。まず密なDepthから表面法線に高精度高効率で変換できるモジュールを導入。得られた法線とRGBをフュージョンさせ検出する。異なる気象条件で合成した大規模なデータセットを公開しており、こちらの方の貢献が大きそう。https://t.co/Bmv4mWpcLU pic.twitter.com/2mylPu8ymC
— Teppei Kurita (@kuritateppei) 2020年10月5日
マルチビュー画像から触覚特性(計15クラス)を推定する。それぞれの対応関係を構築するために、Bio Tac Toccareで触覚特性を、ゴニオでBRDFのように(ただし照明は拡散)100ビューからの多視点画像を取得、400ペアからなるデータセットを構築。対応関係を学習してモデルを生成。https://t.co/icUhoPlKyz pic.twitter.com/QCvi2jE3G5
— Teppei Kurita (@kuritateppei) 2020年10月3日
最近の光学式の癌細胞検出技術に対してのサーベイ論文。現状の光センサはバイオセンサと比較して様々な長所があるが、複雑で高価な装置を必要することが多い。安価で正確な代替手段を求めて蛍光や偏光を利用した技術の開発が進められている。https://t.co/trlhCrgcxD
— Teppei Kurita (@kuritateppei) 2020年10月3日
偏光センサのデモザイクというマニアックなサーベイ資料。偏光チャネル間の相関が強い事を解析し、通常のカラーフィルタの相関ベースのデモザイク手法を応用するのが良いとのこと。偏光の相関は波長の影響を受けないという割と重要な事も示している。ニヤニヤしながら読んだ。https://t.co/PthANuIhtZ pic.twitter.com/wqEXnItwdD
— Teppei Kurita (@kuritateppei) 2020年10月2日
偏光センサで撮影した画像のノイズ除去をBM3Dをベースとした手法で行う。デモザイク後の各偏光角度画像を独自のカラー(偏光)スペースに変換することで性能が向上するとのこと。https://t.co/rwrZACpka6
— Teppei Kurita (@kuritateppei) 2020年10月1日