2020年2月 文献/技術記事解説
Imecのイメージング技術についての資料。個人的には70ページくらいからのGlobal Shutterやハイフレ技術について、素人でもわかるように簡潔にサマリが述べられていて参考になった。https://t.co/NTDyyfCwBz
— Teppei Kurita (@kuritateppei) 2020年2月25日
"Computational Mirror" NeurIPS 2019
— Teppei Kurita (@kuritateppei) 2020年2月25日
映像の影などの変化を観察することでカメラからは見えない場所の映像を復元する。
「見えない映像」と「Light Transport行列」の積に行列分解するのだが、そのままでは極端な不良設定問題なためDeep Image Priorを使い各要素行列を算出。https://t.co/nTyzM2V6mc pic.twitter.com/ImkbGR0e5O
古典的な行列分解を使うと各要素行列は画像をスクランブル化したような非構造的な「ノイズ」で構成される傾向がある。DIPはそのような行列分解を避けやすい。またLT行列を観察映像の特異値分解で得られた基底画像の線形結合として表現することで計算が効率的になり、解空間が制約され最適解に近づく。
— Teppei Kurita (@kuritateppei) 2020年2月25日
通常この手のNLosの問題は、シーンのジオメトリや反射特性の推定などの課題が大きいが、本手法はCNNで表現できる潜在表現を求めるだけでよく、それらの困難な課題を完全に回避できることは注目に値する。
— Teppei Kurita (@kuritateppei) 2020年2月25日
表題の"Computational Mirror"は普通のシーンが「鏡」として機能することから。
パナソニックから距離レンジが~250Mの1M解像度のTOF。高感度APDにより短距離から長距離まで高精度を保つことを実現。https://t.co/HPU7zV8Cch
— Teppei Kurita (@kuritateppei) 2020年2月19日
OmniVisionの64M CMOS。0.8umで1/1.7型。15fpsでBayer出力。低照度時は近傍画素を加算出力し感度を稼ぐ。2x2のOCLを載せた別のタイプでは位相差検出ができAF等をアシスト可能。試作品が現在入手可能とのこと。https://t.co/N0qKAcJCBB
— Teppei Kurita (@kuritateppei) 2020年2月18日
1億fpsのCMOS。グローバルシャッター。画素単位メモリによる出力負荷削減、画素駆動パルス遷移の最小化。@東北大https://t.co/FPdsF14OSq
— Teppei Kurita (@kuritateppei) 2020年2月18日
CMOSイメージセンサの進化について、解像度・Dレンジ・速度・波長感度・CPの観点からのレビュー論文。かなり浅くはあるが、現状のCMOSの技術についてざっと把握する用途にはわかりやすくて自分的には結構おススメ(書籍も情報が古いので…)。https://t.co/SaVecaQItY
— Teppei Kurita (@kuritateppei) 2020年2月16日
1550nmの波長のLIDAR(FMCW)のレビュー。他の波長に比べて1550nmは太陽の信号値が低いから精度が出る。ただ調整可能な狭帯域幅レーザー光源が必要かつ、非シリコン光検出器も必要だったりでハードルは高い。課題を解決すれば測定Rangeと精度を両立する可能性があるとのこと。https://t.co/sSNDkho4DB pic.twitter.com/8CeA03Ny0d
— Teppei Kurita (@kuritateppei) 2020年2月16日
サムスンが1億画素(108M)の次世代イメージセンサを発表、量産中。24fpsで8kの動画を撮影可能。従来のBayer配列を2x2にしたQuad型は既に市場に出ているが、今回は3x3にして0.8um→2.4um相当にし感度を稼ぐ。回折限界かつ混色が課題だが最小限に抑えたのこと。https://t.co/ZxPbGgk3Rb pic.twitter.com/DYNoZ6leCa
— Teppei Kurita (@kuritateppei) 2020年2月12日
今後3年ほどで自動車用のカメラ(イメージセンサ)の需要が2倍になるとの予測。後方カメラはほぼ搭載されているので、前方カメラが大きく伸びる。ハイエンドに限定されているサラウンドビュー機能はここ数年で様々な価格帯で一気に採用されるとのこと。パークアシストも同様。https://t.co/oUMIKqh0u9 pic.twitter.com/gF38ysUzA8
— Teppei Kurita (@kuritateppei) 2020年2月11日
映像からy=vt-0.5gt^2などの物理法則を発見し、人間が解釈可能な構造(速度、周波数等)を得る。物理学の事前知識は一切持たない。潜在表現を獲得してから元のデータと共にGPに渡して方程式を発見する。支配方程式と物理パラメータの両方を発見できるという点でFirst Effort。https://t.co/luynhzI1P1 pic.twitter.com/is3LEaheAO
— Teppei Kurita (@kuritateppei) 2020年2月9日
スマホ(Android)のカメラの多眼&解像度動向についての調査。多眼化のトレンドは2018年から加速して、今や30%ほどが3眼かつ20MP以上とのこと。実感とも合いますね。https://t.co/NZWhxeV7oI pic.twitter.com/rBnjse93W0
— Teppei Kurita (@kuritateppei) 2020年2月8日
さっき紹介したのとは逆で、「実測の」大規模な都市のラベル付け点群データセット。
— Teppei Kurita (@kuritateppei) 2020年2月7日
2015年にNYUが大規模にLIDARのデータセット構築をして、それのラベル付けをこの人たちが行った形。実測じゃないとダメな人はこちらを使うのが良いかも。https://t.co/fyZvw2Yoqz pic.twitter.com/pKY2AttYgR
ラベル付けされた大規模な都市の屋外点群データセット。実測ではない。フォトリアルなCGを元に作成されているのでテクスチャも得られる。今まで室内の高精度ラベル付け点群データはちらほらあったが、屋外でこれだけ質が良いものはなさげ。3DCNN系の研究が捗りそう。https://t.co/bjOSVJvPkN pic.twitter.com/qg9K2xZEYi
— Teppei Kurita (@kuritateppei) 2020年2月7日
機械学習の研究等で使える15のフリーの航空画像データセット。都市の衛星画像からドローンで空撮された低高度のビデオまで。全部見てみたらKaggleのコンペのデータセットが2つほどあった。https://t.co/NI3rNwln3i pic.twitter.com/Kv325zhDBm
— Teppei Kurita (@kuritateppei) 2020年2月6日
都市の遠赤外線(サーモ)レンダリングに取り組むChallengingな研究。通常のレイトレと違い「時間的な」天気や温度の変動、材料の光学特性、熱特性など複数の要因が入り組むので非常に難しい。図は実測結果だが、同じ場所や明るさでも時間帯で結果が全然違う。https://t.co/l6YEeLNy9B#文献読み pic.twitter.com/o114tE8miT
— Teppei Kurita (@kuritateppei) 2020年2月5日
現状はCADで都市モデルを設計して、日光蓄積をシミュレートしてわかったことや課題を洗い出ししたところ。SVF(天空率=空が見える割合)が高いほど、表面温度が高くなる(直観的にそりゃそうだろとは思うが)。
— Teppei Kurita (@kuritateppei) 2020年2月5日
課題は「ちゃんとした精細なモデル作ろう」「もっとちゃんと現実世界の物理項反映したシミュレーションをしよう」…まあつまりほぼ全部が課題。
— Teppei Kurita (@kuritateppei) 2020年2月5日
UAVのLIDAR等で使われるLASフォーマットの仕様書読んでる。sizeがbitとbyteが混合しているのが気になる。https://t.co/3G9b1BNSnk#仕様書読み pic.twitter.com/8i382kmR2l
— Teppei Kurita (@kuritateppei) 2020年2月4日
レイトレーシングのアプリケーション(ゲームから医療・建築まで)を体系的網羅的にまとめた文献、色々な分野で参考になりそう。宝石のデザインにレイトレが必須になってきてるのはなるほど。ちなみにレイトレのフリーソフトウェアは100個以上もあるらしい。https://t.co/3fmRiWHeKM#文献読み
— Teppei Kurita (@kuritateppei) 2020年2月5日
UAVを使用したマルチスペクトル航空写真測量のホワイトペーパー(スペイン)。この分野の主要トピックに関して、浅いけどある程度体系的にまとまっていて読みやすい。https://t.co/NPrwu098vf!#文献読み pic.twitter.com/oplzJlAx39
— Teppei Kurita (@kuritateppei) 2020年2月4日
CNNによりソーラーパネルの汚れを検出し出力電力予測をするFirst Effort。ソーラーパネルのRGB画像と環境要因(irradiation)を入力として、電力ロス、汚れのマスク、種類を推測する。マスクのラベル付けのいらない弱教師あり学習。https://t.co/QY0fh9WojE#文献読み pic.twitter.com/whkhm9cd6H
— Teppei Kurita (@kuritateppei) 2020年2月3日