2021年12月 文献/技術記事解説
真っ白な部屋の壁を観察するだけで、人の数や行動(歩く、飛ぶ、手を振る、しゃがむ、静止)を分類する。事前のキャリブレション不要。壁の観測映像は信号レベルが極めて低くノイズにまみれているので映像を二次元表現に投影しシーンの本質的な動きをまとめた信号を抽出する。https://t.co/549CHzyUNN pic.twitter.com/rvX4VhlaOq
— Teppei Kurita (@kuritateppei) 2021年12月31日
単眼画像からSVBRDFを推定する。当問題には珍しくパッチベースのGANを採用。理由としては(1)ディテールの回復 (2)反射率マップが存在しない実世界データも学習に利用可能で教師なしで合成・実世界データ間のドメインシフトを低減可能である事。特に実世界データに対して有効。https://t.co/YMqPA3cAka pic.twitter.com/z6LlE1x4CY
— Teppei Kurita (@kuritateppei) 2021年12月29日
航空画像から道路地図をゼロから推定する道路抽出が従来主に研究されてきたが、世界の多くの地域では質の高い地図が存在するので「既存の地図を更新する」需要の方が高い。そこで地図更新タスクのための大規模データセットを開発。8年間の全米21都市の航空画像とOSMからなる。https://t.co/WMaQAAUxF1 pic.twitter.com/SKwg6rvqYS
— Teppei Kurita (@kuritateppei) 2021年12月29日
DeepなRaw→sRGB変換は学習データペアを異なるカメラで撮影し位置ずれしているのでそのまま学習させるとボケる。そこで画像アライメントとRaw→sRGBマッピングの共同学習モデルを提示。色の不一致がアライメントを困難にしていると主張しその影響を軽減するモジュールを提案。https://t.co/FcmSqrgO4E pic.twitter.com/DgknLI7Mp8
— Teppei Kurita (@kuritateppei) 2021年12月28日
小さな画像パッチは画像のスケールに関わらず似た統計量を持つが深層特徴の内部分布はスケール間で明確に異なる事を指摘。この深層自己非類似性(DSD)の特性は強力な視覚的指紋として利用できる。画像復元NNの損失としてDSDを組み込む事で敵対学習をせずGAN相当の性能が出る。https://t.co/lu6sTU6Kq6 pic.twitter.com/edd7xFM1R1
— Teppei Kurita (@kuritateppei) 2021年12月22日
大規模データセットを大幅に小さく圧縮するデータセット蒸留でのSOTA。CIFAR10ではわずか10データでTest Accuracy64%以上。リンゴの蒸留画像は大きなリンゴの中に沢山のリンゴが入っているように見えたり自転車の蒸留画像は典型的な自転車の輪郭が抽出されていたり興味深い。https://t.co/UD7IWgTnVW pic.twitter.com/BWcd9325s0
— Teppei Kurita (@kuritateppei) 2021年12月20日
OpenGL等の低品質CG画像の質を向上させる。まずペアデータの学習でOpenGL CG→PBL CGに変換し、次いで教師なし(CycleGAN)でPBL CG→Realに変換。その際Intrinsics分解でAlbedoとShadingに分解し、各要素に対してそれぞれPBR→Realへのマッピングを学習する事で性能向上。https://t.co/kTUvTlPlqa pic.twitter.com/I8cHK0UAzR
— Teppei Kurita (@kuritateppei) 2021年12月15日
ヘルムホルツステレオを偏光状態を考慮したものに拡張。偏光による位相情報が追加されているので画像ペアの最小数を1つに減らすことが可能(最小構成では1画像ペアしか必要としない)。材料表面の屈折率が未知で良い。Limitationとして相互反射や透明なシーンは限界がある。https://t.co/eMZg3OJeRC pic.twitter.com/w2szXaRSLO
— Teppei Kurita (@kuritateppei) 2021年12月8日
K個の中間ドメインを経由しアンサンブルして1つの強力な最終ドメインの予測を学習することで、学習データの分布の変化にロバストになる方法を提案。統合は各予測に関連する不確実性に基づきシンプルな方法で行われる。中間ドメインが変更されても修正や再設計は必要ない。https://t.co/OIqEjvJ6lx pic.twitter.com/1CqpVhbGQ9
— Teppei Kurita (@kuritateppei) 2021年12月8日
平坦な最小値(Flat minima)を求めることでドメイン一般化におけるギャップが小さくなることを理論的に示しFlat minimaを求めるためのシンプルで効率的なSWADを提案。またフラット性を考慮しないMixupやCutMixはドメイン外の汎化性能を保証できない事を理論・実践的に示した。https://t.co/7wHkNNQUfB pic.twitter.com/oL2XgMUWA2
— Teppei Kurita (@kuritateppei) 2021年12月7日
「物体の影」から符号化された高周波照明の推定を行う。シーンの形状と影領域のアルベドは既知前提。単一方向から入射している場合は単純だが多数の方向から同時に入射する照明を推定するのは線形だが不良設定問題になる。そこで光輸送を近似し最適化する実用的な手法を提案。https://t.co/eoHhdc7Zb9 pic.twitter.com/ZZOWaG0i0l
— Teppei Kurita (@kuritateppei) 2021年12月2日