2020年11月 文献/技術記事解説
自発的な笑顔を認識するためのEnd2Endのアーキテクチャの提案。手動でのランドマークのアノテーションや特徴量の操作が必要ない。従来技術と異なり様々な長さの動画を扱うことができる。ネットワークもコンパクトでリアルタイムを達成するのに十分な速さ。https://t.co/oGFUuT0wja pic.twitter.com/PUFCNKH0cL
— Teppei Kurita (@kuritateppei) 2020年12月1日
車線検出において、実画像ドメインのラベル付けがほとんどない場合でも、合成データからの学習を適合することで性能を大幅に向上させる。オートエンコーダベースのDomain Adaptationで、Top ViewのGradientを基準とした独自の自己監視タスクを組み入れたことがキモ。https://t.co/KpSDF3Z1LJ pic.twitter.com/hAXiGV0Ksh
— Teppei Kurita (@kuritateppei) 2020年11月30日
前景と背景の合成はDNNの発展に伴い進化しているが、未だ完全に調和した画像を生成するのは困難、特に影の合成に関しては課題が多い。そこで局所的・大域的な調和を考慮した新しい画像合成ネットワークを提案。背景画像の照明環境を推定するための照明モデルを導入している。https://t.co/jOjJ7DVcwL pic.twitter.com/njgbeMfswf
— Teppei Kurita (@kuritateppei) 2020年11月28日
空間的に符号化された分光器と、分光的に符号化されたイメージャを用い反復処理を行い高空間&高スペクトル分解能のハイパースぺクトル画像(HSI)を取得する。キモはクリロフ部分空間法を光学的に実装しHSIの低ランク近似を直接取得可能にしスループットを向上させたこと。https://t.co/UZXX3Jjykf pic.twitter.com/vabik12cy6
— Teppei Kurita (@kuritateppei) 2020年11月27日
高品質な顔の外観と3D形状を同時に取得する軽量で安価なシステムの提案。基本フォトグラだが、マルチカメラのサブセットに直交偏光フィルタを噛ませたカメラを入れておいてインバースレンダリングのためのサブサーフェス分離情報を高精度・高効率に取得しているのがキモ。https://t.co/Z8YIRfDS7q pic.twitter.com/ivUOuq39Yp
— Teppei Kurita (@kuritateppei) 2020年11月26日
SPADは優れた時間分解能の代わりに低い解像度および受光面積の低さに悩まされている。そこでSPADの解像度を向上させるために、光学設計(PSF)と画像再構成を同時に最適化するためのEnd2Endのフレームワークを提案。超薄型の位相板を利用し簡単に製造して組み立てる事が可能。https://t.co/w7IJOhC9a9 pic.twitter.com/hFVWxEAzYU
— Teppei Kurita (@kuritateppei) 2020年11月25日
風景シーンの画像を、異なる季節・天候・時間帯で撮影されたように変化させる。ユーザが直接属性を指定して変化させることができるので、参照スタイル画像が必要ない。与えられたセマンティックなレイアウトと属性からフォトリアルなシーンを生成するConditional GAN。https://t.co/GJ8w4TsPD6 pic.twitter.com/S4YUFc6w6l
— Teppei Kurita (@kuritateppei) 2020年11月24日
屋外でポートレート写真のための良い照明環境を見つけることは難しい。そこで撮影後に照明を変化させ、より写りの良いポートレートを生成する。1.顔の影を除去する 2.照明比を改善する、2つのネットワークからなる。学習データ生成に影のレンダリングとLight Stageを利用。https://t.co/UcJ9fg2UBP pic.twitter.com/o8jXGQv6wM
— Teppei Kurita (@kuritateppei) 2020年11月23日
フォントを自動的に生成する。ユーザが指定する属性と値に従う。既存のフォントから探索するのではなく属性値に応じて新しいフォントを生成する。属性値を条件として任意の2つのフォント間のスタイル移行がスムーズになるように学習される。英語以外(中国語等)にも適用可能。https://t.co/ZnSjfBi05t pic.twitter.com/OwhP5mCiOZ
— Teppei Kurita (@kuritateppei) 2020年11月22日
最適化ベースのエッジ保存平滑化は計算量と性能のトレードオフが課題であった。そこで反復最小二乗法(ILS)ベースの高速なエッジ保存平滑化を提案。バイラテラルフィルタ並みに軽く、並列化が容易で1080pの解像度の画像を47fpsで処理することができる。非常に実用的で必見。https://t.co/Fvx9qV2Qyj pic.twitter.com/9t0Rhtv4YN
— Teppei Kurita (@kuritateppei) 2020年11月20日
NeurIPS採択論文の興味深い記事。CNNは形状よりもテクスチャを利用して分類を行うが、データ起因のバイアスが発生する。Color変化や、ノイズ付与、Blurなどの「自然な」Data Augmentationはバイアスを除去するが、ランダムクロップなどのAugmentationはバイアスを増やす。https://t.co/wr1QuWpB2y
— Teppei Kurita (@kuritateppei) 2020年11月18日
入力画像の飽和(白トビ)画素を視覚的に美しく復元することで疑似的にHDR画像を生成する。従来のDNNベースの手法は飽和領域と通常画素に同じ畳み込みを使用していたためにアーティファクトが発生していた。そこで飽和領域の悪影響を低減するために特徴のマスキングを提案。https://t.co/vgC5fhR4Pn pic.twitter.com/60qgjYEN61
— Teppei Kurita (@kuritateppei) 2020年11月18日
屈折率の高い半透明で不均一な複屈折材料(液晶等)で起こる光輸送のモデリングの提案、およびレンダリング方式の提案。電磁波理論を用いて光輸送を微分方程式として定式化して、二重屈折と結果として生じる波の干渉を取り扱えるように解析的近似を考案したことが進歩性。https://t.co/Od3k1wYptv pic.twitter.com/v2csP51e7d
— Teppei Kurita (@kuritateppei) 2020年11月12日
健常者にとっては3D形状の認識は当たり前のことだが、視覚障碍者は幾何学的な概念を学習したり構想したりするために触覚的な2Dのイラストに依存している。しかし既存の3Dから2Dへの変換は透視投影前提であり、見ることを経験したことがない人には不自然に感じられる事がある。https://t.co/53WaL2K2J1 pic.twitter.com/LhSRShhL7M
— Teppei Kurita (@kuritateppei) 2020年11月11日
ステンレスやチタン等の一部の材料はレーザーで照射することで(複雑な物理化学現象の結果として)色を付与することができる。しかしレーザーパラメータと色との相関が不明なためカラフルな高解像度の着色は困難。そこでデータドリブンベースのレーザーマーキング手法を提案。https://t.co/v73SlSPiHR pic.twitter.com/XDHEBMVDxb
— Teppei Kurita (@kuritateppei) 2020年11月10日
Light Fieldカメラは撮影後にリフォーカスできるなど多くの利点があるが、データサイズが大きい。それを回避するためにLight Fieldの疎で軽量なウェーブレット表現から、直接リフォーカス画像を生成する局所的なフーリエスライスPhotography法を提案。(SIGGRAPH2020単著)https://t.co/UdPANBRcb1 pic.twitter.com/FQ3X1KDIbd
— Teppei Kurita (@kuritateppei) 2020年11月9日
マイクロファセットBSDFに用いられている法線分布関数(NDF)はBeckmannやGGX等様々なものが提案されているが、実はそれら全ての分布は「Skewed一般化T分布」の一部である事を指摘(金融統計学で始めて導入された)。これらの分布は基本的にベル分布であり表現が制限される。https://t.co/NU4D6dgPvg pic.twitter.com/5vkuR5fA1m
— Teppei Kurita (@kuritateppei) 2020年11月8日
Computer Graphics分野の研究論文の再現性について、3年分のSIGGRAPHの採択論文374件についてコードを探索、コンパイル・実行・分析をした。合計151件のコードのビルド手順を掲載。近年コードの公開割合は目に見えて上がっており、被引用数に直結する明確な相関関係がある。https://t.co/MhhBsVyIy2 pic.twitter.com/dJaMzqINMx
— Teppei Kurita (@kuritateppei) 2020年11月6日
3Dプリントで光沢を再現する。光沢を再現するために必要なニスは粒子が大きく粘性があり通常の3Dプリンタの20ミクロンのノズルでは堆積させるのが困難。そこでニスを堆積させることが可能な新しいプリンタを開発、システム全体とニスの噴射キャリブレーションが技術的な貢献。https://t.co/1EfZlnffjG pic.twitter.com/5jJ5K8JX5h
— Teppei Kurita (@kuritateppei) 2020年11月6日
2Dのデザインスケッチ(ベクター形式)を3Dに変換する初の試み。スケッチは不正確さや冗長なストロークおよび作図線が存在し難しい。一方作図線は重要な3D構造の手がかりとなるが、交点は3D交点の他に偶発的なOcclusionも起こりうる。そこで3D交点のみを探索する分類器を提案。https://t.co/2t7iafm2ug pic.twitter.com/uyvf5hH3SC
— Teppei Kurita (@kuritateppei) 2020年11月5日
CGにおけるモンテカルロ積分はその確率的な性質からノイズが多い。既存のノイズ除去は画素間に何らかの相関関係を導入しノイズを低減しているが、特有の残留ノイズが発生する。そこで独立した画素と相関のある画素の推定値を組み合わせるための統一的なフレームワークを提案。https://t.co/ko1nI3fwrR pic.twitter.com/l07RYojvvt
— Teppei Kurita (@kuritateppei) 2020年11月4日
リアルタイムCGレンダリングのポストフィルタとしてTemporal antialiasing(TAA)が広く使用されているが、アーティファクトを生みやすく時間方向に不安定になりやすい。そこで4bit量子化特徴抽出ネットとフィルタリングネットワークを組み合わせ高速かつ高性能の再構成を実現。https://t.co/mPuT2coUTf pic.twitter.com/rrj1VBYA1t
— Teppei Kurita (@kuritateppei) 2020年11月3日
複数の異なる光源からなる撮影機材であるライトステージは、人の顔のリライティングをするために使用されてきたが、疎なサンプルからなるのでリライティング結果にはアーティファクトが発生する。ここではNNと線形補間を併用し固有のエイリアシングを回避する方法を提案。https://t.co/6SS9Wvl0YV pic.twitter.com/n9Hfw9aJLp
— Teppei Kurita (@kuritateppei) 2020年11月2日