2020年 Misc
自転車を店前に置いてたら、鍵とブレーキがバッキバキに壊されていた。ここがLAだということを忘れていた。
— Teppei Kurita (@kuritateppei) 2020年10月19日
等色関数、世界中の人間が使う色の基準が、被験者17人の平均値で決められたって今考えるとヤバすぎるよな。
— Teppei Kurita (@kuritateppei) 2020年10月4日
わかる。 https://t.co/U4cIrlBjFa pic.twitter.com/J84qUTYhx7
— Teppei Kurita (@kuritateppei) 2020年10月3日
あらゆる関数の(height, width), (row, column)の順が全て統一されたら世界に平和が訪れる。
— Teppei Kurita (@kuritateppei) 2020年9月18日
ウェーブレット+NNの論文増えて来たな…ECCVだけで3本目。
— Teppei Kurita (@kuritateppei) 2020年9月6日
USに唯一持ってきた3冊、いつも助けられてます。 pic.twitter.com/m5MWtVisO1
— Teppei Kurita (@kuritateppei) 2020年8月25日
arxiv漁ってるとたまにどこの学会にもジャーナルにも出していないけど滅茶苦茶面白い内容の論文とかに引っ掛かって思わず著者名ググると謎のイスラエルのベンチャーだったり。
— Teppei Kurita (@kuritateppei) 2020年8月17日
最近中国語で書かれた論文やWebを読むことがナチュラルに多くなってきた。本当に質の高い情報が集まってきてる…
— Teppei Kurita (@kuritateppei) 2020年8月11日
Colab使ってるときにDriveのI/Oでヘタることが多いけど、何回かやってると失敗した状態が徐々にキャッシュに蓄積するので、いつか通る(ことが多い)ので諦めないとよい。
— Teppei Kurita (@kuritateppei) 2020年7月10日
アナログで根性論な解決策ワロタ。 pic.twitter.com/p0fIeV3Emm
正直回してる学習が同時に5以上になると何やってるか把握できなくなって逆に効率が悪くなる。でも常に計算資源使い切ってないと損した気分になる、完全に病気。
— Teppei Kurita (@kuritateppei) 2020年7月7日
grammarly先生、それは界隈の人が怒る pic.twitter.com/R7gGzBZVfT
— Teppei Kurita (@kuritateppei) 2020年7月6日
ECCV採択1361件全部見た。
— Teppei Kurita (@kuritateppei) 2020年7月5日
ざっと見て多かったキーワード。
Attention:42
Distillation:28
Self-Supervised:26
Semi-Supervised:20
Architecture Search:19
Reinforcement:8
知識蒸留ホットですね。
CVPRのCV系の某パネルディスカッション、最近の若手研究者のNNの実装能力の高さが凄い一方、信号処理の基礎が疎かな人が多くなっていてどう思うか?という質問に教授陣が苦笑いを浮かべていた。個人的には成果が出りゃパラメータの振り方は好きにすれば良いと思うけど。
— Teppei Kurita (@kuritateppei) 2020年6月19日
「本論文ではSOTAの結果が得られたが、既存手法に対するアルゴリズムの優位性は主張しない」
— Teppei Kurita (@kuritateppei) 2020年6月11日
すげーかっこいい論文に出会った…。
KorniaっていうPyTorch互換のある画像処理ライブラリがとても便利。
— Teppei Kurita (@kuritateppei) 2020年6月10日
OpenCVっぽく書くことができて、古典画像処理(ラプラシアンフィルタ、Sobelなど)をPyTorchのTensorのまま適用できる。
今まで誤魔化し誤魔化しやってたTensor上での画像処理を苦労せず綺麗に書ける。https://t.co/ymWMvFPg24
cycleganしたらキュウリが不味そうな得体の知れないモノになった…。 pic.twitter.com/zzavFf3GJ9
— Teppei Kurita (@kuritateppei) 2020年6月4日
pix2pixやCycleGANのオリジナルコードを1つちゃんと理解しておくと、最近の画像推定系の論文かなりの確率でそのフォークだからすらすらコードが読める。
— Teppei Kurita (@kuritateppei) 2020年5月31日
・Code (Coming soon)
— Teppei Kurita (@kuritateppei) 2020年5月28日
・Dataset (Coming soon)
永遠に来ない率が高すぎる。直接メールすると50%くらいでくれる。
DeepLで何となく考えているまとまっていない思考や文章を英語に翻訳して再度日本語に翻訳すると、ポイントを押さえてロジカルにまとめてくれていることがある。
— Teppei Kurita (@kuritateppei) 2020年5月9日
最近技術の進化速度が加速しているのを肌で感じる。基礎研究のレベルも上がっている気がする(これは賛否両論あるけど)。そろそろ本当についていけなくなる。ただそれが悪いとは思っていなくて、どんどん自分なんか置いて行ってくれるくらいぶっ飛んで欲しい。
— Teppei Kurita (@kuritateppei) 2020年5月8日
最近noise2noiseという超絶便利ツールを得たおかげで、CGのデータセットを作るとき、サンプリング数をサボってレンダリングして後で一気にNRをするという方法をとっている。通常1ヶ月くらいかかるレンダリングが2日くらいで終わる。文明の利器だ。
— Teppei Kurita (@kuritateppei) 2020年5月6日
🇺🇸で美味しいもの。1. 果物 2. 肉 pic.twitter.com/axj1jI0Neq
— Teppei Kurita (@kuritateppei) 2020年4月26日
昨日これ笑ってたんですけど、自分でAdversarial loss系のネットワーク図を描く時に滅茶滅茶参考になりますねこれ。大体のパターン網羅してるし。 https://t.co/iiTKyJjSfU
— Teppei Kurita (@kuritateppei) 2020年4月26日
Colab Proでも流石に制限かかりました。TeslaP100が蹴られるとかじゃなくて「使用料の上限に達したため」GPUがそもそも使えなくなりました。
— Teppei Kurita (@kuritateppei) 2020年4月21日
今まで1か月分の蓄積で引っ掛かったのか、直近の派手な使い方で引っ掛かったのかはわかりません。公式の言うとおりProでも無制限ではないことがわかりました。 https://t.co/axUwLLtkih
Colab Pro、複数ノートブックで(多分複数)GPU回せるんだけど、あまりやりぎるとTeslaP100さすがに蹴られる気がしているけど、先行者として実績作っとくのも悪くないと思って今4並列24時間回してみてる。どうなるか。
— Teppei Kurita (@kuritateppei) 2020年4月19日
報告ですがColab Pro、1か月間ほぼ24時間回し続けたけどTesla P100蹴られませんでした。今のところコスパ最強。24時間で自動的にセッションは切れるのがめんどくさいけど、学習をresumeできる仕組みにしとけばさほど支障はないですね。 pic.twitter.com/5MhddDqQzH
— Teppei Kurita (@kuritateppei) 2020年4月18日
noise2noise、従来の画像処理では本当にどうしようもなかった超低周波ノイズ(広範囲のゆらぎ)とかも取り除かれれてここ数年で一番の衝撃を受けている
— Teppei Kurita (@kuritateppei) 2020年4月13日
Deep Image Priorを使って行列分解やってみたんだけど凄いな。まったく何の情報もなさそうな画像から、生成元のイラストっぽい情報が出てきた。自然画像じゃないイラスト(ウイルスみたいなのとか)が生成されてるのはヤバい、神の領域に感じる
— Teppei Kurita (@kuritateppei) 2020年4月6日
下記の論文を参考にした。https://t.co/nTyzM2V6mc pic.twitter.com/UGCpnEdg3U
Mitsuba2の論文が実装寄り寄りなこともあって難しすぎるのだが(1週間以上読んでる)、初見でこれ全部理解できる人いるのか。レイトレとコアソフトウェアと機械学習の全部が達人レベルじゃなきゃ無理じゃないか。そんな人材、著者達以外いるのか。https://t.co/GWzmuborUV
— Teppei Kurita (@kuritateppei) 2020年3月30日
Mitsuba2は見れば見るほどテンプレートメタプログラミングをこれでもかというくらい使い倒して設計されているのだが、これだけうまく使えているのは、「天才たちが少人数」で「中規模のプログラム」を「明確な目的意識をもって」行っているからな気がしてならない…。凡人が混ざると崩壊する気がする。
— Teppei Kurita (@kuritateppei) 2020年3月29日
今更ながらpix2pixの論文読み終わったんですが、全章にわたってとてもわかりやすくて無駄な記述がなく良かったです。画像系のNNをやってる人は必読ですね。Introで「我々の技術は特に別に新しいものじゃないよ」と謙遜しているのも流石。まとめはWebに一杯あるのでやめます。https://t.co/6jfBwUzox6
— Teppei Kurita (@kuritateppei) 2020年3月26日
今更ながらpix2pixって滅茶苦茶コード綺麗だな、ここのforward, backwardの部分見るだけで大体何やってるか全容がわかる…。PyTorchがすごいのかもしれないけど。https://t.co/cXzQWxbshR pic.twitter.com/kvWrlVeybe
— Teppei Kurita (@kuritateppei) 2020年3月23日
NeRFの何がすごいって非ランバーシアンのBRDFのオブジェクトでも全く違和感ないところ、スペキュラ再現がえぐい。テレビが映ってる部屋のシーンの壁側の映り込みに注目。https://t.co/8QiRIxSjyY
— Teppei Kurita (@kuritateppei) 2020年3月22日
Google Colabが最近急にGPU制限かかるようになったので(やりおる…)せっかく米国に住んでいるのでColab Proに入ってみた。
— Teppei Kurita (@kuritateppei) 2020年3月22日
月$10でTesla P100かつメモリ27Gが(ある程度は)使い放題なのはコスパすごい、独特なルールは多いが。ちなみにGCPで同じくらいの構成のVM作ったら月1000ドル超えてた…。 pic.twitter.com/216jks1NyD
あまりCV系の人には馴染みないかもだけどDIALuxっていうフリーの建築用途のレンダリング&照明シミュレーションソフトが面白い。自分で部屋のモデリングもできるし、照明も実在する各社の数千もの照明を使って照度シムができるwhttps://t.co/NUrLxcagXWhttps://t.co/QcBIcgi7Yo pic.twitter.com/uXeuXu28UH
— Teppei Kurita (@kuritateppei) 2020年3月14日
完全に物理無視した現象論モデルでも、それが超高速だったり超簡潔な数式だったりしてCGの発展に一役買うんだったら、重要な技術として認められるし、SIGGRAPHでもその類は沢山採択されてる。
— Teppei Kurita (@kuritateppei) 2020年3月11日
Mitsuba2の微分可能レンダリングの簡単な例。目的となるレンダリング画像への誤差を最小化するようにシーンパラメータ(反射率等)を勾配法(SGD)等で最適化できる。左の壁は赤色が真値なのだが、適当な値で反射率を初期化しても最終的に真値に収束する。PyTorchとの統合可能。https://t.co/xRCyO7hawW pic.twitter.com/rniWlyVuol
— Teppei Kurita (@kuritateppei) 2020年3月8日
Mitsuba2で新しく実装された偏光レンダリングをやってみました。コーネルボックスの中に直線偏光板を奥から0°、45°、90°の順で置いています。0°と90°の偏光板が重なると完全に光は遮断されますが、45°の偏光板が間にあると減衰しますが通過します。https://t.co/2b08zcHM3O pic.twitter.com/MuXDGUE1Jg
— Teppei Kurita (@kuritateppei) 2020年3月7日
技術分野の原点調べてて一番衝撃だったのが、BRDF分野で、ランバート反射モデルが1760年に提案されてたこと。
— Teppei Kurita (@kuritateppei) 2020年3月3日
カメラ(永久写真)の発明より60年以上前やんけ…。学者は凄いなと思った。
母さん…僕サブピクセルのずれも許さずにはじめての鳥瞰図変換できたよ…。やはりこういう基本アルゴリズムをやるときは真値が得られるCGで練習するのが絶対正義ですね…。あとは補間とか面白い課題が残ってる、CNN使っても良いなー。 pic.twitter.com/M6H642ibpX
— Teppei Kurita (@kuritateppei) 2020年3月1日
ていうかPyTorch3D、このキャッチーさの割にあまりに話題になってなさすぎだな(日本だけじゃなくて世界でも)。PyTorchがまだまだ浸透していないのか、3D扱うこと自体が敬遠されているのか。
— Teppei Kurita (@kuritateppei) 2020年2月9日
Batch normalizationとDropoutを併用する場合はBN→Dropoutの順番じゃないと性能悪化すると。原因はそれぞれの分散の扱いの違いと、なるほど。最近はあんまDropout使わないけど頭に入れとこう。https://t.co/BQAW4zq48d
— Teppei Kurita (@kuritateppei) 2020年2月3日
西海岸(カリフォルニア)の気候は改めてチートレベルだなあと思う。常に気分が+20%くらいになる感じ。30%の絶不調の日でも50%のイーブンに持ってける。引きこもり体質の私が毎日外に出たいと思うくらい。そりゃGAFA勝ちますよね(雑な結論)。 pic.twitter.com/qvfreD03Eg
— Teppei Kurita (@kuritateppei) 2020年2月1日
NNのライブラリ比較、PyTorchが奈良県と茨城県で多いのって、NAISTや筑波大とそれぞれの研究所が要因でしょこれw
— Teppei Kurita (@kuritateppei) 2020年1月5日
研究都市の存在感を初めて感じた
Google トレンドで「PyTorch, TensorFlow, Keras, Chainer, Caffe - 日本、過去 5 年間」の 地方で比較した内訳 を見る - https://t.co/HbQBJ0fSBy pic.twitter.com/709B2VCI8L