ディープラーニングとやらにまったく詳しくなくてなにをしたらいいかわからない…という中 Deep Learning’s Most Important Ideas - A Brief Historical Review という記事を読んだ。
次々に新しい論文が出て成果が主張されるのでとても追っていられないが、 時の試練に耐えて残っているアイディアというのは重要だしそれらを追うと手っ取り早いでしょう。 また歴史を追うことで時代背景やなぜその技術がでてきたのかというのが理解しやすくなる。
挙げられている項目は
- 2012: AlexNet, Dropout (CNN)
- 2013: Playing Atari with Deep Reinforcement Learning (DQN)
- 2014: Attention
- 2014: Adam Optimizer
- 2014/15: Generative Adversarial Network (GAN)
- 2015: Residual Network (ResNet)
- 2017: Transformers
- 2018: BERT
- 2019/20以降: 巨大言語モデル、自己教師あり学習？ (GPT-3)
他にも１行リンクでいろいろと。 実装のリンクもあるので動かして試すこともできるかも。
最先端を追うなどということは望むべくもないが、こうやって整備された道を後追いでも理解していきたいですね。
参考
- Google翻訳 やっぱ母国語で読むのが超絶楽っスね…
- 38. ディープラーニング直近10年の最も重要なアイデアたち | 白金鉱業.FM
過去ツイート、記事
SMBでDDQN〜１万エピソード学習結果
— tyfkda (@tyfkda) February 15, 2021
プラットフォーマーは重力に縛られていてまた右移動でジャンプすだけでそれっぽくなるのである意味学習は簡単かも
報酬が右移動だけなので、コインやスコアを考慮するともっと人っぽくなるかも
にしても連続踏付や？叩いてクリボー倒すの見事だなにがあった https://t.co/iP5uKxqCav pic.twitter.com/c4W1zOc9tv
celebAをDCGAN。圧倒的にトレーニング不足…。 pic.twitter.com/zKUE2Lpc8P
— tyfkda (@tyfkda) April 5, 2018