DeepLearning – スーパー初心者からはじめるDeep Learning

Scheduler

学習を行うときの学習率の設定はなかなか悩ましいものがあります。収束は早くしてほしいけど、きちんとロスの底にたどり着いてほしい。そういう場合に、Schedulerの機能を使います。Schedulerは学習率を習の途中で変 … “Scheduler” の続きを読む

CNNの既存コードを見ていると、torch.manual_seed()なんていう一文があります。おまじないみたいなものだろうと全然気にしないでいたのですが、調べてみたら深い意味をもつものでしたので、備忘のために書いておき … “[python/PyTorch] 乱数を固定する” の続きを読む

機械学習を行うときのロス関数の定義については、いろいろと考えることが多いだろうと思います。分類などを行うとき、クロスエントロピー（交差エントロピー）とKLダイバージェンスというロス関数がしばしば登場しますが、理解しないま … “クロスエントロピーとKLダイバージェンス” の続きを読む

前回はデータの共分散行列の表しかたについてまとめました。共分散行列は、要素ごとの分散と、要素間の相関関係を表す行列です。では、白色化の目的である【要素間の相関をなくす】とはどういうことでしょうか。下は\(n \tim … “データの白色化 (2/2)” の続きを読む

ディープラーニングの教科書として、岡谷貴之「深層学習」を読んでいます。一巡目は、タイトルの項目が数式の嵐で、飛ばしてしまっていましたので、ひとつひとつ理解してみることにしました。なお、ここで使う記号は、上記の本に準拠しま … “データの白色化 (1/2)” の続きを読む

ヤコビ行列とは何ぞやということで、調べてみました。なお、スーパー初心者が自分でどうにかかみ砕いた結果を書いていますので、数学的な正確性についての保証はありません。まずはwikiの記述から。数学、特に多変数微分積分学お … “ヤコビ行列” の続きを読む

では、さっそくPyTorchを動かしてみようと思います。ライブラリのインポートさっそく「__future__」とはなんぞや？　という疑問が生じました。（スーパー初心者ですので） ”__future__”というのは、p … “テンソルを作る” の続きを読む

Deep Learningを扱うにあたって私が使うフレームワークはpytorchです。ほかのフレームワークと比べてどんな特徴があるのか、なんかもそのうち調べていきたいと思いますが、今はこれ以外知りませんのでまずは動かせる … “pytorchチュートリアルはじめました” の続きを読む