乱数を固定する

CNNの既存コードを見ていると、torch.manual_seed()なんていう一文があります。おまじないみたいなものだろうと全然気にしないでいたのですが、調べてみたら深い意味をもつものでしたので、備忘のために書いておき … “乱数を固定する” の続きを読む

クロスエントロピーとKLダイバージェンス

機械学習を行うときのロス関数の定義については、いろいろと考えることが多いだろうと思います。分類などを行うとき、クロスエントロピー(交差エントロピー)とKLダイバージェンスというロス関数がしばしば登場しますが、理解しないま … “クロスエントロピーとKLダイバージェンス” の続きを読む

データの白色化 (2/2)

前回はデータの共分散行列の表しかたについてまとめました。共分散行列は、要素ごとの分散と、要素間の相関関係を表す行列です。 では、白色化の目的である【要素間の相関をなくす】とはどういうことでしょうか。 下は\(n \tim … “データの白色化 (2/2)” の続きを読む

データの白色化 (1/2)

ディープラーニングの教科書として、岡谷貴之「深層学習」を読んでいます。一巡目は、タイトルの項目が数式の嵐で、飛ばしてしまっていましたので、ひとつひとつ理解してみることにしました。なお、ここで使う記号は、上記の本に準拠しま … “データの白色化 (1/2)” の続きを読む

ヤコビ行列

ヤコビ行列とは何ぞやということで、調べてみました。なお、スーパー初心者が自分でどうにかかみ砕いた結果を書いていますので、数学的な正確性についての保証はありません。 まずはwikiの記述から。 数学、特に多変数微分積分学お … “ヤコビ行列” の続きを読む

pytorchチュートリアルはじめました

Deep Learningを扱うにあたって私が使うフレームワークはpytorchです。ほかのフレームワークと比べてどんな特徴があるのか、なんかもそのうち調べていきたいと思いますが、今はこれ以外知りませんのでまずは動かせる … “pytorchチュートリアルはじめました” の続きを読む