勉強の過程で登場した、”torch.Tensor.scatter_”という関数。公式にはその動作について以下のような記述があります。 よくよく見れば言いたいことは分かるのですが、めちゃめちゃ目が滑ります。なので、torc … “[Python/PyTorch] torch.Tensor.scatter_を理解する” の続きを読む
カテゴリー: DeepLearning
[PyTorch/torchvision] ネットワークを設定する (3)
ゼロからネットワークを作成 既存のネットワークではなく、自分でゼロからネットワークを設定してみます。ネットワークのコードは以下を使って、実装方法を確認してみました。ちなみに、このコードはMNISTという0~9の数字 (2 … “[PyTorch/torchvision] ネットワークを設定する (3)” の続きを読む
Scheduler
学習を行うときの学習率の設定はなかなか悩ましいものがあります。収束は早くしてほしいけど、きちんとロスの底にたどり着いてほしい。 そういう場合に、Schedulerの機能を使います。Schedulerは学習率を習の途中で変 … “Scheduler” の続きを読む
[python/PyTorch] 乱数を固定する
CNNの既存コードを見ていると、torch.manual_seed()なんていう一文があります。おまじないみたいなものだろうと全然気にしないでいたのですが、調べてみたら深い意味をもつものでしたので、備忘のために書いておき … “[python/PyTorch] 乱数を固定する” の続きを読む
クロスエントロピーとKLダイバージェンス
機械学習を行うときのロス関数の定義については、いろいろと考えることが多いだろうと思います。分類などを行うとき、クロスエントロピー（交差エントロピー）とKLダイバージェンスというロス関数がしばしば登場しますが、理解しないま … “クロスエントロピーとKLダイバージェンス” の続きを読む
データの白色化 (2/2)
前回はデータの共分散行列の表しかたについてまとめました。共分散行列は、要素ごとの分散と、要素間の相関関係を表す行列です。 では、白色化の目的である【要素間の相関をなくす】とはどういうことでしょうか。 下は\(n \tim … “データの白色化 (2/2)” の続きを読む
データの白色化 (1/2)
ディープラーニングの教科書として、岡谷貴之「深層学習」を読んでいます。一巡目は、タイトルの項目が数式の嵐で、飛ばしてしまっていましたので、ひとつひとつ理解してみることにしました。なお、ここで使う記号は、上記の本に準拠しま … “データの白色化 (1/2)” の続きを読む
ヤコビ行列
ヤコビ行列とは何ぞやということで、調べてみました。なお、スーパー初心者が自分でどうにかかみ砕いた結果を書いていますので、数学的な正確性についての保証はありません。 まずはwikiの記述から。 数学、特に多変数微分積分学お … “ヤコビ行列” の続きを読む
テンソルを作る
では、さっそくPyTorchを動かしてみようと思います。 ライブラリのインポート さっそく「__future__」とはなんぞや？ という疑問が生じました。（スーパー初心者ですので） ”__future__”というのは、p … “テンソルを作る” の続きを読む
pytorchチュートリアルはじめました
Deep Learningを扱うにあたって私が使うフレームワークはpytorchです。ほかのフレームワークと比べてどんな特徴があるのか、なんかもそのうち調べていきたいと思いますが、今はこれ以外知りませんのでまずは動かせる … “pytorchチュートリアルはじめました” の続きを読む