ニューラルネットワークにおける各層の線形変換の直後には、必ず活性化関数が挟まれています。 今回は、「なぜ ReLU が好まれるのか」についてまとめておきます。 [目次] 活性化関数 中間層における活性化関数 出力層における活性化関数 中間層で ReLU がよ…

この記事は、 ディープラーニングの学習コードを書いたことはあるが、なぜ活性化関数が必要なのかよく分からない人 を対象としています。 概要 この記事で取り扱うこと - 活性化関数が必要な理由 - なぜ非線形でないといけないのかの説明 取り扱わないこと -…

PIL の Image.fromarray を使って ndarray から PIL オブジェクトを生成しようとした際、KeyError: ((1, 1, 3), '

[目次] 接線とは 微分の定義 接線の定義 python で実装する おまけ おわりに 接線とは 実際に接線を描画する前に、正確に定義をしておきましょう。 微分の定義 ここでは PC により数値的に計算するために、極限による微分の定義を用います。 以下にx=aにおけ…

tanhとシグモイド関数の関係 機械学習の活性化関数としてよく出てくる、タンジェントハイパボリック（tanh(x)）とシグモイド関数（sigmoid()）の”数学的な”違いについて少しまとめてみた 機械学習的にどう異なるかは勉強不足のためわかっていない とりあえず…

pythonにおけるベクトルの内積計算 numpyのdotを使った内積計算が速いと聞いたので比較してみた 単位は秒 num looping dotting 100万 0.106 0.0016 1000万 1.09 0.012 1億 42.45 0.15 なお、以下のコードを使用した import time import numpy as np import r…