勾配降下法に代表される最適化手法には様々な手法があります。ここではAdaGradの弱点を改善するRMSPropの概要を説明し、PythonのNumpyで実装、他の手法と比較してみます。
続きを読む学習の停滞を改善するRMSPropをPythonで書いてみた
勾配降下法
Python/Numpyで機械学習の最適化！AdaGradを実装
機械学習にはコスト関数の極小値を探すために、様々な最適化手法が考案されています。ここでは学習が進むにつれ学習率が調整されていくAdaGradをPythonのnumpyで実装する方法を学びます。
続きを読む勾配降下法に慣性項を追加するMomentumをPythonで実装
機械学習でよく使われる関数の最小値を探す最適化には様々な手法があります。ここでは勾配降下法を少し改善したMomentum(モメンタム)の式とPythonコードを紹介します。
続きを読む勾配降下法を回帰分析に適用する式と実装のためのPythonコード
勾配降下法(最急降下法)は式がシンプルで扱いやすい最適化手法です。ここでは勾配降下法を機械学習の回帰分析に適用するための式変形方法や、Pythonで実装するためのコードを紹介します。
続きを読むPythonで1変数と2変数関数の勾配降下法を実装してみた
機械学習や数値解析で頻繁に用いられる勾配降下法は最適化問題に解を与える有力手法です。ここではアルゴリズムを理解するために、最も単純な1変数関数と2変数関数における勾配降下法の実装を学習します。
続きを読む