最適化

1つの応答曲面を遺伝的アルゴリズムで探査するPythonコード例

機械学習で応答曲面を求めた後、その曲面（学習済モデル）の最小値や最大値を探査したい場合があります。ここではPythonによる実現の例として、とりあえずPyTorchで機械学習→PlatypusのNSGA-IIで探査といった方法を試してみます。

多目的最適化とは、2つ以上のトレードオフ関係にある複数の目的関数を同時に最適化する方法の事です。ここではPythonライブラリであるPlatypusを使って簡単な多目的最適化を行い、パレートフロントを求めるコードを紹介します。

勾配降下法に代表される最適化手法には様々な手法があります。ここではAdaGradの弱点を改善するRMSPropの概要を説明し、PythonのNumpyで実装、他の手法と比較してみます。

機械学習にはコスト関数の極小値を探すために、様々な最適化手法が考案されています。ここでは学習が進むにつれ学習率が調整されていくAdaGradをPythonのnumpyで実装する方法を学びます。

機械学習でよく使われる関数の最小値を探す最適化には様々な手法があります。ここでは勾配降下法を少し改善したMomentum(モメンタム)の式とPythonコードを紹介します。

機械学習や数値解析で頻繁に用いられる勾配降下法は最適化問題に解を与える有力手法です。ここではアルゴリズムを理解するために、最も単純な1変数関数と2変数関数における勾配降下法の実装を学習します。