決定木

機械学習コンペで人気のLightGBMをPythonで使ってみた

Kaggleを始めました！これまで古典的な機械学習手法は少し使えるようにしてきたつもりですが、KaggleではLightGBMでハイスコアを出している人が多いそうです。ここではLightGBMのインストールと使い方を学んでみます。

機械学習は万能な方法ではなく、ハイパーパラメータの調整が不可欠です。ここでは最も理解しやすい決定木分析を使ってグリッドサーチというハイパーパラメータ調整方法を習得することを目標とします。

機械学習アルゴリズムの1つであるランダムフォレスト分析は多数の決定木を作成して多数決で予測する手法です。決定木が沢山できますが、「どんな木が出来たのかな～」っと何気なく思った人のために、眺めていると無心になれる「全決定木可視化動画」の作り方を紹介します。

機械学習アルゴリズムの1つ、ランダムフォレストは決定木分析とアンサンブル学習を用いた汎化性能の高い分析手法です。ここではランダムフォレストを理解するための概要説明と、Python/scikit-learnによるコード習得を目標とします。

機械学習の決定木分析で構築されたツリーは、コンピュータが生成した条件分岐ノードの情報が記載されます。ここではPython/scikit-learnで計算した決定木をdotファイルで出力し、Graphvizというツールをインストールして可視化する方法を紹介します。

決定木分析は条件分岐の繰り返しで分類や回帰を行う計算です。機械学習の中でもディープラーニングと異なり結果の解釈が容易という利点があります。ここでは決定木の中でも分類木分析の考え方概要とPython/scikit-learnによる計算方法を紹介します。