Pythonで簡単にホールドアウト法用のデータ分割をする方法

機械学習ではホールドアウト法として1つのデータセットから訓練データとテストデータを分けることをよく行います。ここでは、Pythonのscikit-learnに含まれるtrain_test_splitを使った簡単なデータ分割方法を紹介します。

ホールドアウト法でバリデーションする

ホールドアウト法とは？

ホールドアウト法とは、機械学習においてデータを全て教師データとするのではなく、全体のデータから一部をテストデータ、残りを訓練データとして学習に用いる方法のことです。下図がイメージ図です。

上記はシンプルに訓練データとテストデータに分けただけですが、さらに下図のように訓練データ、検証データ、テストデータと3分割する方法もあります。

この方法は訓練データでモデルを学習させ、検証データで学習結果の評価を行い、学習を繰り返します。そして最後に完成したモデルの最終評価をテストデータで行うといった流れをとります。

このように検証を行うことをバリデーション（Validation）と呼びます。

データを分ける時の注意点

データの偏りに注意

当然といえば当然ですが、訓練データと評価に使うデータが偏っていては何を学習しているのかわからないので注意が必要です。

例えばAという花のデータだけを使って複数の花の分類モデルを作ろうとしたりしては精度が出ることはありません。

そのため、このような場合はデータの並び自体がランダムであるか、データ分割時にランダムに分離する必要があります。

時系列データの場合の注意

時系列データの場合は先ほどと逆で、データの並び自体に意味や繋がりがあります。そのような系列データをランダムに分割してしまうと、これもモデルの予測精度を著しく落とす要因となります。

ホールドアウト法はデータ検証の有効な手法の1つですが、データの種類や意味合い、サンプリング時の素性等を良く把握した上で行いましょう。

scikit-learnで簡単にデータ分割しよう！

データの分割方法には色々あります。割と簡単に作れるかも知れませんが、その都度自作のデータ分割関数を作っていたりするのは、若干面倒な所がありあまりやりたくありません。

ランダムにするしないによって数行のコードを入れ替えるのも使い勝手が悪そうです。そんな時、sklearn.model_selectionにあるtrain_test_splitが重宝されます。

まだscikit-learnを使った事が無い方は是非「Python機械学習!scikit-learnインストールと例題」の記事を確認してみて下さい。scikit-learnには機械学習プログラムの便利な関数が豊富にある様子がわかると思います。

それでは早速プログラムを作りながらその効果を見ていきましょう！

ホールドアウト法のためのデータ分割Pythonコード

サンプルコード

ここではscikit-learnことsklearnからirisデータセット（アヤメの分類に関するサンプルデータセット）を読み込み、pandasデータフレーム形式にしてからtrain_test_splitを使っています。

全コードを以下に示します。

train_test_splitの引数としてデータそのものの他に、まずtest_sizeを指定していますが、これはテストデータの割合を意味しています。ここではテストデータを30%にするように分割します。

次にshuffleをTrueにすると、行をランダムに分割してくれます。先ほどの注意点を思い出しTrueかFalseを選びましょう。

最後にrandam_stateですが、これは乱数シードの番号を意味しています。
コンピュータで作る乱数は真の乱数ではなく、疑似乱数というもので、この乱数シードが同じであればランダムに見えて毎回同じ並びでデータが分割されます。

モデルを検証する時に毎回同じデータ分割にしたい時はこの引数を適当な番号で指定しておくと良いでしょう。

実行結果

上記コードを実行すると以下の結果を得ます。訓練データが105個、テストデータが45個、テストデータの割合は0.3と指定した通りの分割が出来ていますね。
また、データのインデックスがばらばらになっていることから、shuffleの効果も出ています。

まとめ

今回はワンポイントTipsのような短い記事ですが、データ分割1つとってもPythonには非常に便利な方法があることがわかりました。

しかしホールドアウト法のデータセット分割には注意点がいくつかあり、実践データを扱う時には気を付けなければなりません。

train_test_splitは今後のデータ分析で大変重宝しそうな手法だと感じました。