AIモデルを使ったウェブアプリケーション

モデルを最高のものにしたいのであれば、そのパフォーマンスを評価する必要があります。モデルを評価する際の2つの一般的な変数は、バイアスと分散です。 

バイアスは、モデルの予測値と正しい値との差である。 

分散は、異なるデータを使用した場合に予測値がどの程度変化するかを示す。 

バイアスと分散のバランスをうまくとりたい。

バイアスが高い→アンダーフィット。

アンダーフィットは、モデルが単純すぎて学習データのノイズを考慮できない場合に起こる。これは、データが十分でない場合、特徴（列）が十分でない場合、データ中のノイズが多すぎる場合に起こります。モデルが訓練データとテストデータの両方でうまく機能しない場合は、アンダーフィッティングのシグナルです。

分散が大きい→オーバーフィット。

オーバーフィットこれは、あるデータセットでモデルを訓練し、そのモデルは非常に良い結果を出したが、その後新しいデータを与えると、全く良い結果を出さなかった場合に起こる現象である。この現象は、モデルが過度に複雑で、訓練データに過度にフィットしようとする場合に起こります。モデルは訓練データ上では非常にうまく予測できても、テストデータ上ではパフォーマンスが低下する。

モデルの性能をチェックするテクニックのひとつに、クロスバリデーションがある。

交差検証とは、モデルを複数回トレーニングすることで、毎回異なるトレーニング/テストデータを使用することです。データセットをいくつかの フォールドつまりサブセットである。そして、1つのフォールドを検証セットまたはテストセットとして残し、残りのフォールドをトレーニングに使用します。これを数回繰り返すので、毎回トレーニング・セットとテスト・セットが変わる。 

sciikit-learn はまた メトリクスライブラリも提供しているので、モデルのパフォーマンススコアを簡単に取得することができます。 

• 精度スコア= 正しい予測/総予測
• 精度＝真陽性／（真陽性＋偽陽性）
• リコール＝真陽性／（真陽性＋偽陰性）
• F1スコア= (2 x 精度 x 回想)/(精度 + 回想)
• 特異度＝真陰性／（真陽性＋偽陰性）
• 混同行列- 真陽性、真陰性、偽陽性、偽陰性を示す。

様々なアルゴリズムの指標をチェックすることで、最適なモデルを選ぶことができる。