モデル品質の評価

モデルの品質を評価し、外挿の有無を確認するには、メインウィンドウの Model メニューの以下の使用サブメニューを利用できます。

• Error (Leave-One-Out)
• Error (Test Data)
• Error (Training Data)

これらのサブメニューは、複数のデータを基に分析を行うためのもので、分析結果はグラフィカルに表示されます。

Error (Leave-One-Out)に基づく分析では、モデルは1つの測定データを除くすべてのトレーニングデータで形成されます。除外された1つのポイントがモデル予測のテストに用いられるテストポイントとなります。

この処理は、トレーニングデータが存在する限り繰り返されます。繰り返しごとに異なる測定ポイントが除外され、除外されたテストポイントにおけるモデル分析が実施されます。たとえばトレーニングデータが100個存在する場合は、99個のトレーニングデータを持つモデルが100回形成され、モデル予測と除外されたテストポイントとの間で比較が行われます。

ここではすべてのトレーニングデータがテストデータとしても利用されるため、それほど多くのテストデータがなくても、モデル品質の「代表的」テストを実施することが可能になります。

ASC GPモデルの場合は、アルゴリズムが自動的に適切な情報を出力するため、この複雑な計算は行われないので、計算時間は非常に短くなります。その他のタイプのモデルでは、データ量が多くなると計算時間が長くなる可能性があります。

テストデータに基づく分析では、モデル出力がテストデータと比較されます。テストデータは、モデルトレーニングに使用されなかったデータです。これにより、たとえば汎化の目的でモデルの性能を評価するようなことが可能になります。

3つ目のオプションは、トレーニングデータに基づく分析です。ここでは、すべてのトレーニングデータにおける測定値とモデル出力との偏差がロケーションごとに比較され、グラフ表示されます。