Model Configurations：Recurrent Neural Network (RNN)

Model > Configurations

モデリングメソッド Recurrent Neural Network が選択されていると、<output> タブの Model Configuration 領域には以下のエレメントが含まれます。出力ごとに個別のタブがあります。

Output Properties 領域とウィンドウ最下部のボタン行についての説明は、 Model Configurations (ASCMO-DYNAMIC)を参照してください。

Training Labels

モデルトレーニングを行いたいラベルを割り当てます。複数のラベルを使用する場合は、1つ以上のラベルに関連するすべてのデータが使用されます。

ラベルを割り当てるには、フィールドをダブルクリックして名前をキー入力します。リストに提示されたデータセットから選択することができます。

ラベルを削除するには、ラベルの x、または Del を使用します。

Validation Labels

検証データとして使用したいデータのラベルを割り当てます。複数のラベルを使用する場合は、1つ以上のラベルに関連するすべてのデータが使用されます。

ラベルを割り当てるには、フィールドをダブルクリックして名前をキー入力します。リストに提示されたデータセットから選択することができます。

ラベルを削除するには、ラベルの x、または Del を使用します。

注記 

いずれのデータにも検証ラベルが割り当てられていない場合は、検証なしでトレーニングが行われます。ログウィンドウにメッセージが表示されます。Manage Datasets ウィンドウで、ラベルをデータに割り当てることができます。

Network Layout

Layer Type

ネットワークセルのタイプを選択します。再帰型ニューラルネットワーク（Recurrent Neural Networks）によるモデル予測を参照してください。

Number of Layers

層の数を入力します。層の数に応じて、Cell Memory Size の入力フィールド数が変わります。

Cell Memory Size

ニューラルネットワークのノード当たりのセルメモリサイズを入力します。一般的な値の範囲は[5, 20]です。実際のメモリセルのサイズはセルタイプに依存します。

Activation Function

すべての層で使用される活性化関数を選択します。デフォルトは Tanh で、別の関数を使うと、精度は落ちても計算効率が良くなる可能性があります。ドロップダウンの隣の をクリックすると、開くActivation Function Comparison ウィンドウ が開きます。

Recurrent Activation Function

すべての層で使用されるリカレント活性化関数を選択します。デフォルトは Sigmoid で、別の関数を使うと、精度は落ちても計算効率が良くなる可能性があります。ドロップダウンの隣の をクリックすると、開くActivation Function Comparison ウィンドウ が開きます。

Use Skip Connections

層の入力をその出力に加えるには、これをオンにします。

入力と出力のサイズが一致しない場合、入力は追加の畳み込み層で処理されてから出力に追加されます。スキップ接続は、選択された層をスキップして情報を流すことを可能にするもので、トレーニングを簡素化し、ネットワークのパフォーマンスを向上させることが示されています。

開く詳細情報

Number of Network Parameters

現在の設定（潜在的な初期化ネットワークを含む）においてモデルトレーニングで使用されるパラメータの数を、動的に表示します。

Output Properties

Output Transformation

出力の変換タイプを選択します。変換を利用することによりモデル予測を改善できます。トレーニングデータの値に負またはゼロが含まれる場合、一部の変換は使用不可となります。

以下から選択できます：

  • none - 変換なし
  • log(y) - 対数

  • Bounded：上下限値内に制限されます。

    Edit をクリックして自動的に選択された上下限値を開く表示、または手動で下限値と上限値を定義することができます。これらを手動で定義するには、Automatic チェックボックスをオフにします。上下限値はトレーニングデータの範囲内である必要があります。

  • log(y+c)：対数 + 定数

    Edit をクリックして自動的に選択された対数シフトを開く表示、または手動でシフト値を定義することができます。これを手動で定義するには、Automatic チェックボックスをオフにします。

Training Properties

Continue Training

新しいトレーニングを開始する代わりに、可能であれば既存のモデルトレーニングと反復を続行するには、このオプションをオンにします。Training Properties を変更して続行することができます。Network Layout は、変更せずにそのまま保持する必要があります。たとえば、複雑な活性化関数でトレーニングした後、ECUにとってより効率的な関数に切り替え、シームレスにトレーニングを続けることができます。Continue Training は、オプティマイザとして Stochastic Gradient Descentを使用する場合（Manual Detailed Training Settings > Optimizer）に最適であるため、Continue Training がオンになっている場合は、これが自動的に選択されます。

Number of Multistarts

異なる開始値で行う反復の回数を入力します。値が大きいとモデル品質が向上しますが、モデルトレーニングの所要時間が長くなります。デフォルトは3です。

Number of Iterations

モデルトレーニングにおいて実施する反復回数を入力します。検証データで10回反復してもモデル性能が向上しない場合、トレーニングは中止されます。ディープラーニングにおいて、これはよく「エポック数」と呼ばれます。

Training Loss

トレーニング不足のタイプを選択します。トレーニング不足は、モデルトレーニングの実行中に最小化される目標です。

Absolute はRMSE演算と等しくなります：

Relative は測定値と関連付けます：

Transformed は Absolute に似ていますが、変換された空間においてトレーニング不足の計算を行うので、出力変換に依存します。

Lookback Length

データを分割した配列のサイズを入力します。基盤となるオプティマイザは、ここで指定された長さに固定されたバッチを取得します。デフォルトは100です。

現在のデータの長さがこの程度のステップ数以下であれば、Lookback Length=100での最適化も可能ですが、スニペット長をより短くすることをお勧めします。値が小さいほどトレーニングが速くなります。

Dropout

トレーニング中にランダムに非活性化するニューロンの割合を、0～0.9の範囲で入力します。非活性化は、ニューロンの重みを一時的に0にするものです。これにより、過剰適合（オーバーフィッティング）を回避することができます。入力された値が0の場合は非活性化されず、0.1にすると10%のニューロンが一時的に0に設定されます。一般的な値の範囲は[0, 0.2]です。

Recurrent Dropout

トレーニング中に非活性化するリカレント状態のニューロンの割合を、0～0.9の範囲で入力します。非活性化は、ニューロンの重みを一時的に0にするものです。これにより、過剰適合（オーバーフィッティング）を回避することができます。入力された値が0の場合は非活性化されず、0.1にすると10%のニューロンが一時的に0に設定されます。一般的な値の範囲は[0, 0.2]です。

Learn Initial States

このチェックボックスがオンの場合、最初の時間ステップの入力値と出力値に基づいてRNNモデルの初期状態が学習されるため、初期予測は与えられた出力と一致します。

モデルのエクスポート時に、希望する初期出力を定義することができます。

Plot RMSE during Training

トレーニングデータと検証データのRMSE値を開くモデルトレーニング中に表示したい場合は、オンにします。

Activate Detailed Training Settings

チェックボックスをオンにすると、開くDetailed Training Settings セクションが表示されます。

  • Optimizer

    モデルのトレーニングに使用するオプティマイザを選択します。Continue Training チェックボックスをオンした場合は、Stochastic Gradient Descent (for continue) を選択することを強く推奨します。

  • Data Scaling

    モデルトレーニング用のスケールバリアントを選択します。

    モデルトレーニングの前に、複数の異なる入力信号が同様の範囲にマッピングされるよう、トレーニングデータが内部でスケーリングされます。ASCMO-DYNAMIC は3つのスケーリングタイプを提供します。

    Normalization：

     を [-1, 1] に含まれる長さ 1 の区間にスケーリングします。

    Robust Normalization： 

    データに外れ値が存在する場合は、これが最も望ましいスケーリングメソッドになります。

    Standardization：（Zスコア正規化）

トレーニングの詳細な設定は、反復のたびに調整されます。最初の反復では Start Value が使用され、最後の反復では Final Value が使用されます。その間の値は補間されます。

  • No. of Optimizer Substeps

    オプティマイザの1回の更新において、長さが Lookback Length のシーケンスをいくつ使用するかを決定します。デフォルト値は100で、これはディープラーニングで使用されるバッチサイズに該当します。値が大きいほどバッチサイズは小さくなり、値が小さいほどバッチサイズは大きくなります。値が小さいとオプティマイザのステップの実行頻度が少なくなるため、トレーニングが速くなります。

  • Steps Between Training Snippets

    トレーニングスニペット間のステップを設定します。この値は、モデルのトレーニング用に選択されたスニペットの開始位置間のステップのサイズを決定します。つまり、トレーニングスニペットのすべての開始位置ではなく、n番目の位置が開始位置として使用されます。値が大きいほど、モデルトレーニングが速くなります。値1が最も良いモデルになります。1より大きな値（例：10）では、メモリ消費量は減少しますが、より多くの反復が必要になる場合があります。

  • Learning Rate

    オプティマイザのステップサイズを入力します。デフォルト値は0.01です。有効な値の範囲は[0, 1]です。

    学習率が大きいほど、一般的にトレーニングが速くなります。しかし、学習率が大きいと収束が妨げられ、収束できなくなる場合もあります。

Highlight Model Deviations

オンにすると、モデル偏差が開くプロット上で赤くハイライトされます。

ハイライト表示に関して以下のような詳細設定が行えます：

 

Anomaly Percentile

正常とされる再構成誤差の百分位数を入力します。モデル選択に検証データセットが使用されている場合は、この値は検証データに基づいて計算され、そうでない場合はトレーニングデータに基づいて計算されます。値は異常スコアの0.5にマッピングされます。

Smoothing

メディアンフィルタのステップ数として、データポイントのウィンドウサイズの値を入力します。異常予測のため、信号が平滑化されます。これによって、より良い結果が導き出されます。

Smoothing Window Centered

スムージングウィンドウの中心を評価点にしたい場合、つまり未来の点も考慮したい場合は、オンにします。オフにすると、スムージングウィンドウでの計算に過去のポイントのみが使用されます。

Rounding Threshold

異常予測しきい値（その値を下回るとモデルの予測値が自動的に0に設定され、それ以外は1になります）を入力します。しきい値は、Receiver Operating Characteristic（Model > Anomaly Detection: Receiver Operating Characteristic）に表示されます。

Inputs used in Model Training

この領域にはモデルのすべての入力が表示されます。ここで各入力をモデルトレーニングに含めるかどうかを指定することができます。

デフォルトにおいては、すべての入力が含まれます。

参照

Model Configurations (ASCMO-DYNAMIC)

再帰型ニューラルネットワーク（Recurrent Neural Networks）によるモデル予測

高度な設定を有効にする