machine-learning - net - deep learning for time series forecasting pdf



为未遇到的输入创建神经网络 (1)

正如@runDOSrun所说,你的模型似乎是过度的(训练)数据。 为了避免这个问题,你可以将你的设置(时间序列)分成三部分。

训练集

第一个可能是你刚刚训练你的网络的训练集。

验证集

第二个是验证集,对于每个训练时期,在验证集上测试神经网络,并将错误存储在一个变量和一个神经网络副本(克隆)中。 在下一个时代,你必须测试(修改的)神经网络,如果验证集上的新错误低于你测试的最后一个错误,则存储一个新的“验证神经网络”。 它将为您提供一个神经网络,这个神经网络在一个不是训练集的集合中得到了更好的推广。 所以你避免过度使用训练集。

在训练结束时,你有两个神经网络。 训练神经网络是最好的训练集神经网络和验证神经网络 ,它可以为你提供一个更好地训练集合的神经网络。

测试集

最后一部分,您只需在一个看不见的集合中测试您的模型并检查错误。 测试集的建议是检查神经网络在不可见的测试中的行为。 一个真正的考验。

一般来说,你可以将所有的整套设置在3个等份中,或者用于样本

  • 60%的培训
  • 20%用于验证
  • 20%进行测试

有关示例,请查看下图所示的图像:

如何实现它的伪代码示例如下:

int epochs = 1;
double error = 0;
double validationError = 10000;
object validationNetwork;
do
{
    // train your network

    error = getError(trainingSet);

    //validation part...

    var currentValidationError = getError(validationSet);
    if (currentValidationError < validationError)
    {
       validationError = currentValidationError;
       validationNeuralNetwork = neuralNetwork.Clone();
    }

} while (epochs < 2000 && error < 0.001);

时间序列的交叉验证

另一方面,你也可以尝试做时间序列的交叉估计。 首先,将你的组合分成6部分(或更多),训练神经网络来验证模型是这样的:

  • 1:训练[ 1 ],验证[2],测试[3]
  • 2:训练[2],验证[3],测试[4]
  • 3:训练[3],验证[4],测试[5]
  • 4:训练[4],验证[5],测试[6]

如果你愿意,你可以分成更多的部分。

我正在使用AForge.net NN库创建一个简单的多层前馈神经网络。 我的NN是一个使用BackPropogation学习算法的受监督学习方法训练的3层激活网络。

以下是我的初始设置:

//learning rate
learningRate=0.1;

//momentum value
momentum=0;

//alpha value for bipolar sigmoid activation function
sigmoidAlphaValue=2.0;

//number of inputs to network
inputSize=5;

//number of outputs from network
predictionSize=1;

//iterations
iterations=10000;


// create multi-layer neural network
            ActivationNetwork network = new ActivationNetwork(new BipolarSigmoidFunction

(sigmoidAlphaValue), 5, 5 + 1, 3, 1);

//5 inputs
//6 neurons in input layer
//3 neurons in hidden layer
//1 neuron in output layer

// create teacher
BackPropagationLearning teacher = new BackPropagationLearning(network);

// set learning rate and momentum
teacher.LearningRate = learningRate;
teacher.Momentum = momentum;

现在我有一些看起来像这样的输入系列,1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20

使用窗口滑动方法(如此处所述)作为时间序列输入,我的输入和

预期的输出数组看起来像这样

//Iteration #1
double input[][] = new input[0][5] {1,2,3,4,5};
double output[][] = new output[0][0] {6};

//Iteration #2
double input[][] = new input[1][5] {2,3,4,5,6};
double output[][] = new output[1][0] {7};

//Iteration #3
double input[][] = new input[2][5] {3,4,5,6,7};
double output[][] = new output[2][0] {8};
.
.
.
//Iteration #n
double input[][] = new input[n][5] {15,16,17,18,19};
double output[][] = new output[n][0] {20};

经过10K迭代,如此使用

teacher.RunEpoch(input, output);

我的网络已经成功培训了给定的训练集。 所以,现在,如果我使用输入计算4,5,6,7,8网络成功地给出9作为答案太棒了!

但是,当输入提供为21,22,23,24,25时,NN不能产生26!

我的问题:我如何训练我的网络,接受这样的时尚输入,以产生正确的顺序模式,如在学习期间的训练集中发现的?





supervised-learning