Pytorch负反馈多层神经网络

GTX_AI

Pytorch负反馈多层神经网络：
模型如下：

1. class module_net(nn.Module):
   
2.     def __init__(self, num_input, num_hidden, num_output):
   
3.         super(module_net, self).__init__()
   
4.         self.layer1 = nn.Linear(num_input, num_hidden)
   
5.         self.layer2 = nn.Tanh()
   
6.         self.layer3 = nn.Linear(num_hidden, num_hidden)
   
7.         self.layer4 = nn.Tanh()
   
8.         self.layer5 = nn.Linear(num_hidden, num_hidden)
   
9.         self.layer6 = nn.Tanh()
   
10.         self.layer7 = nn.Linear(num_hidden, num_output)
    
11. 
    
12.     def forward(self, x):
    
13.         x = self.layer1(x)
    
14.         x = self.layer2(x)
    
15.         x = self.layer3(x)
    
16.         x = self.layer4(x)
    
17.         x = self.layer5(x)
    
18.         x = self.layer6(x)
    
19.         x = self.layer7(x)
    
20.         return x

复制代码

简单的模型如下：

1. class module_net(nn.Module):
   
2.     def __init__(self, num_input, num_hidden, num_output):
   
3.         super(module_net, self).__init__()
   
4.         self.layer1 = nn.Linear(num_input, num_hidden)
   
5.         self.layer2 = nn.ReLU()
   
6.         self.layer3 = nn.Linear(num_hidden, num_output)
   
7.         self.layer4 = nn.ReLU()
   
8. 
   
9.     def forward(self, x):
   
10.         x = self.layer1(x)
    
11.         x = self.layer2(x)
    
12.         x = self.layer3(x)
    
13.         x = self.layer4(x)
    
14.         return x

复制代码

当然也可以加阈值：

1. class module_net(nn.Module):
   
2.     def __init__(self, num_input, num_hidden, num_output):
   
3.         super(module_net, self).__init__()
   
4.         self.layer1 = nn.Linear(num_input, num_hidden)
   
5.         self.bn1 = nn.BatchNorm1d(num_input)
   
6.         self.layer2 = nn.Tanh()
   
7.         self.layer3 = nn.Linear(num_hidden, num_hidden)
   
8.         self.bn2 = nn.BatchNorm1d(num_hidden)
   
9.         self.layer4 = nn.Tanh()
   
10.         self.layer5 = nn.Linear(num_hidden, num_hidden)
    
11.         self.bn3 = nn.BatchNorm1d(num_hidden)
    
12.         self.layer6 = nn.Tanh()
    
13.         self.layer7 = nn.Linear(num_hidden, num_output)
    
14.         self.bn4 = nn.BatchNorm1d(num_output)
    
15. 
    
16.     def forward(self, x):
    
17.         x = self.layer1(x)
    
18.         x = self.bn1(x)
    
19.         x = self.layer2(x)
    
20.         x = self.layer3(x)
    
21.         x = self.bn2(x)
    
22.         x = self.layer4(x)
    
23.         x = self.layer5(x)
    
24.         x = self.bn3(x)
    
25.         x = self.layer6(x)
    
26.         x = self.layer7(x)
    
27.         x = self.bn4(x)
    
28.         return x

复制代码

参考链接：
【1】【PyTorch 深度学习】4.用PyTorch实现多层网络
【2】基于多隐藏层的BP神经网络

WiTiAi

1. // 2. 转换为float*
   
2.         float* floatArray = convertToFloatArray(numbers);
   
3.         //
   
4.         *outputObjs = new float[ObjLen];
   
5.         //
   
6.         torch::NoGradGuard nograd;
   
7.         std::vector<torch::jit::IValue> input_vars;
   
8. 
   
9.         // transform_images_normalized
   
10.         auto image_tensor = torch::from_blob(floatArray, { 1, inputLen }, torch::kFloat32).clone();  // wav byte2字节，转short
    
11.         delete[] floatArray;  // 不能在debug下运行
    
12. 
    
13.         auto image_var = torch::autograd::make_variable(image_tensor, false);
    
14.         //image_var = image_var.unsqueeze(0);  // 增加第1维维度
    
15.         image_var = image_var.squeeze(0);  // 移除第1维维度
    
16.         // call AI
    
17.         input_vars.push_back(image_var);
    
18. 
    
19.         torch::Tensor output = this->CNN_module.forward(input_vars).toTensor();
    
20.         input_vars.pop_back();
    
21.         // core calculation
    
22.         //auto cpuTensor = outputs[2].to(torch::kInt64).to(at::kCPU).cpu();
    
23.         auto accr = output.accessor<float, 2>();  // 输出为二位数组，维度 = 1 x 1000
    
24.         for (int i = 0; i < ObjLen; i++)
    
25.         {
    
26.                 (*outputObjs)[i] = static_cast<float>(accr[0][i]);
    
27.         }

复制代码