Pytorch负反馈多层神经网络

GTX_AI

Pytorch负反馈多层神经网络：
模型如下：

1. class module_net(nn.Module):
   
2.     def __init__(self, num_input, num_hidden, num_output):
   
3.         super(module_net, self).__init__()
   
4.         self.layer1 = nn.Linear(num_input, num_hidden)
   
5.         self.layer2 = nn.Tanh()
   
6.         self.layer3 = nn.Linear(num_hidden, num_hidden)
   
7.         self.layer4 = nn.Tanh()
   
8.         self.layer5 = nn.Linear(num_hidden, num_hidden)
   
9.         self.layer6 = nn.Tanh()
   
10.         self.layer7 = nn.Linear(num_hidden, num_output)
    
11. 
    
12.     def forward(self, x):
    
13.         x = self.layer1(x)
    
14.         x = self.layer2(x)
    
15.         x = self.layer3(x)
    
16.         x = self.layer4(x)
    
17.         x = self.layer5(x)
    
18.         x = self.layer6(x)
    
19.         x = self.layer7(x)
    
20.         return x

复制代码

简单的模型如下：

1. class module_net(nn.Module):
   
2.     def __init__(self, num_input, num_hidden, num_output):
   
3.         super(module_net, self).__init__()
   
4.         self.layer1 = nn.Linear(num_input, num_hidden)
   
5.         self.layer2 = nn.ReLU()
   
6.         self.layer3 = nn.Linear(num_hidden, num_output)
   
7.         self.layer4 = nn.ReLU()
   
8. 
   
9.     def forward(self, x):
   
10.         x = self.layer1(x)
    
11.         x = self.layer2(x)
    
12.         x = self.layer3(x)
    
13.         x = self.layer4(x)
    
14.         return x

复制代码

当然也可以加阈值：

1. class module_net(nn.Module):
   
2.     def __init__(self, num_input, num_hidden, num_output):
   
3.         super(module_net, self).__init__()
   
4.         self.layer1 = nn.Linear(num_input, num_hidden)
   
5.         self.bn1 = nn.BatchNorm1d(num_input)
   
6.         self.layer2 = nn.Tanh()
   
7.         self.layer3 = nn.Linear(num_hidden, num_hidden)
   
8.         self.bn2 = nn.BatchNorm1d(num_hidden)
   
9.         self.layer4 = nn.Tanh()
   
10.         self.layer5 = nn.Linear(num_hidden, num_hidden)
    
11.         self.bn3 = nn.BatchNorm1d(num_hidden)
    
12.         self.layer6 = nn.Tanh()
    
13.         self.layer7 = nn.Linear(num_hidden, num_output)
    
14.         self.bn4 = nn.BatchNorm1d(num_output)
    
15. 
    
16.     def forward(self, x):
    
17.         x = self.layer1(x)
    
18.         x = self.bn1(x)
    
19.         x = self.layer2(x)
    
20.         x = self.layer3(x)
    
21.         x = self.bn2(x)
    
22.         x = self.layer4(x)
    
23.         x = self.layer5(x)
    
24.         x = self.bn3(x)
    
25.         x = self.layer6(x)
    
26.         x = self.layer7(x)
    
27.         x = self.bn4(x)
    
28.         return x

复制代码

参考链接：
【1】【PyTorch 深度学习】4.用PyTorch实现多层网络
【2】基于多隐藏层的BP神经网络