AdaBoost分类识别

Halcom

AdaBoost分类识别：

百度网盘视频链接：http://pan.baidu.com/s/1o8odqPk 录制的视频是算法底层原理讲解，底层代码实现，方便大家真正掌握算法实质，开发出更加出色的算法。录制视频的初衷是：避免读者朋友利用大把时间学习已有常见算法，本系列视频旨在让读者朋友快速深入了解这些常见算法原理，有更多的时间去研究更加高大上算法（价值）。 具体链接在halcom.cn论坛，联系人QQ：3283892722 该论坛是一个学习交流平台，我会逐一的和大家分享学习。 欢迎大家录制视频，并提交给我，我来设置视频，你可在论坛进行打赏分享。 视频专用播放器：http://halcom.cn/forum.php?mod=viewthread&tid=258&extra=page%3D1

使用环境：Win7-32bit-matlab2014a-CPU

1. function [ada_train, ada_test]= adaboost(Xtrain, Ytrain, Xtest)
   
2. % AdaBoost function
   
3. % (X_train-> input: training set)
   
4. % (Y_train-> target)
   
5. % (Xtest-> input: testing set)
   
6. % (ada_train-> label: training set)
   
7. % (ada_test-> label: testing set)
   
8. 
   
9. % Choosen Weak classifiers:
   
10. % 1. GDA
    
11. % 2. knn (NumNeighbors = 30)
    
12. 
    
13. N=size(Xtrain,1);   % 训练样本个数
    
14. a=[Xtrain Ytrain];  % 【训练样本输入+输出】
    
15. 
    
16. % 初始化
    
17. D=(1/N)*ones(N,1);
    
18. Dt=[];
    
19. h_=[];
    
20. 
    
21. Classifiers=2;   % GDA+KNN
    
22. eps=zeros(Classifiers,1);  % 每个弱分类器的误差
    
23. 
    
24. for T=1:Classifiers
    
25.     p_min=min(D);
    
26.     p_max=max(D);
    
27.     k=1;
    
28.     for i=1:length(D)
    
29.         p = (p_max-p_min)*rand(1) + p_min;  % 在[p_min,p_max]内随机产生
    
30.         if D(i)>=p   % 权值大于p值
    
31.             d(k,:)=a(i,:);
    
32.             k=k+1;
    
33.         end
    
34.         t=randi(size(d,1));
    
35.         Dt=[Dt; d(t,:)];
    
36.     end
    
37.    
    
38.     X=Dt(:,1:end-1);
    
39.     Y=Dt(:,end);
    
40.    
    
41.     if T==1
    
42.         % gda
    
43.         gda_in=fitcdiscr(X, Y);
    
44.         gda_out=predict(gda_in, X);
    
45.         h=gda_out;
    
46.         Dt=[];  % 置空
    
47.     end
    
48.    
    
49.     if T==2
    
50.         % knn with (30 Nearest Neighbour)
    
51.         knn_in=fitcknn(X,Y,'NumNeighbors',30);
    
52.         knn_out=predict(knn_in, X);
    
53.         h = knn_out;
    
54.         Dt=[];  % 置空
    
55.     end
    
56.    
    
57.     h_=[h_ h];  % 存储不同弱分类器的结果
    
58.    
    
59.     % weighted error --- 不同分类器预测错误的样本权值和
    
60.     for i=1:length(Y)
    
61.         if (h_(i, T)~=Y(i))
    
62.             eps(T)=eps(T)+D(i,:);
    
63.         end  
    
64.     end
    
65.    
    
66.     % Hypothesis weight --- 不同分类器的权值
    
67.     alpha(T)=0.5*log((1-eps(T))/eps(T));
    
68.    
    
69.     % Update weights --- 不同样本的权值
    
70.     D=D.*exp((-1).*Y.*alpha(T).*h);
    
71.     D=D./sum(D);  % 归一化
    
72.    
    
73. end
    
74. 
    
75. % final vote
    
76. H(:,1)=predict(gda_in, Xtrain);
    
77. H(:,2)=predict(knn_in, Xtrain);
    
78. ada_train(:,1)=sign(H*alpha');
    
79. 
    
80. % for test set
    
81. Htest(:,1)=predict(gda_in, Xtest);
    
82. Htest(:,2)=predict(knn_in, Xtest);
    
83. ada_test(:,1)=sign(Htest*alpha');

复制代码

主程序如下：

1. % Adaboost(GDA, KNN)
   
2. Xtrain = X;
   
3. Ytrain = Y;
   
4. iter = 1;
   
5. fm_=[];
   
6. for iter = 1:50
   
7.     [~, ada_test(:,iter)] = adaboost(X, Y, Xtest);
   
8.     fm_ = [fm_; confusion_mat(Ytest, ada_test(:,iter))];
   
9. end
   
10. [fm, iter] = max(fm_);
    
11. ada_out = ada_test(:,iter);
    
12. [Fmeasure(3), Accuracy(3)] = confusion_mat(Ytest,ada_out);
    
13. Fmeasure_Adaboost = Fmeasure(3)
    
14. Accuracy_Adaboost = Accuracy(3)

复制代码

注：
（1）输入参数，例如：X是320x2的矩阵、Y是320x1的矩阵、Xtest是81x2的矩阵，Ytest是81x1的矩阵；
（2）混淆矩阵confusion_mat的计算方法参考：http://halcom.cn/forum.php?mod=v ... ge=1&extra=#pid3748

pengsky

楼主，要是多分类，怎么改这个程序啊

Halcom

pengsky 发表于 2017-9-30 17:09
楼主，要是多分类，怎么改这个程序啊

那就直接改分类数啊

pengsky

那个confusion_mat程序，只对分两类得进行预测，那么对于多分类，confusion_mat那个预测分类怎么改进？

pengsky

多分类，改了分类数，那么主程序的confusion_mat的怎么改呀

Halcom

pengsky 发表于 2017-10-1 21:35
那个confusion_mat程序，只对分两类得进行预测，那么对于多分类，confusion_mat那个预测分类怎么改进？

你仔细看看输入是什么吧！