AdaBoost算法流程和优化

发表于
字数统计: | 阅读时长 ≈

AdaBoost算法流程与优化

1.AdaBoost分类问题的损失函数优化
1
2
AdaBoost的弱学习器权重系数公式和样本权重更新公式，可以从AdaBoost的损失函数推导出来。
AdaBoost算法是模型为加法模型、损失函数为指数函数、学习算法为前向分步算法时的二类分类学习方法。 模型为加法模型很好理解，最终的强分类器是若干个弱分类器加权平均得到的。 前向分步学习算法也好理解，算法是通过一轮轮的弱学习器学习，利用前一个弱学习器的结果来更新后一个弱学习器的训练集权重，即第k-1轮的强学习器为

1
第k轮学习器为：

1
可以得到

可以看出强学习器时通过前向学习算法一步步得到的。

AdaBoost损失函数为指数函数，定义损失函数为：

利用前向分布学习算法的关系可以得到：

令Wki=exp(-YiFk-1(x)),他的值不依赖于α,G，因此与最小化无关，仅仅依赖于fk-1(x)，随每一轮迭代而改变。将这个式子代入损失函数，损失函数转化为