前言

最近使用XGBoos模型来预测或者分类物质，其中参数优化是非常重要的一步，本文就简单记录下入门心得

首先，XGBoost是属于决策树模型，原理是不断建树，最后将所有树结果加到一起。一般的调参顺序：n_estimator_nums；再调整剪枝参数(gamma,max_depth),最后列采样col、样本采样sub，eta(从大到小调整) 。主要思路：先使用默认参数调整，观察曲线，判断欠拟合 or 过拟合？调整对应参数。

eta：学习率参数，就是原理中说的缩减，保证每一颗树对于结果的影响不太大，从而保证模型的效果。更新叶子节点权重时，乘以该系数，避免步长过大。参数值越大，越可能无法收敛。把学习率 eta 设置的小一些，小学习率可以使得后面的学习更加仔细。典型值为0.01-0.2。
Tong He（XGBoost R语言版本开发者）：三个最重要的参数为：树的数目、树的深度和学习率。建议参数调整策略为：
1. – 采用默认参数配置试试
2. – 如果系统过拟合了，降低学习率
3. – 如果系统欠拟合，加大学习率
min_child_weight：默认1，这参数限制每棵树权重改变的最大步长。如果这个参数的值为0，那就意味着没有约束。如果它被赋予了某个正值，那么它会让这个算法更加保守
gamma（默认0）和 depth（默认6）（重要的剪枝参数）：通过学习曲线，观察模型处于什么样的状态（过拟合还是欠拟合，处于方差 - 偏差图像的左边还是右边？），最后再决定是否要进行剪枝
subsample [default=1]
样本采样用的，减小这个参数的值，算法会更加保守，避免过拟合，但是如果这个值设置得过小，它可能会导致欠拟合。典型值：0.5-1，cv调优
colsample_bytree [default=1]
列采样，就是选择生成树的特征，和设置缩减率一样是为了干嘛来着，是为了防止过拟合的，一般设置为： 0.5-1 ，也要用cv拟合。

总结

综合上述调整之后，一般是可以得到较好的结果，其余参数一般不需要调整，默认就好，本人之前调整过lamda参数，导致后边结果异常，所以调参一定要明白模型的原理。

词库加载错误:未能找到文件“E:\highferrum_mysql\Configuration\Dict_Stopwords.txt”。

上一篇：硬件语言 Verilog HDL 学习 day01 了解基本知识，基本语法2，运算符，表达式

下一篇：华为OD机试 - 获得完美走位（C 语言解题）【独家】

热门资讯

二年级作文不少于200个字【... 二年级作文不少于600个字篇一我的暑假生活暑假终于来了，我迫不及待地迎接了这个长假。在这个暑假里，...

二年级暑假趣事作文捉老鼠（推... 二年级暑假趣事作文捉老鼠篇一暑假快到了，我和弟弟决定在家里玩捉老鼠的游戏。我们找来了一些小道具，准...

小学二年级避暑山庄旅游作文（... 小学二年级避暑山庄旅游作文篇一我和家人去了一个非常有趣的地方——避暑山庄。这个地方真的很美，有很多...

二年级作文游庐山【精简6篇】二年级作文游庐山篇一我和爸爸妈妈一起去了庐山。庐山是中国著名的山岳风景区，被誉为“江南第一山”。我...

二年级下册看图写话春天来了作... 二年级下册看图写话春天来了作文篇一春天来了春天来了，大地变得生机勃勃。图中的小朋友们正在户外玩耍，...

二年级打雪仗作文指导【通用6... 二年级打雪仗作文指导篇一打雪仗是冬天最有趣的活动之一，对于二年级的小朋友来说，更是一种享受。下面是...

二年级美丽的早晨作文（实用6... 二年级美丽的早晨作文篇一美丽的早晨早晨的阳光透过窗户洒进来，房间里弥漫着一股清新的味道。我慢慢睁开...

小学二年级海边旅游作文200... 小学二年级海边旅游作文200字作文篇一我和家人去海边旅游了，真是一个美好的经历！早上，我们一大早就...

二年级【优秀6篇】二年级篇一：我的暑假生活暑假终于来了，我迫不及待地开始了我的暑假生活。在这个悠长的假期里，我过得非...

赏荷花二年级作文【通用6篇】赏荷花二年级作文篇一欣赏荷花的美丽今天，我和爸爸妈妈一起去公园赏荷花。公园里有一个大大的荷花池，里...

舞蹈汇演作文二年级【精彩6篇... 舞蹈汇演作文二年级篇一舞蹈汇演是一场精彩绝伦的表演，让我感受到了舞蹈的魅力和美妙。我在二年级的时候...

二年级作文我家的厨师（优质6... 二年级作文我家的厨师篇一我家的厨师是我妈妈。她是一个非常厉害的厨师，每天都能给我们做出美味可口的饭...

童年趣事作文：枕头大战【精选... 童年趣事作文：枕头大战篇一小时候的我总是充满了无尽的精力和好奇心，每天都在探索世界的各个角落。而最...

家乡的菊花作文二年级（经典6... 家乡的菊花作文二年级篇一家乡的菊花我家乡是一个美丽的小镇，四季如春，花草繁盛。其中，最引人注目的要...

二年级小作文28篇【精简3篇... 二年级小作文28篇篇一我最喜欢的动物我最喜欢的动物是猫。猫咪有软软的毛，尤其是它们的小脸上，摸起来...

二年级写我的家乡【优选6篇】二年级写我的家乡篇一我的家乡是一个美丽的小城镇。它位于一个宽广的山谷之中，四周环绕着青翠欲滴的群山...

春雨小学二年级作文300字【... 春雨小学二年级作文300字篇一：我的偶像我的偶像是我的爸爸。他是一个非常勤劳、聪明和有责任心的人。...

秋节作文【实用6篇】秋节作文篇一：传统与现代的秋节庆祝方式秋节是中国传统的重要节日之一，也是我最喜欢的节日之一。在这个...

鱼儿的作文二年级（优秀6篇）鱼儿的作文二年级篇一我喜欢鱼儿我是一条小小鱼儿，生活在清澈见底的小溪里。我有一个漂亮的鱼尾巴，闪闪...

二年级语文下册四字词语知识（... 二年级语文下册四字词语知识篇一在二年级的语文下册中，学生将会接触到一些四字词语的知识。这些四字词语...

XGBoost 模型参数调整记录

前言

总结

相关内容

热门资讯