XGBoost 模型参数调整记录
创始人
2024-05-31 04:20:30
0次

目录

前言

总结

前言

最近使用XGBoos模型来预测或者分类物质，其中参数优化是非常重要的一步，本文就简单记录下入门心得

首先，XGBoost是属于决策树模型，原理是不断建树，最后将所有树结果加到一起。一般的调参顺序：n_estimator_nums；再调整剪枝参数(gamma,max_depth),最后列采样col、样本采样sub，eta(从大到小调整) 。主要思路：先使用默认参数调整，观察曲线，判断欠拟合 or 过拟合？调整对应参数。

 

  1. eta：学习率参数，就是原理中说的缩减，保证每一颗树对于结果的影响不太大，从而保证模型的效果。更新叶子节点权重时，乘以该系数，避免步长过大。参数值越大，越可能无法收敛。把学习率 eta 设置的小一些，小学习率可以使得后面的学习更加仔细。 典型值为0.01-0.2。
  2. Tong He（XGBoost R语言版本开发者）： 三个最重要的参数为：树的数目、树的深度和学习率。建议参数调整策略为：
    1. – 采用默认参数配置试试
    2. – 如果系统过拟合了，降低学习率
    3. – 如果系统欠拟合，加大学习率
  3. min_child_weight：默认1，这参数限制每棵树权重改变的最大步长。如果这个参数的值为0，那就意味着没有约束。如果它被赋予了某个正值，那么它会让这个算法更加保守
  4. gamma（默认0） 和 depth（默认6）（重要的剪枝参数）： 通过学习曲线，观察模型处于什么样的状态（过拟合还是欠拟合，处于方差 - 偏差图像的左边还是右边？），最后再决定是否要进行剪枝
  5. subsample [default=1]
    样本采样用的，减小这个参数的值，算法会更加保守，避免过拟合，但是如果这个值设置得过小，它可能会导致欠拟合。典型值：0.5-1，cv调优
  6. colsample_bytree [default=1]
    列采样，就是选择生成树的特征，和设置缩减率一样是为了干嘛来着，是为了防止过拟合的，一般设置为： 0.5-1 ，也要用cv拟合。

总结

综合上述调整之后，一般是可以得到较好的结果，其余参数一般不需要调整，默认就好，本人之前调整过lamda参数，导致后边结果异常，所以调参一定要明白模型的原理。

词库加载错误:未能找到文件“E:\highferrum_mysql\Configuration\Dict_Stopwords.txt”。

上一篇：硬件语言 Verilog HDL 学习 day01 了解基本知识，基本语法2，运算符，表达式

下一篇：华为OD机试 - 获得完美走位（C 语言解题）【独家】

相关内容

热门资讯

常用商务英语口语 　　商务英语是以适应职场生活的语言要求为目的，内容涉及到商务活动的方方面面。下面是小编收集的常用商务...
六年级上册英语第一单元练习题 　　一、根据要求写单词。　　1.dry（反义词）__________________　　2.writ...
复活节英文怎么说 复活节英文怎么说?复活节的英语翻译是什么?复活节：Easter;"Easter,anniversar...
2008年北京奥运会主题曲 2008年北京奥运会(第29届夏季奥林匹克运动会)，2008年8月8日到2008年8月24日在中华人...
英语道歉信 英语道歉信15篇　　在日常生活中，道歉信的使用频率越来越高，通过道歉信，我们可以更好地解释事情发生的...
六年级英语专题训练(连词成句... 六年级英语专题训练(连词成句30题)　　1. have,playhouse,many,I,toy,i...
上班迟到情况说明英语 　　每个人都或多或少的迟到过那么几次，因为各种原因，可能生病，可能因为交通堵车，可能是因为天气冷，有...
小学英语教学论文 小学英语教学论文范文　　引导语：英语教育一直都是每个家长所器重的，那么有关小学英语教学论文要怎么写呢...
英语口语学习必看的方法技巧 英语口语学习必看的方法技巧如何才能说流利的英语？ 说外语时，我们主要应做到四件事：理解、回答、提问、...
四级英语作文选:Birth ... 四级英语作文范文选:Birth controlSince the Chinese Governmen...
金融专业英语面试自我介绍 金融专业英语面试自我介绍3篇　　金融专业的学生面试时，面试官要求用英语做自我介绍该怎么说。下面是小编...
我的李老师走了四年级英语日记... 我的李老师走了四年级英语日记带翻译　　我上了五个学期的小学却换了六任老师，李老师是带我们班最长的语文...
小学三年级英语日记带翻译捡玉... 小学三年级英语日记带翻译捡玉米　　今天，我和妈妈去外婆家，外婆家有刚剥的`玉米棒上带有玉米籽，好大的...
七年级英语优秀教学设计 七年级英语优秀教学设计　　作为一位兢兢业业的人民教师，常常要写一份优秀的教学设计，教学设计是把教学原...
我的英语老师作文 我的英语老师作文（通用21篇）　　在日常生活或是工作学习中，大家都有写作文的经历，对作文很是熟悉吧，...
英语老师教学经验总结 英语老师教学经验总结（通用19篇）　　总结是指社会团体、企业单位和个人对某一阶段的学习、工作或其完成...
初一英语暑假作业答案 初一英语暑假作业答案　　英语练习一(基础训练)第一题1.D2.H3.E4.F5.I6.A7.J8.C...
大学生的英语演讲稿 大学生的英语演讲稿范文（精选10篇）　　使用正确的写作思路书写演讲稿会更加事半功倍。在现实社会中，越...
VOA美国之音英语学习网址 VOA美国之音英语学习推荐网址 美国之音网站已经成为语言学习最重要的资源站点，在互联网上还有若干网站...
商务英语期末试卷 Part I Term Translation (20%)Section A: Translate ...