XGBoost

创始人

2024-05-27 11:50:49

0次

1.XGBoost推导示意图

2.分裂节点算法

Weighted Quantile Sketch

3.对缺失值得处理

1.XGBoost推导示意图

XGBoost有两个很不错得典型算法，分别是用来进行分裂节点选择和缺失值处理

2.分裂节点算法

Weighted Quantile Sketch

对于特征切点点得选择，xgboost不单单是采用简单得分位数得方法，而是对分位数进行加权(使用二阶梯度h)，称为:weighted quantile sketch.

对特征k构造multi-set得数据集: $D_k=(x_{1k},h_1),(x_{2k},h_2),...,(x_{nk},h_n)$ ,其中 $x_{ik}$ 表示样本i得特征k得取值，而 $h_i$ 则为对应得二阶梯度。

式子中分子是x小于z得所有样本对应得h之和(即小于z得样本加权和，权重为h)，分母为所有样本得加权和。该式子表达了第k个特征小于z得样本比例，和分位数相似，不过这里是按照二阶梯度进行累计。

而候选切分点 $S_k={s_{k1},s_{k2},...,s_{kl}}$ 要求：

即让相邻两个候选分裂点带入 $r_k(z)$ 中，相差不超过某个值 $\varepsilon$ ，由于，最终会切分处 $1/\varepsilon$ ,如下面例子：

选取 $\varepsilon$ =1/3，会得到三个桶，h总和1.8，因此 $s_{k1}=0.6,s_{k2}=1.2$ .

到这里，xgboost得分裂点选择就讲完了，然后再基于分裂前后得损失大小去判断选择最终得分裂点即可。但是还有个问题需要解答，为什么选择h而不是g或者其他?证明如下：

3.对缺失值得处理

xgboost模型得一个优点就是允许特征存在缺失值。对缺失值得处理方式如下：

在特征k上寻找最佳split point时，不会对该列特征missing得样本进行遍历，而只对该列特征值为non-missing得样本上对应得特征值进行遍历，通过这个技巧来减少了为稀疏离散特征寻找split point得时间开销
在逻辑实现上，为了保证完备性，会将该特征值missing得样本分别分配到左叶子节点和有叶子节点，两种情况都计算一遍后，选择分裂后增益最大得那个方向(左分支或右分支)，作为预测时特征值确实样本得默认分支方向。
如果在训练中没有缺失值而在预测中出现缺失，那么会自动将缺失值得划分方向放到右子节点。

xgboost常见面试题：

珍藏版 | 20道XGBoost面试题_无名氏a的博客-CSDN博客_xgboost面试题

【xgboost】常见面试题_数分面试加油的博客-CSDN博客_xgboost 算法面试题目

词库加载错误:未能找到文件“E:\highferrum_mysql\Configuration\Dict_Stopwords.txt”。

上一篇：web前端——HTML+CSS

下一篇：GPS卫星位置解算

热门资讯

常用商务英语口语　　商务英语是以适应职场生活的语言要求为目的，内容涉及到商务活动的方方面面。下面是小编收集的常用商务...

六年级上册英语第一单元练习题　　一、根据要求写单词。　　1.dry（反义词）__________________　　2.writ...

复活节英文怎么说复活节英文怎么说?复活节的英语翻译是什么?复活节：Easter;"Easter,anniversar...

2008年北京奥运会主题曲 2008年北京奥运会(第29届夏季奥林匹克运动会)，2008年8月8日到2008年8月24日在中华人...

英语道歉信英语道歉信15篇　　在日常生活中，道歉信的使用频率越来越高，通过道歉信，我们可以更好地解释事情发生的...

六年级英语专题训练(连词成句... 六年级英语专题训练(连词成句30题)　　1. have,playhouse,many,I,toy,i...

上班迟到情况说明英语　　每个人都或多或少的迟到过那么几次，因为各种原因，可能生病，可能因为交通堵车，可能是因为天气冷，有...

小学英语教学论文小学英语教学论文范文　　引导语：英语教育一直都是每个家长所器重的，那么有关小学英语教学论文要怎么写呢...

英语口语学习必看的方法技巧英语口语学习必看的方法技巧如何才能说流利的英语？说外语时，我们主要应做到四件事：理解、回答、提问、...

四级英语作文选:Birth ... 四级英语作文范文选:Birth controlSince the Chinese Governmen...

金融专业英语面试自我介绍金融专业英语面试自我介绍3篇　　金融专业的学生面试时，面试官要求用英语做自我介绍该怎么说。下面是小编...

我的李老师走了四年级英语日记... 我的李老师走了四年级英语日记带翻译　　我上了五个学期的小学却换了六任老师，李老师是带我们班最长的语文...

小学三年级英语日记带翻译捡玉... 小学三年级英语日记带翻译捡玉米　　今天，我和妈妈去外婆家，外婆家有刚剥的`玉米棒上带有玉米籽，好大的...

七年级英语优秀教学设计七年级英语优秀教学设计　　作为一位兢兢业业的人民教师，常常要写一份优秀的教学设计，教学设计是把教学原...

我的英语老师作文我的英语老师作文（通用21篇）　　在日常生活或是工作学习中，大家都有写作文的经历，对作文很是熟悉吧，...

英语老师教学经验总结英语老师教学经验总结（通用19篇）　　总结是指社会团体、企业单位和个人对某一阶段的学习、工作或其完成...

初一英语暑假作业答案初一英语暑假作业答案　　英语练习一(基础训练)第一题1.D2.H3.E4.F5.I6.A7.J8.C...

大学生的英语演讲稿大学生的英语演讲稿范文（精选10篇）　　使用正确的写作思路书写演讲稿会更加事半功倍。在现实社会中，越...

VOA美国之音英语学习网址 VOA美国之音英语学习推荐网址美国之音网站已经成为语言学习最重要的资源站点，在互联网上还有若干网站...

商务英语期末试卷 Part I Term Translation (20%)Section A: Translate ...

XGBoost

1.XGBoost推导示意图

2.分裂节点算法

Weighted Quantile Sketch

3.对缺失值得处理

相关内容

热门资讯