XGBoost

创始人

2024-05-27 11:50:49

0次

1.XGBoost推导示意图

2.分裂节点算法

Weighted Quantile Sketch

3.对缺失值得处理

1.XGBoost推导示意图

XGBoost有两个很不错得典型算法，分别是用来进行分裂节点选择和缺失值处理

2.分裂节点算法

Weighted Quantile Sketch

对于特征切点点得选择，xgboost不单单是采用简单得分位数得方法，而是对分位数进行加权(使用二阶梯度h)，称为:weighted quantile sketch.

对特征k构造multi-set得数据集: $D_k=(x_{1k},h_1),(x_{2k},h_2),...,(x_{nk},h_n)$ ,其中 $x_{ik}$ 表示样本i得特征k得取值，而 $h_i$ 则为对应得二阶梯度。

式子中分子是x小于z得所有样本对应得h之和(即小于z得样本加权和，权重为h)，分母为所有样本得加权和。该式子表达了第k个特征小于z得样本比例，和分位数相似，不过这里是按照二阶梯度进行累计。

而候选切分点 $S_k={s_{k1},s_{k2},...,s_{kl}}$ 要求：

即让相邻两个候选分裂点带入 $r_k(z)$ 中，相差不超过某个值 $\varepsilon$ ，由于，最终会切分处 $1/\varepsilon$ ,如下面例子：

选取 $\varepsilon$ =1/3，会得到三个桶，h总和1.8，因此 $s_{k1}=0.6,s_{k2}=1.2$ .

到这里，xgboost得分裂点选择就讲完了，然后再基于分裂前后得损失大小去判断选择最终得分裂点即可。但是还有个问题需要解答，为什么选择h而不是g或者其他?证明如下：

3.对缺失值得处理

xgboost模型得一个优点就是允许特征存在缺失值。对缺失值得处理方式如下：

在特征k上寻找最佳split point时，不会对该列特征missing得样本进行遍历，而只对该列特征值为non-missing得样本上对应得特征值进行遍历，通过这个技巧来减少了为稀疏离散特征寻找split point得时间开销
在逻辑实现上，为了保证完备性，会将该特征值missing得样本分别分配到左叶子节点和有叶子节点，两种情况都计算一遍后，选择分裂后增益最大得那个方向(左分支或右分支)，作为预测时特征值确实样本得默认分支方向。
如果在训练中没有缺失值而在预测中出现缺失，那么会自动将缺失值得划分方向放到右子节点。

xgboost常见面试题：

珍藏版 | 20道XGBoost面试题_无名氏a的博客-CSDN博客_xgboost面试题

【xgboost】常见面试题_数分面试加油的博客-CSDN博客_xgboost 算法面试题目

词库加载错误:未能找到文件“E:\highferrum_mysql\Configuration\Dict_Stopwords.txt”。

上一篇：web前端——HTML+CSS

下一篇：GPS卫星位置解算

热门资讯

薪火相传作文600字薪火相传作文600字　　在平平淡淡的日常中，大家总少不了接触作文吧，作文要求篇章结构完整，一定要避免...

故事作文500字有关故事作文500字四篇　　在日常学习、工作和生活中，大家都有写作文的经历，对作文很是熟悉吧，写作文...

月考后的感想作文400字紧张的月考终于结束了，但成绩留给我的，已不是那习惯了的喜悦，而是令我肝肠欲断的痛楚.月考后的感想作文...

描写油菜花的作文描写油菜花的作文（精选12篇）　　在我们平凡的日常里，大家都接触过作文吧，借助作文人们可以实现文化交...

万能眼镜作文350字万能眼镜作文350字　　我要设计一副眼镜，它能给人们的眼睛带来光明，还能让人们不随便乱花钱，买那些望...

元旦的作文900字关于元旦的作文900字4篇　　在学习、工作乃至生活中，大家都写过作文吧，借助作文人们可以实现文化交流...

彩虹作文关于彩虹作文大全　　第1篇　　彩虹作文200字　　你宛如一位亭亭玉立的淑女，　　穿着彩色条纹裙。　　...

学会生存作文600字学会生存作文600字（精选27篇）　　在日常的学习、工作、生活中，大家都写过作文吧，作文是从内部言语...

我战胜了粗心作文我战胜了粗心作文(10篇)　　在生活、工作和学习中，大家一定都接触过作文吧，作文是从内部言语向外部言...

苏秦刺股的故事苏秦刺股的故事　　苏秦家里以务农为生。早年到齐国求学，拜鬼谷子为师，与张仪同为鬼谷子的学生。学成后，...

这样的人让我感动作文这样的人让我感动作文（通用5篇）　　在日常学习、工作或生活中，大家都经常接触到作文吧，作文是经过人的...

美好日子作文美好日子作文我失业了。我把老板给炒了。我再也不能忍受那份枯燥到让我想吐的工作，没有任何的创作性，每天...

除夕的作文700字精选除夕的作文700字十篇　　在日常生活或是工作学习中，大家一定都接触过作文吧，作文是人们把记忆中所...

文具盒的自述作文文具盒的自述作文(5篇)　　在平时的学习、工作或生活中，大家总少不了接触作文吧，作文是一种言语活动，...

元旦晚会作文800字【精选】元旦晚会作文800字3篇　　在日常的学习、工作、生活中，大家都接触过作文吧，作文是由文字组成...

眼光的作文关于眼光的作文　　在平日的学习、工作和生活里，大家都经常看到作文的身影吧，借助作文人们可以反映客观事...

一次难忘的经历作文一次难忘的经历作文800字（通用24篇）　　无论在学习、工作或是生活中，大家最不陌生的就是作文了吧，...

家乡的小河作文家乡的小河作文400字（精选112篇）　　家乡这座美丽的古城见证了海上丝绸之路的兴衰，经历了无尽的风...

气球大爆炸作文气球大爆炸作文7篇　　篇一：玩气球大爆炸游戏　　7月27日星期六晴今天，我们在水木青华作文室举行...

我的一次科学尝试作文我的一次科学尝试作文大全　　【篇一：我的一次科学尝试】　　有一次，我正在拿着凹的乒乓球看，愁眉苦脸，...

XGBoost

1.XGBoost推导示意图

2.分裂节点算法

Weighted Quantile Sketch

3.对缺失值得处理

相关内容

热门资讯