机器学习中的数学原理——多项式回归

创始人

2024-04-02 10:50:54

0次

这个专栏主要是用来分享一下我在机器学习中的学习笔记及一些感悟，也希望对你的学习有帮助哦！感兴趣的小伙伴欢迎私信或者评论区留言！这一篇就更新一下《白话机器学习中的数学——多项式回归》！

一、什么多项式回归

二、算法分析

三、总结

一、什么多项式回归

多项式回归是线性回归的一种特殊情况，其中我们在数据上拟合了多项式方程，目标变量和自变量之间具有曲线关系。在曲线关系中，目标变量的值相对于预测变量以不均匀的方式变化。

二、算法分析

首先我们看一次函数的解析式：

$f_{\Theta }(x) = \Theta _{0}+\Theta _{1}x$

我们引入了两个变量， $\Theta 0$ 和 $\Theta 1$ ，它的图像是一条直线:

之前我们用微分求出了这个函数的斜率和截距，但是从我们的数据点上来看，其实曲线比直线拟合得更好。

我们将fθ(x)定义为二次函数，添加一个二次项，就能用它来表示这条曲线了。

$f_{\Theta }(x) = \Theta _{0}+\Theta _{1}x+\Theta _{2}x^2$

或者我们用更高次次数的表达式也可以。这样就能表示更复杂的曲线了。

$f_{\Theta }(x) = \Theta _{0}+\Theta _{1}x+\Theta _{2}x^2+\Theta _{3}x^3+...+\Theta _{n}x^n$

所以我们在不断尝试之后决定 $f_{\Theta }(x)$ 是什么样的函数，但是要注意，并不是函数次数越大，拟合得越好。次数过大，难免会出现过拟合的情况。首先我们先看加入 $\Theta 2$ 这个新的函数。接下来我们写出 $\Theta 2$ 更新表达式的推导方法。

和之前一样，设u = E(θ)、v = fθ(x)，然后试着用 u 对 θ2偏微分，求出更新表达式。u 对 v 微分的部分是一样的，所以我们只要求 v 对 θ2 的微分就行了。

那么即使增加参数，比如有 θ3、θ4 等，我们依然可以用同样的方法求出它们的更新表达式，像这样增加函数中多项式的次数，然后再使用函数的分析方法就被称为多项式回归！

三、总结

多项式回归在原有的基础上引入了更高次的变量，我们要求出更高次参数的更新表达式，这一部分可以看之前写的梯度下降法更新参数。只要求出参数就能求得表达式了。

词库加载错误:未能找到文件“E:\highferrum_mysql\Configuration\Dict_Stopwords.txt”。

上一篇： 高中教学反思

下一篇：vs2019 编译调试 QT Creator 源码

热门资讯

常用商务英语口语　　商务英语是以适应职场生活的语言要求为目的，内容涉及到商务活动的方方面面。下面是小编收集的常用商务...

六年级上册英语第一单元练习题　　一、根据要求写单词。　　1.dry（反义词）__________________　　2.writ...

复活节英文怎么说复活节英文怎么说?复活节的英语翻译是什么?复活节：Easter;"Easter,anniversar...

2008年北京奥运会主题曲 2008年北京奥运会(第29届夏季奥林匹克运动会)，2008年8月8日到2008年8月24日在中华人...

英语道歉信英语道歉信15篇　　在日常生活中，道歉信的使用频率越来越高，通过道歉信，我们可以更好地解释事情发生的...

六年级英语专题训练(连词成句... 六年级英语专题训练(连词成句30题)　　1. have,playhouse,many,I,toy,i...

上班迟到情况说明英语　　每个人都或多或少的迟到过那么几次，因为各种原因，可能生病，可能因为交通堵车，可能是因为天气冷，有...

小学英语教学论文小学英语教学论文范文　　引导语：英语教育一直都是每个家长所器重的，那么有关小学英语教学论文要怎么写呢...

英语口语学习必看的方法技巧英语口语学习必看的方法技巧如何才能说流利的英语？说外语时，我们主要应做到四件事：理解、回答、提问、...

四级英语作文选:Birth ... 四级英语作文范文选:Birth controlSince the Chinese Governmen...

金融专业英语面试自我介绍金融专业英语面试自我介绍3篇　　金融专业的学生面试时，面试官要求用英语做自我介绍该怎么说。下面是小编...

我的李老师走了四年级英语日记... 我的李老师走了四年级英语日记带翻译　　我上了五个学期的小学却换了六任老师，李老师是带我们班最长的语文...

小学三年级英语日记带翻译捡玉... 小学三年级英语日记带翻译捡玉米　　今天，我和妈妈去外婆家，外婆家有刚剥的`玉米棒上带有玉米籽，好大的...

七年级英语优秀教学设计七年级英语优秀教学设计　　作为一位兢兢业业的人民教师，常常要写一份优秀的教学设计，教学设计是把教学原...

我的英语老师作文我的英语老师作文（通用21篇）　　在日常生活或是工作学习中，大家都有写作文的经历，对作文很是熟悉吧，...

英语老师教学经验总结英语老师教学经验总结（通用19篇）　　总结是指社会团体、企业单位和个人对某一阶段的学习、工作或其完成...

初一英语暑假作业答案初一英语暑假作业答案　　英语练习一(基础训练)第一题1.D2.H3.E4.F5.I6.A7.J8.C...

大学生的英语演讲稿大学生的英语演讲稿范文（精选10篇）　　使用正确的写作思路书写演讲稿会更加事半功倍。在现实社会中，越...

VOA美国之音英语学习网址 VOA美国之音英语学习推荐网址美国之音网站已经成为语言学习最重要的资源站点，在互联网上还有若干网站...

商务英语期末试卷 Part I Term Translation (20%)Section A: Translate ...

机器学习中的数学原理——多项式回归

一、什么多项式回归

二、算法分析

三、总结

相关内容

热门资讯