机器学习中的数学原理——多项式回归
创始人
2024-04-02 10:50:54
0次

这个专栏主要是用来分享一下我在机器学习中的学习笔记及一些感悟，也希望对你的学习有帮助哦！感兴趣的小伙伴欢迎私信或者评论区留言！这一篇就更新一下《白话机器学习中的数学——多项式回归》！

目录

一、什么多项式回归

二、算法分析

三、总结

一、什么多项式回归

多项式回归是线性回归的一种特殊情况，其中我们在数据上拟合了多项式方程，目标变量和自变量之间具有曲线关系。 在曲线关系中，目标变量的值相对于预测变量以不均匀的方式变化。

二、算法分析

首先我们看一次函数的解析式：

f_{\Theta }(x) = \Theta _{0}+\Theta _{1}x

我们引入了两个变量，\Theta 0和\Theta 1，它的图像是一条直线:

 之前我们用微分求出了这个函数的斜率和截距，但是从我们的数据点上来看，其实曲线比 直线拟合得更好。

我们将fθ(x)定义为二次函数，添加一个二次项，就能用它来表示这条曲线了。

f_{\Theta }(x) = \Theta _{0}+\Theta _{1}x+\Theta _{2}x^2

或者我们用更高次次数的表达式也可以。这样就能表示更复杂的曲线了。

f_{\Theta }(x) = \Theta _{0}+\Theta _{1}x+\Theta _{2}x^2+\Theta _{3}x^3+...+\Theta _{n}x^n

 所以我们在不断尝试之后决定f_{\Theta }(x)是什么样的函数，但是要注意，并不是函数次数越大，拟合得越好。次数过大，难免会出现过拟合的情况。首先我们先看加入\Theta 2这个新的函数。接下来我们写出\Theta 2更新表达式的推导方法。

和之前一样，设u = E(θ)、v = fθ(x)，然后试着用 u 对 θ2偏微分，求出更新表达式。u 对 v 微分的部分是一样的，所以我们只要求 v 对 θ2 的微分就行了。

那么即使增加参数，比如有 θ3、θ4 等，我们依然可以用同样的方法求出它们的更新表达式，像这样增加函数中多项式的次数，然后再使用函数的分析方法就被称为多项式回归！

三、总结

多项式回归在原有的基础上引入了更高次的变量，我们要求出更高次参数的更新表达式，这一部分可以看之前写的梯度下降法更新参数。只要求出参数就能求得表达式了。

词库加载错误:未能找到文件“E:\highferrum_mysql\Configuration\Dict_Stopwords.txt”。

上一篇： 高中教学反思

下一篇：vs2019 编译调试 QT Creator 源码

相关内容

热门资讯

高考满分作文勇气范文【推荐6... 高考满分作文勇气范文 篇一标题：勇往直前，迎接挑战勇气是一种伟大的品质，它可以使我们面对困难和挑战时...
全国一卷高考优秀作文【优秀6... 全国一卷高考优秀作文 篇一：领导力的重要性在现代社会中，领导力被广泛认为是一种重要的能力。无论是在学...
高考作文案例“以自己的方式改... 高考作文案例“以自己的方式改变世界” 篇一第一篇内容：我与他人的互动当我们谈到改变世界时，很多人会想...
盘点高考中不得不看的奇人异事... 盘点高考中不得不看的奇人异事 篇一在高考这个重要的考试中，总会出现一些令人难以置信的奇人异事。这些事...
体育精神高考范文素材（最新6... 体育精神高考范文素材 篇一体育精神是高考中的重要素质高考作为一个重要的人生关卡，不仅仅考察学生的学术...
11年高考作文（优秀6篇） 11年高考作文 篇一标题：互联网对青少年的影响互联网在当今社会已经成为了青少年生活中不可或缺的一部分...
作文高考范文以及题目大全（精... 作文高考范文以及题目大全 篇一标题：我的高中生活字数：600字高中生活是人生中非常重要的一个阶段，它...
高考作文范文【推荐6篇】 高考作文范文 篇一：《高考改革与教育公平》高考作文范文 篇二：《高考改革与素质教育》高考作文范文 篇...
高考作文题目预测：用心创造快... 高考作文题目预测：用心创造快乐 篇一快乐是一种心态，也是一种态度。在现代社会中，人们往往忽视了用心创...
广东高考英语作文题目【经典3... 广东高考英语作文题目 篇一Title: The Importance of Time Managem...
全国及11个省市高考作文题目... 全国及11个省市高考作文题目 篇一题目：如何适应高考改革的新形势近年来，高考改革取得了显著的进展，不...
高考议论文（经典6篇） 高考议论文 篇一：高考制度是否应该改革高考是中国教育体系中的重要组成部分，对于每一个学生来说都至关重...
关于2021高考作文范文【优... 关于2021高考作文范文 篇一2021高考作文范文：努力奋斗的力量在2021年的高考作文中，我选择了...
云南高考理科状元：成绩出乎意... 云南高考理科状元：成绩出乎意料 篇一近日，云南省高考理科状元的成绩出乎意料地引起了广泛关注。这位学生...
网络安全作文高考范文5篇（推... 网络安全作文高考范文5篇篇一：网络安全的重要性网络安全已经成为当今社会中一个非常重要的问题。随着互联...
语文高分作文范文高考【推荐6... 语文高分作文范文高考 篇一《文字的魅力》语文在高考中占据着重要的地位，其高分作文更是备受考生们的关注...
带着镣铐舞蹈高考满分作文（精... 带着镣铐舞蹈高考满分作文 篇一在人生道路上，我们经常会遭遇各种各样的困难和挑战。有时候，我们会觉得自...
全国高考语文作文（精彩6篇） 全国高考语文作文 篇一我与书的故事书是人类的良师益友，它陪伴着我度过了许多难忘的时光。我与书的故事始...
责任的高三作文800字【最新... 责任的高三作文800字 篇一责任的重要性责任是一种使命感和担当精神，是对自己和他人的承诺。对于高三学...
回到原点高考满分作文（最新4... 回到原点 高考满分作文 篇一走出误区，回到原点高考，是每个学生人生中的一次重要考试，也是一个人人都希...