8.2.1一元线性回归模型 课件

(共36张PPT)
8.2.1一元线性回归模型
8.2.2一元线性回归模型参数的最小二乘估计（1）
自变量取值一定时，因变量的取值带有一定随机性的两个变量之间的关系，叫做相关关系.
相关关系的概念
2、相关关系与函数关系的异同点
不同点：函数关系是一种确定的关系，因果关系；而相关关系是一种非确定性关系，也可能是伴随关系。
相同点：均是指两个变量的关系
相关关系—当自变量取值一定,因变量的取值带有一定的随机性（ 非确定性关系)
函数关系---函数关系指的是自变量和因变量之间的关系是相互唯一确定的.
1、对相关关系的理解
复习引入
散点图
1、散点图：将样本中n个数据点（xi，yi)（i＝1，2，…，n）描在平面直角坐标系中，以表示具有相关关系的两个变量的一组数据的图形叫做散点图.
2、分类：（1）正相关、负相关
正相关：如果散点图的点散布在从左下角到右上角的区域，即一个变量的值由小变大时，另一个变量的值也近似的由小变大，对于两个变量的这种相关关系，我们称为正相关
负相关：如果散点图的点散布的位置是从在左上角到右下角的区域，即一个变量的值由小变大时，另一个变量的值也近似的由大变小，对于两个变量的这种相关关系，我们称为负相关.
（2）线性相关和非线性相关
两个变量之间相关关系的确定
(1).经验作出推断
(2).通过样本数据分析，从数据中提取信息，并构建适当的模型，再利用模型进行估计或推断
复习引入
样本相关系数r
(1)当r >0时，称成对样本数据正相关；当r <0时，称成对样本数据负相关．
(2)r的取值范围为[-1，1]
(3)当|r|越接近1时，成对样本数据的线性相关程度越强;当|r|越接近0时，成对样本数据的线性相关程度越弱.
获得总体中所有的成对数据往往是不容易的,因此,我们还是要用样本估计总体的思想来解决问题,也就是说,我们先要通过抽样获取两个变量的一些成对样本数据,再计算出样本相关系数,通过样本相关系数去估计总体相关系数,从而了解两个变量之间的相关程度,对于简单随机样本而言,样本具有随机性,因此样本相关系数r也具有随机性,一般地,样本容量越大,用样本相关系数估计两个变量的相关系数的效果越好。
复习引入
通过前面的学习我们已经了解到，根据成对样本数据的散点图和样本相关系数，可以推断两个变量是否存在相关关系、是正相关还是负相关，以及线性相关程度的强弱等.
下面我们研究当两个变量线性相关时，如何利用成对样本数据建立统计模型，并利用模型进行预测的问题.
如果能像建立函数模型刻画两个变量之间的确定性关系那样，通过建立适当的统计模型刻画两个随机变量的相关关系，那么我们就可以利用这个模型研究两个变量之间的随机关系，并通过模型进行预测.
问题1：生活经验告诉我们，儿子的身高与父亲的身高相关.一般来说，父亲的身高较高时，儿子的身高通常也较高.为了进一步研究两者之间的关系，有人调查了14名男大学生的身高及其父亲的身高，得到的数据如表1所示.
编号 1 2 3 4 5 6 7 8 9 10 11 12 13 14
父亲身高/cm 174 170 173 169 182 172 180 172 168 166 182 173 164 180
儿子身高/cm 176 176 170 170 185 176 178 174 170 168 178 172 165 182
可以发现，散点大致分布在一条从左下角到右上角的直线附近，表明儿子身高和父亲身高线性相关.利用统计软件，求得样本相关系数为r≈0.886，表明儿子身高和父亲身高正线性相关，且相关程度较高。
复习引入
问题2：根据表中的数据，儿子身高和父亲身高这两个变量之间的关系可以用函数模型刻画吗？
列表法是函数的一种表示方法，但并不是所有列表表示的数据都是函数关系，要成为函数关系必须满足函数的定义，即应满足“集合A中的任意一个数，在集合B中都存在唯一的数与它对应”.
编号 1 2 3 4 5 6 7 8 9 10 11 12 13 14
父亲身高/cm 174 170 173 169 182 172 180 172 168 166 182 173 164 180
儿子身高/cm 176 176 170 170 185 176 178 174 170 168 178 172 165 182
表中的数据，存在父亲身高相同而儿子身高不同的情况.例如，第6个和第8个观测父亲的身高均为172cm，而对应的儿子的身高为176cm和174cm；同样在第3，4个观测中，儿子的身高都是170cm，而父亲的身高分别为173cm，169cm.可见儿子的身高不是父亲身高的函数同样父亲的身高也不是儿子身高的函数，所以不能用函数模型来刻画.
学习新知
问题3：从成对样本数据的散点图和样本相关系数可以发现，散点大致分布在一条直线附近表明儿子身高和父亲身高有较强的线性关系.我们可以这样理解，由于有其他因素的存在，使儿子身高和父亲身高有关系但不是函数关系.那么影响儿子身高的其他因素是什么？
影响儿子身高的因素除父亲的身外，还有母亲的身高、生活的环境、饮食习惯、营养水平、体育锻炼等随机的因素，儿子身高是父亲身高的函数的原因是存在这些随机的因素.
问题4：由问题3我们知道，正是因为存在这些随机的因素，使得儿子的身高呈现出随机性各种随机因素都是独立的，有些因素又无法量化.你能否考虑到这些随机因素的作用，用类似于函数的表达式，表示儿子身高与父亲身高的关系吗？
如果用x表示父亲身高，Y表示儿子的身高，用e表示各种其他随机因素影响之和，称e为随机误差，由于儿子身高与父亲身高线性相关，所以Y=bx+a.
用X表示父亲身高,Y表示儿子身高,e表示随机误差,假定随机误差e的均值为0,方差为与父亲身高无关的定值σ2，则它们之间的关系可以表示为, (1)
我们称(1)式为Y关于x的一元线性回归模型(simple linear regression model).
其中,Y称为因变量或响应变量,x称为自变量或解释变量;a和b为模型的未知参数,a称为截距参数,b称为斜率参数;e是Y与bx+a之间的随机误差,模型中的Y也是随机变量,其值虽然不能由变量x的值确定,但是却能表示为bx+a与e的和(叠加),前一部分由x所确定,后一部分是随机的,如果e=0,那么Y与x之间的关系就可用一元线性函数模型来描述.
学习新知
追问：为什么要假设E(e）=0，而不假设其为某个不为0的常数？
因为误差是随机的，即取各种正负误差的可能性一样，所以它们均值的理想状态应该为0.
如果随机误差时一个不为0的常数，则可以将合并到截距项a中，否则模型无法确定，即参数没有唯一解。
另外，如果不为0，则表示存在系统误差，在实际建模中也不希望模型有系统误差，即模型不存在非随机误差。
思考：你能结合父亲与儿子身高的实例，说明回归模型①的意义？
①
可以解释为父亲身高为的所有男大学生身高组成一个子总体，该子总体的均值为b+a，即该子总体的均值与父亲的身高是线性函数关系.
而对于父亲身高为的某一名男大学生，他的身高yi并不一定为b+a，它仅是该子总体的一个观测值，这个观测值与均值有一个误差项ei=yi －(+a).
学习新知
思考：你能结合父亲与儿子身高的实例，说明回归模型①的意义？
①
可以解释为父亲身高为的所有男大学生身高组成一个子总体，该子总体的均值为b+a，即该子总体的均值与父亲的身高是线性函数关系.
而对于父亲身高为的某一名男大学生，他的身高yi并不一定为b+a，它仅是该子总体的一个观测值，这个观测值与均值有一个误差项ei=yi －(+a).
问题5：你能结合具体实例解释产生模型①中随机误差项的原因吗？
（1）除父亲身高外,其他可能影响儿子身高的因素,比如母亲身高、生活环境、饮食习惯和锻炼时间等.
（2）在测量儿子身高时，由于测量工具、测量精度所产生的测量误差.
（3）实际问题中，我们不知道儿子身高和父亲身高的相关关系是什么，可以利用一元线性回归模型来近似这种关系，这种近似关系也是产生随机误差e的原因.
产生随机误差e的原因有：
学习新知
问题6：为了研究两个变量之间的相关关系，我们建立了一元线性回归模型
达式 刻画的是变量Y与变量x之间的线性相关关系，
其中参数a和b未知，我们能否通过样本数据估计参数a和b
参数a和b刻画了变量Y与变量x的线性关系，因此通过样本数据估计这两个参数，相当于寻找一条适当的直线，使表示成对样本数据的这些散点在整体上与这条直线最接近.
与函数模型不同，回归模型的参数一般是无法精确求出的，只能通过成对样本数据估计这两个参数。
学习新知
追问1：我们怎样寻找一条“最好”的直线，使得表示成对样本数据的这些散点在整体上与这条直线最“接近”？
目标：从成对样本数据出发，用数学的方法刻画“从整体上看，各散点与直线最接近”
方法：利用点到直线y=bx+a的“距离”来刻画散点与该直线的接近程度，然后用所有“距离”之和刻画所有样本观测数据与该直线的接近程度.
由yi=bxi+a+ei（i=1,2,…,n)，得|yi-(bxi+a)|=|ei|.
显然|ei|越小，表示点(xi,yi)与点(xi,bxi+a)的“距离”越小，即样本数据点离直线y=bx+a的竖直距离越小。特别地,当ei=0时,表示点(xi,yi)在这条直线上.
我们设满足一元线性回归模型的两个变量的n对样本数据为(x1,y1),(x2,y2),…,(xn,yn)
因此，可以用 来刻画各样本观测数据与直线y=bx+a的整体接近程度。
在实际应用中,因为绝对值使得计算不方便,所以人们通常用各散点到直线的竖直距离的平方之和
来刻画“整体接近程度”
残差平方和：
求a，b的值,使Q(a,b)最小
在上式中,xi,yi(i=1,2,3,…,n)是已知的成对样本数据,所以Q由a和b所决定,即它是a和b的函数,因为Q还可以表示为 即它是随机误差的平方和,这个和当然越小越好,所以我们取使Q达到最小的a和b的值,作为截距和斜率的估计值。下面利用成对样本数据求使Q取最小值的a,b.
上式是关于b的二次函数，因此要使Q取得最小值，当且仅当b的取值为
我们将 称为Y关于x的经验回归方程，也称经验回归函数或经验回归公式，其图形称为经验回归直线，这种求经验回归方程的方法叫最小二乘法．
注意：
1、经验回归必过 .2、 都是估计值.3 、 与r符号相同.
问题7：利用下表的数据，依据用最小二乘估计一元线性回归模型参数的公式，求出儿子身高Y关于父亲身高x的经验回归方程。
通过信息技术，计算求得
问1：当x=176时， ,如果一位父亲身高为176cm,他儿子长大后身高一定能长到177cm吗？为什么？
儿子的身高不一定会是177cm，这是因为还有其他影响儿子身高的因素，回归模型中的随机误差清楚地表达了这种影响，父亲的身高不能完全决定儿子的身高，不过，我们可以作出推测，当父亲的身高为176cm时，儿子身高一般在177cm左右.
如果把父亲身高为176cm的所有儿子身高作为一个子总体，那么177cm是这个子总体均值的估计值.一般地，
因为E(Y)=bx+a，是bx+a的估计值，所以是E(Y)的估计值.
父亲身高/cm 174 170 173 169 182 172 180 172 168 166 182 173 164 180
儿子身高/cm 176 176 170 170 185 176 178 174 170 168 178 172 165 182
问2：根据经验回归方程 中斜率的具体含义，高个子的父亲一定生高个子的儿子吗？同样，矮个子的父亲一定生矮个子的儿子吗？
经验回归方程=0.839x+28.957中，斜率0.839可以解释为父亲身高每增加1cm，
其儿子的身高平均增加0.839cm.
问3：根据模型，父亲身高为多少时，长大成人的儿子的平均身高与父亲身高一样？
你怎么看这个判断？
通过经验回归方程=0.839x+28.957，令=x，则x=179.733，即当父亲身
高为179.733cm时，儿子的平均身高与父亲的身高一样.
高个子父亲有生高个子儿子的趋势,但一群高个子父亲的儿子们的平均身高要低于父亲们的平均身高,例如x=185(cm),则=184.172(cm);
矮个子父亲有生矮个子儿子的趋势,但一群矮个子父亲的儿子们的平均身高要高于父亲们的平均身高,例如x=170(cm),则=171.587(cm).
我们称yi为响应变量Y的观测值，通过经验回归方程得到的为预测值.为了研究回归模型的有效性，定义残差为=yi-，残差是随机误差的估计值，通过对残差的分析可判断回归模型刻画数据的效果，以及判断原始数据中是否存在可疑数据等，这方面的工作称为残差分析.
例如,对于右表中的第6个观测,父亲身高为172cm,其儿子身高的观测值为y==176(cm),预测值为96=0.839×172+28.957=173.265(cm),残差为176-173.265=2.735(cm).类似地,可以得到其他的残差,如右表所示.
问题8：儿子身高与父亲身高的关系，运用残差分析所得的一元线性回归模型的有效性吗？
残差图：作图时纵坐标 为残差,横坐标可以选为样本编号，或身高数据，或体重估计值等，这样作出的图形称为残差图．
观察表可以看到,残差有正有负,残差的绝对值最大是4.413.
观察残差的散点图可以发现,残差比较均匀地分布在横轴的两边,说明残差比较符合一元线性回归模型的假定,是均值为0、方差为σ2的随机变量的观测值.可见,通过观察残差图可以直观判新模型是否满足一元线性回归模型的假设.
一般地,建立经验回归方程后,通常需要对模型刻画数据的效果进行分析,借助残差分析还可以对模型进行改进,使我们能根据改进模型作出更符合实际的预测与决策。
(1)
(2)
(3)
(4)
思考：观察以下四幅残差图，你认为哪一个残差满足一元线性回归模型中对随机误差的假定？
图（1）显示残差与观测时间有线性关系，应将时间变量纳入模型；
图（2）显示残差与观测时间有非线性关系，应在模型中加入时间的非线性函数部分；
图（3）说明残差的方差不是一个常数，随观测时间变大而变大；
图（4）的残差比较均匀地集中在以横轴为对称轴的水平带状区域内.
根据一元线性回归模型中对随机误差的假定，残差应是均值为0、方差为的随机变量的观测值.
所以，只有图(4）满足一元线性回归模型对随机误差的假设。
练习：关于残差图的描述错误的是(　　)
A.残差图的横坐标可以是样本编号
B.残差图的横坐标也可以是解释变量或响应变量
C.残差点分布的带状区域的宽度越窄相关指数越小
D.残差点分布的带状区域的宽度越窄残差平方和越小
C
对于一组具有线性相关关系的数据
我们知道其回归方程的截距和斜率的最小二乘估计公式分别为：
称为样本点的中心.
学习新知
2、求回归直线方程的步骤：
（3）代入公式
（4）写出直线方程为y=bx+a,即为所求的回归直线方程.
^
学习新知
某大学中随机选取8名女大学生，其身高和体重数据如下表所示.
编号 1 2 3 4 5 6 7 8
身高/cm 165 165 157 170 175 165 155 170
体重/kg 48 57 50 54 64 61 43 59
求根据女大学生的身高预报体重的回归方程，并预报一名身高为172cm的女大学生的体重.
典型例题
由
得：
故所求线性回归方程为：
因此，对于身高172cm的女大学生，由线性回归方程可以预报其体重为：
是斜率的估计值，说明身高x每增加1个单位时，体重y就增加0.849个单位，这表明体重与身高具有正的线性相关关系.
典型例题
尝试练习
C
尝试练习
A
练习：观察两相关量得如下数据:
x -1 -2 -3 -4 -5 5 3 4 2 1
y -9 -7 -5 -3 -1 1 5 3 7 9
求两变量间的回归方程.
解：列表：
i 1 2 3 4 5 6 7 8 9 10
xi -1 -2 -3 -4 -5 5 3 4 2 1
yi -9 -7 -5 -3 -1 1 5 3 7 9
xiyi 9 14 15 12 5 5 15 12 14 9
所求回归直线方程为
尝试练习
B
尝试练习
B