(共47张PPT)
独立性检验
复习:
1. 分类变量
用以区别不同的现象或性质的一种特殊的随机变量,称为分类变量.分类变量的取值可以用实数表示,例如,学生所在的班级可以用1,2,3等表示,男性、女性可以用1,0表示,等等.
2. 列联表
将形如下表这种形式的数据统计表称为2×2列联表. 2×2列联表给出了成对分类变量数据的交叉分类频数.
例1 为比较甲、乙两所学校学生的数学水平,采用简单随机抽样的方法抽取88名学生. 通过测验得到了如下数据: 甲校43名学生中有10名数学成绩优秀;乙校45名学生中有7名数学成绩优秀.试分析两校学生中数学成绩优秀率之间是否存在差异.
回顾上节课的例1
依据频率稳定于概率的原理,我们可以推断甲校学生数学成绩优秀的概率大于乙校学生数学成绩优秀的概率.
然而这一结论有可能是错误的.
事实上,“两校学生的数学成绩优秀率存在差异”这个结论是根据两个频率间存在差异推断出来的. 有可能出现这种情况:在随机抽取的这个样本中,两个频率间确实存在差异,但两校学生的数学成绩优秀率实际上是没有差别的.
前面我们通过2×2列联表整理成对分类变量的样本观测数据,并根据随机事件频率的稳定性推断两个分类变量之间是否有关联 . 对于随机样本而言,因为频率具有随机性,频率与概率之间存在误差,所以我们的推断可能犯错误,而且在样本容量较小时,犯错误的可能性会较大 . 因此,需要找到一种更为合理的推断方法,同时也希望能对出现错误推断的概率有一定的控制或估算.
问题: 数学家庞加莱每天都从一家面包店买一块1000g 的面包,并记录下买回的面包的实际质量。一年后,这位数学家发现,所记录数据的均值为950g。于是庞加莱推断这家面包店的面包分量不足。
假设“面包分量足”,则一年购买面包的质量数据的平均值应该不少于1000g ;
“这个平均值不大于950g”是一个与假设“面包分量足”矛盾的小概率事件;
这个小概率事件的发生使庞加莱得出推断结果。
假设检验问题的原理
假设检验问题由两个互斥的假设构成,其中一个
叫做原假设,用H0表示;另一个叫做备择假设,用H1表示。
例如,在前面的例子中, 原假设为: H0:面包分量足,
备择假设为 H1:面包分量不足。
这个假设检验问题可以表达为:
H0:面包分量足 ←→ H1:面包分量不足
求解假设检验问题
考虑假设检验问题:
H0:面包分量足 ←→ H1:面包分量不足
在H0成立的条件下,构造与H0矛盾的小概率事件;
如果样本使得这个小概率事件发生,就能以一定把握断言H1成立;
否则,断言没有发现样本数据与H0相矛盾的证据。
求解思路:
X=0 X=1
Y=0 X=0,Y=0 X=1,Y=0
Y=1 X=0,Y=1 X=1,Y=1
{x=1}与{y=1}是否有关联呢?
考虑以Ω为样本空间的古典概型,设X和Y 为定义在Ω上,取值于{0, 1}的成对分类变量 . 我们希望判断事件{X=1}和{Y=1}之间是否有关联 .
注意到{X=0}和{X=1}, {Y=0}和{Y=1}都是互对立事件.
注意到{X=0}和{X=1}, {Y=0}和{Y=1}都是互对立事件,与前面的讨论类似,我们需要判断下面的假定关系
H0: P(Y=1|X=0)=P(Y=1|X=1)
是否成立,通常称H0为零假设或原假设.
H0: P(Y=1|X=0)=P(Y=1|X=1)
是否成立,通常称H0为零假设或原假设.
这里,P(Y=1| X=0)表示从{X=0} 中随机选取一个样本点,该样本点属于{X=0 , Y=1}的概率; P(Y=1|X=1)表示从{X=1}中随机选取一个样本点,该样本点属于{X=1, Y=1}的概率.
由条件概率的定义可知,零假设 H0: P(Y=1|X=0)=P(Y=1|X=1)
或 P(X=0, Y=1)P(X=1)=P(X=1,Y=1)P(X=0). ①
等价于
注意到{X=0}和{X=1}为对立事件,于是P(X=0)=1 P(X=1) . 再由概率的性质,我们有
P(X=0, Y=1)=P(Y=1) P(X=1, Y=1).
由此推得①式等价于 P(X=1)P(Y=1)=P(X=1, Y=1).
因此,零假设H0等价于{X=1}与{Y=1}独立.
根据已经学过的概率知识,下面的四条性质彼此等价:
{X=0}与{Y=0}独立 ; {X=0}与{Y=1}独立;
{X=1}与{Y=0}独立 ; {X=1}与{Y=1}独立.
因此,我们可以用概率语言,将零假设改述为
H0: 分类变量X和Y独立.
如果这些性质成立,我们就称分类变量X和Y独立,这相当于下面四个等式成立;
P(X =0, Y=0 ) = P(X =0)P(Y =0); P(X =0, Y =1) = P(X =0)P(Y =1);
P(X =1, Y =0) = P(X =1)P(Y =0); P(X =1, Y =1) = P(X =1)P(Y =1).
假定我们通过简单随机抽样得到了X和Y的抽样数据列联表如下:
P(X=0)和P(Y=0)对应的频率的乘积为
{X=0,Y=0}发生的频率的期望值为
原假设成立,下面四个量值不应该太大
构造一个方便科学的统计量
卡方统计量
上述表达式是χ2的计算公式, χ2读作“卡方”.
卡方统计量有什么用呢?
思考:那么,究竟 χ2大到什么程度,可以推断H0不成立呢?
或者说,怎样确定判断 χ2大小的标准呢?
统计学家建议,用随机变量 χ2取值 的大小作为判断零假设H0是否成立的依据,当它比较大时推断H0不成立,否则认为H0成立.
根据小概率事件在一次试验中不大可能发生的规律,上面的想法可以通过确定一个与H0相矛盾的小概率事件来实现.
在假定H0的条件下,对于有放回简单随机抽样,当样本容量充分大时,统计学家得到了 χ2的近似分布. 忽略卡方的实际分布与该近似分布的误差后,对于任何小概率值α,可以找到相应的正实数,使得下面关系成立:
我们称xα为α的临界值,这个临界值可以作为判断χ2大小的标准.
概率值α越小,临界值xα越大.
只要把概率值α取得充分小,在假设H0成立的情况下,事件{χ2 ≥ xα}是不大可能发生的. 根据这个规律,如果该事件发生,我们就可以推断H0不成立.不过这个推断有可能犯错误,但犯错误的概率不会超过α.
基于小概率值α的检验规则:
当≥时,我们就推断 H0 不成立,即认为X和Y不独立,该推断犯错误的概率不超过;
当<时,我们没有充分证据推断 H0 不成立,可以认为X和Y独立.
这种利用χ2的取值推断分类变量X和Y是否独立的方法称为χ2独立性检验,读作“卡方独立性检验”,简称独立性检验.
α 0.1 0.05 0.01 0.005 0.001
xα 2.706 3.841 6.635 7.879 10.828
下表给出了χ2独立性检验中几个常用的小概率值和相应的临界值:
例如,对于一个小概率值α=0.05,有如下的具体检验规则:
(1)当 时,我们推断H0不成立,即认为X与Y不独立,该推断犯错误的概率不超过0.05;
(2)当 时,我们没有充分证据推断H0不成立,可以认为X与Y独立.
零假设为H0: 分类变量X与Y相互独立,即两校学生的数学成绩优秀率无差异. 根据表中的数据,计算得到
例2 依据小概率值α=0.1的χ2 独立性检验,分析例1中的抽样数据,能否据此推断两校学生的数学成绩优秀率有差异
解:
例2 依据小概率值α=0.1的χ2 独立性检验,分析例1中的抽样数据,能否据此推断两校学生的数学成绩优秀率有差异
根据小概率值α=0.1的χ2独立性检验,没有充分证据推断H0不成立,因此可以认为H0成立,即认为两校的数学成绩优秀率没有差异.
思考: 例1和例2都是基于同一组数据的分析, 但却得出了不同的结论 , 你能说明其中的原因吗
事实上,如前所述,例1只是根据一个样本的两个频率间存在差异得出两校学生数学成绩优秀率有差异的结论, 并没有考虑由样本随机性可能导致的错误, 所以那里的推断依据不太充分.
在例2中, 我们用 χ2独立性检验对零假设H0进行了检验,通过计算,发现 χ2 ≈0.837小于α=0.1所对应的临界值2.706,因此认为没有充分证据推断H0不成立,所以接受H0 , 推断出两校学生的数学优秀率没有显著差异的结论.
零假设为H0: 疗法与疗效独立,即两种疗法效果没有差异.
由已知数据列出列联表.
例3: 某儿童医院用甲、乙两种疗法治疗小儿消化不良. 采用有放回简单随机抽样的方法对治疗情况进行检查,得到了如下数据: 抽到接受甲种疗法的患儿67名,其中未治愈15名,治愈52名; 抽到接受乙种疗法的患儿69名,其中未治愈6名,治愈63名. 试根据小概率值α=0.005的独立性检验,分析乙种疗法的效果是否比甲种疗法好.
解:
疗法 疗效 合计
未治愈 治愈 甲
乙
合计
根据小概率值α=0.005的χ2独立性检验,没有充分证据推断H0不成立,因此可以认为H0成立,即认为两种疗法效果没有差异.
对犯错误概率的解释
在零假设H0成立的前提下,随着小概率值α的逐渐减小, χ2统计量对应的临界值xα逐渐增大,则事件{χ2 ≥xα}越来越不容易发生,零假设越来越不容易被拒绝;随着小概率值α的逐渐增大, χ2统计量对应的临界值xα逐渐减小,则事件{χ2 ≥xα}越来越容易发生,零假设越来越容易被拒绝.
例如,对于例3中的数据,经计算得χ2 ≈4.881.
(1) 当小概率值α=0.005时,x0.005=7.879, 此时χ2 ≈4.881<7.879,则没有充分理由拒绝零假设. 因此可以接受H0,即认为两种疗法的效果没有差异.
(2)当小概率值α=0.05时,x0.05=3.841,此时χ2 ≈4.881>3.841,则拒绝零假设,即认为两种疗法的效果有差异,该推断犯错误的概率不超过0.05.
(3)当小概率值α=0.1时,x0.05=2.706, 此时χ2 ≈4.881>2.706,则拒绝零假设,即认为两种疗法的效果有差异,该推断犯错误的概率不超过0.1.
观察: 在例3的2×2列联表中,若对调两种疗法的位置或对调两种疗效的位置,则卡方计算公式中a, b, c, d的赋值都会相应地改变. 这样做会影响χ2取值的计算结果吗
对调前
对调后
对调前
对调后
这说明,对调两种疗法的位置,不会影响χ2取值的计算结果,同理对调两种疗效的位置也不会影响结果.
零假设为H0: 吸烟与患肺癌之间无关联,由表中数据可得
例4 :为研究吸烟是否与肺癌有关,某肿瘤研究所采取有放回简单随机抽样的方法,调查了9965人,得到成对样本观测数据的分类统计结果,如下表所示. 依据小概率值α=0.001的独立性检验,分析吸烟是否会增加患肺癌的风险.
解:
吸烟 肺癌 合计
非肺癌患者 肺癌患者 非吸烟者 7775 42 7817
吸烟者 2099 49 2148
合计 9874 91 9965
吸烟 肺癌 合计
非肺癌患者 肺癌患者 非吸烟者 7775 42 7817
吸烟者 2099 49 2148
合计 9874 91 9965
根据小概率值α=0.001的χ2独立性检验,推断H0不成立,即认为吸烟与患肺癌有关联,此推断犯错误的概率不大于0.001.
用频率计算再次进行比较:
不吸烟者中患肺癌的频率:
吸烟者中患肺癌的频率:
其中两者的比值为:
在被调查者中, 吸烟者患肺癌的频率是不吸烟者患肺癌的频率的 4 倍以上
吸烟 肺癌 合计
非肺癌患者 肺癌患者 非吸烟者 7775 42 7817
吸烟者 2099 49 2148
合计 9874 91 9965
(4)在X和Y不独立的情况下,根据需要,通过比较相应的频率,分析X和Y间的影响规律.
总结上面的例子, 应用独立性检验解决实际问题大致应包括以下几个主要环节:
注意:上述几个环节的内容可以根据不同情况进行调整,例如,在有些时候,分类变量的抽样数据列联表是问题中给定的.
(1)提出零假设H0 : X和Y相互独立 , 并给出在问题中的解释.
(2)根据抽样数据整理出2×2列联表,计算χ2的值,并与临界值xα比较.
(3)根据检验规则得出推断结论.
练习:某校为了研究"学生的性别"和"对待某一活动的态度是否有关,运用2×2列联表进行独立性检验,经计算χ2=7.069,则认为"学生性别与支持某项活动有关系"的犯错误的概率不超过( )
A.0.1% B.1% C.99% D.99.9%
α 0.1 0.05 0.01 0.005 0.001
xα 2.706 3.841 6.635 7.879 10.828
课本P134 练习 3
3. 为考察某种药物A对预防疾病B的效果,进行了动物试验,根据105个有放回简单随机样本的数据,得到如下列联表,依据α=0.05的独立性检验,分析药物A对预防疾病B的有效性.
药物A 疾病B 合计
未患病 患病 未服用 29 15 44
服用 47 14 61
合计 76 29 105
α 0.1 0.05 0.01 0.005 0.001
xα 2.706 3.841 6.635 7.879 10.828
零假设为H0: 药物A与预防疾病B无关联,即药物A对预防疾病B没有效果,根据列联表中数据,经计算得到
根据小概率值α=0.05的χ2独立性检验,没有充分证据推断H0不成立,即可以认为药物A对预防疾病B没有效果.
解:
3. 为考察某种药物A对预防疾病B的效果,进行了动物试验,根据105个有放回简单随机样本的数据,得到如下列联表,依据α=0.05的独立性检验,分析药物A对预防疾病B的有效性.
药物A 疾病B 合计
未患病 患病 未服用 29 15 44
服用 47 14 61
合计 76 29 105
α 0.1 0.05 0.01 0.005 0.001
xα 2.706 3.841 6.635 7.879 10.828
4. 从某学校获取了容量为400的有放回简单随机样本,将所得数学和语文期末考试成绩的样本观测数据整理如下,依据α=0.05的独立性检验,能否认为数学成绩与语文成绩有关联
数学成绩 语文成绩 合计
不优秀 优秀 不优秀 212 61 273
优秀 54 73 127
合计 266 134 400
α 0.1 0.05 0.01 0.005 0.001
xα 2.706 3.841 6.635 7.879 10.828
课本P134 练习 4
解:
零假设为H0: 数学成绩与语文成绩独立,即数学成绩与语文成绩没有关联,根据列联表中数据,经计算得到
根据小概率值α=0.05的χ2独立性检验,我们可以推断H0不成立,即认为数学成绩与语文成绩有关联,该推断犯错误的概率不超过0.05.
4. 从某学校获取了容量为400的有放回简单随机样本,将所得数学和语文期末考试成绩的样本观测数据整理如下,依据α=0.05的独立性检验,能否认为数学成绩与语文成绩有关联
数学成绩 语文成绩 合计
不优秀 优秀 不优秀 212 61 273
优秀 54 73 127
合计 266 134 400
α 0.1 0.05 0.01 0.005 0.001
xα 2.706 3.841 6.635 7.879 10.828
数学成绩不优秀的人中语文成绩不优秀和优秀的频率分别为
数学成绩优秀的人中语文成绩不优秀和优秀的频率分别为
由此可以看出,数学成绩优秀的人中语文成绩优秀的频率明显高于数学成绩不优秀的人中语文成绩优秀的频率. 根据频率稳定于概率的原理,我们可以推断,数学成绩优秀的人其语文成绩优秀的概率较大.
数学成绩 语文成绩 合计
不优秀 优秀 不优秀 212 61 273
优秀 54 73 127
合计 266 134 400
α 0.1 0.05 0.01 0.005 0.001
xα 2.706 3.841 6.635 7.879 10.828
练习:某教育机构为了研究成年人具有大学专科以上学历(包括大学专科)和对待教育改革态度的关系,随机抽取了 392名成年人进行调查,所得数据如下表所示∶对于教育机构的研究项目,根据上述数据能得出什么结论
学历 态度 合计
积极支持教育改革 不太赞成教育改革 大专以上学历 39 157 196
大专以下学历 29 167 196
合计 68 324 392
α 0.1 0.05 0.01 0.005 0.001
xα 2.706 3.841 6.635 7.879 10.828
性别 喜欢 合计
体育 文娱 男生 21 23 44
女生 6 29 35
合计 27 52 78
练习: 某校对学生课外活动进行调查,结果整理成下表∶用你所学过的知识进行分析,能否在犯错误的概率不超过0.005的前提下,认为“喜欢体育还是文娱与性别有关系”?
思考:独立性检验的思想类似于我们常用的反证法,你能指出二者之间的相同和不同之处吗?
反证法 独立性检验
在某种假设H0下,如果推出一个矛盾,则证明H0不成立;若未能推出矛盾,不能对H0下任何结论,即反证法不成功 在零假设H0下,如果出现一个与H0相矛盾的小概率事件,则推断H0不成立,且该推断犯错误的概率不大于这个小概率. 否则,不能推断H0不成立,通常会接受H0,即认为两个分类变量相互独立.
反证法不会犯错误 独立性检验会犯随机性错误
独立性检验的本质是比较观测值与期望值之间的差异,由χ2所代表的这种差异的大小是通过确定适当的小概率值进行判断的.
这是一种非常重要的推断方法,不仅有相当广泛的应用,也开启了人类认识世界的一种新的思维方式.
1.χ2统计量
小结
2.于小概率值α的检验规则:
当≥时,我们就推断 H0 不成立,即认为X和Y不独立,该推断犯错误的概率不超过;
当<时,我们没有充分证据推断 H0 不成立,可以认为X和Y独立.
3.独立性检验的一般步骤:
(1)提出零假设H0:X和Y相互独立,并给出在问题中的解释.
(2)根据抽样数据整理出2×2列联表,计算的值,并与临界值比较.
(3)根据检验规则得出推断结论.
(4)在X和Y不独立的情况下,根据需要,通过比较相应的频率,分析X和Y间的影响规律.
小结
本小节结束