课件19张PPT。1.2独立性检验的基本思想及其初步应用(一)问题: 数学家庞加莱每天都从一家面包店买一块1000g 的面包,并记录下买回的面包的实际质量.一年后,这位数学家发现,所记录数据的均值为950g.于是庞加莱推断这家面包店的面包分量不足.假设“面包份量足”,则一年购买面包的质量数据的平均值应该不少于1000g ;
“这个平均值不大于950g”是一个与假设“面包份量足”矛盾的小概率事件;
这个小概率事件的发生使庞加莱得出推断结果.一:假设检验问题的原理 假设检验问题由两个互斥的假设构成,其中一个叫做原假设,用H0表示;另一个叫做备择假设,用H1表示.例如,在前面的例子中, 原假设为: H0:面包份量足,
备择假设为: H1:面包份量不足.
这个假设检验问题可以表达为:
H0:面包份量足 ←→ H1:面包份量不足
二:求解假设检验问题考虑假设检验问题:
H0:面包分量足 ←→ H1:面包分量不足在H0成立的条件下,构造与H0矛盾的小概率事件;
如果样本使得这个小概率事件发生,就能以一定把握断言H1成立;否则,断言没有发现样本数据与H0相矛盾的证据.
求解思路:独立性检验本节研究的是两个分类变量的独立性检验问题.在日常生活中,我们常常关心分类变量之间是否有关系:例如,吸烟是否与患肺癌有关系?
性别是否对于喜欢数学课程有影响?等等.为了调查吸烟是否对肺癌有影响,某肿瘤研究所随机地调查了9965人,得到如下结果(单位:人)列联表说明:吸烟者和不吸烟者患肺癌的可能性存在差异,吸烟者患肺癌的可能性大.0.54%2.28%探究1、列联表2、三维柱形图3、二维条形图从三维柱形图能清晰看出
各个频数的相对大小.从二维条形图能看出,吸烟者中
患肺癌的比例高于不患肺癌的比例.通过图形直观判断两个分类变量是否相关:4、等高条形图等高条形图更清晰地表达了两种情况下患肺癌的比例. 上面我们通过分析数据和图形,得到的直观印象是吸烟和患肺癌有关,那么事实是否真的如此呢?这需要用统计观点来考察这个问题. 现在想要知道能够以多大的把握认为“吸烟与患肺癌有关”,
为此先假设 H0:吸烟与患肺癌没有关系.把表中的数字用字母代替,得到如下用字母表示的列联表 用A表示不吸烟,B表示不患肺癌,则“吸烟与患肺癌没有关系”等价于“吸烟与患肺癌独立”,即假设H0等价于 P(AB)=P(A)P(B).因此|ad-bc|越小,说明吸烟与患肺癌之间关系越弱;
|ad-bc|越大,说明吸烟与患肺癌之间关系越强.在表中,a恰好为事件AB发生的频数;a+b和a+c恰好分别为事件A和B发生的频数.由于频率接近于概率,所以在H0成立的条件下应该有 为了使不同样本容量的数据有统一的评判标准,基于上述分析,我们构造一个随机变量-----卡方统计量(1) 若 H0成立,即“吸烟与患肺癌没有关系”,则K2应很小.根据表3-7中的数据,利用公式(1)计算得到K2的观测值为:那么这个值到底能告诉我们什么呢?(2) 独立性检验在H0成立的情况下,统计学家估算出如下的概率
即在H0成立的情况下,K2的值大于6.635的概率非常小,近似于0.01. 也就是说,在H0成立的情况下,对随机变量K2进行多次观测,观测值超过6.635的频率约为0.01.思考
答:判断出错的概率为0.01.判断 是否成立的规则如果 ,就判断 不成立,即认为吸烟与患肺癌有关系;否则,就判断 成立,即认为吸烟与患肺癌有关系.独立性检验的定义 上面这种利用随机变量K2来确定在多大程度上可以认为“两个分类变量有关系”的方法,称为两个分类变量的独立性检验.在该规则下,把结论“ 成立”错判成“ 不成立”的概率不会差过即有99%的把握认为 不成立.独立性检验的基本思想(类似反证法)(1)假设结论不成立,即 “两个分类变量没有关系”.(2)在此假设下我们所构造的随机变量 K2 应该很小,如果由观测数据计算得到K2的观测值k很大,则在一定可信程度上说明 不成立.即在一定可信程度上认为“两个分类变量有关系”;如果k的值很小,则说明由样本观测数据没有发现反对 的充分证据.(3)根据随机变量K2的含义,可以通过评价该假设不合理的程度,由实际计算出的,说明假设合理的程度为99%,即“两个分类变量有关系”这一结论成立的可信度为约为99%.怎样判断K2的观测值k是大还是小呢? 这仅需要确定一个正数 ,当 时就认为K2的观测值 k大.此时相应于 的判断规则为:如果 ,就认为“两个分类变量之间有关系”;否则就认为“两个分类变量之间没有关系”.----临界值按照上述规则,把“两个分类变量之间有没关系”错误的判断为“两个分类变量之间有关系”的概率为P( ).在实际应用中,我们把 解释为有
的把握认为“两个分类变量之间有关系”;把 解释为不能以 的把握认为“两个分类变量之间有关系”,或者样本观测数据没有提供“两个分类变量之间有关系”的充分证据.思考:
利用上面的结论,你能从列联表的三维柱形图中看出两个分类变量是否相关呢?表1-11 2x2联表 一般地,假设有两个分类变量X和Y,它们的值域分别为{x1,x2}和{y1,y2},其样本频数列联表(称为2x2列联表)为: 若要判断的结论为:H1:“X与Y有关系”,可以按如下步骤判断H1成立的可能性:2、可以利用独立性检验来考察两个分类变量是否有关系,并且能较精确地给出这种判断的可靠程度.1、通过三维柱形图和二维条形图,可以粗略地判断两个变量是否有关系,但是这种判断无法精确地给出所得结论的可靠程度.
(1)在三维柱形图中, 主对角线上两个柱形高度的乘积ad与副对角线上两个柱形高度的乘积bc相差越大,H1成立的可能性就越大.
(2)在二维条形图中,可以估计满足条件X=x1的个体中具有Y=y1的个体所占的比例 ,也可以估计满足条件X=x2
的个体中具有Y=y1的个体所占的比例 .两个比例相差越大,H1成立的可能性就越大.在实际应用中,要在获取样本数据之前通过下表确定临界值:具体作法是:(1)根据实际问题需要的可信程度确定临界值 ;
(2)利用公式(1),由观测数据计算得到随机变量 的观测值;
(3)如果 ,就以 的把握认为“X与Y有关系”;否则就说样本观测数据没有提供“X与Y有关系”的充分证据.例1.在500人身上试验某种血清预防感冒作用,把他们一年中的感冒记录与另外500名未用血清的人的感冒记录作比较,结果如表所示.试画出列联表的条形图,并通过图形判断这种血清能否起到预防感冒的作用?并进行独立性检验.课件16张PPT。1.2独立性检验的基本思想及其初步应用(二)1、列联表2、三维柱形图3、二维条形图从三维柱形图能清晰看出
各个频数的相对大小.从二维条形图能看出,吸烟者中
患肺癌的比例高于不患肺癌的比例.通过图形直观判断两个分类变量是否相关:不吸烟吸烟患肺癌
比例不患肺癌
比例4、等高条形图等高条形图更清晰地表达了两种情况下患肺癌的比例.随机变量-----卡方统计量 5、独立性检验临界值表0.1%把握认为A与B无关1%把握认为A与B无关99.9%把握认A与B有关99%把握认为A与B有关90%把握认为A与B有关10%把握认为A与B无关没有充分的依据显示A与B有关,但也不能显示A与B无关第一步:H0: 吸烟和患病之间没有关系 第二步:列出2×2列联表 6、独立性检验的步骤第三步:计算第四步:查对临界值表,作出判断.反证法原理与假设检验原理反证法原理: 在一个已知假设下,如果推出一个矛盾,就证明了这个假设不成立.假设检验原理:在一个已知假设下,如果一个与该假设矛盾的小概率事件发生,就推断这个假设不成立.例1 在某医院,因为患心脏病而住院的665名男性病人中,有214人秃顶;而另外772名不是因为患心脏病而住院的男性病人中有175人秃顶.分别利用图形和独立性检验方法判断秃顶与患心脏病是否有关系?你所得的结论在什么范围内有效?解:根据题目所给数据得到如下列联表: 相应的三维柱形图如图所示,比较来说,底面副对角线上两个柱体高度的乘积要大一些,因此可以在某种程度上认为“秃顶与患心脏病有关”.例1 在某医院,因为患心脏病而住院的665名男性病人中,有214人秃顶;而另外772名不是因为患心脏病而住院的男性病人中有175人秃顶.分别利用图形和独立性检验方法判断秃顶与患心脏病是否有关系?你所得的结论在什么范围内有效?解:根据题目所给数据得到如下列联表: 根据联表1-13中的数据,得到所以有99%的把握认为“秃顶患心脏病有关”.例1.秃头与患心脏病
在解决实际问题时,可以直接计算K2的观测值k进行独立检验,而不必写出K2的推导过程 .
本例中的边框中的注解,主要是使得学生们注意统计结果的适用范围(这由样本的代表性所决定).因为这组数据来自住院的病人,因此所得到的结论适合住院的病人群体.例2 为考察高中生的性别与是否喜欢数学课程之间的关系,在某城市的某校高中生中随机抽取300名学生,得到如下联表:由表中数据计算K2的观测值k 4.514.能够以95%的把握认为高中生的性别与是否喜欢数学课程之间有关系吗?请详细阐述得出结论的依据.解:可以有95%以上的把握认为“性别与喜欢数学课程之间有关系”.分别用a,b,c,d表示样本中喜欢数学课的男生人数、不喜欢数学课的男生人数、喜欢数学课的女生人数、不喜欢数学课的女生人数.如果性别与是否喜欢数学课有关系,则男生中喜欢数学课的比例 与女生中喜欢数学课的比例 应该相差很多,即例2 为考察高中生的性别与是否喜欢数学课程之间的关系,在某城市的某校高中生中随机抽取300名学生,得到如下联表:由表中数据计算K2的观测值k 4.514.能够以95%的把握认为高中生的性别与是否喜欢数学课程之间有关系吗?请详细阐述得出结论的依据.因此, 越大, “性别与喜欢数学课程之间有关系”成立的可能性就越大.另一方面,在假设“性别与喜欢数学课程之间有关系”的前提下,事件
的概率为因此事件A是一个小概率事件.而由样本数据计算得 的观测值k=4.514,即小概率事件A发生.因此应该断定“性别与喜欢数学课程之间有关系”成立,并且这种判断结果出错的可能性约为5%.所以,约有95%的把握认为“性别与喜欢数学课程之间有关系”.例3.在500人身上试验某种血清预防感冒作用,把他们一年中的感冒记录与另外500名未用血清的人的感冒记录作比较,结果如表所示.试画出列联表的条形图,并通过图形判断这种血清能否起到预防感冒的作用?并进行独立性检验.解:设H0:感冒与是否使用该血清没有关系.因当H0成立时,K2≥6.635的概率约为0.01,故有99%的把握认为该血清能起到预防感冒的作用.解:设H0:药的效果与给药方式没有关系.因当H0成立时,K2≥1.3896的概率大于15%,故不能否定假设H0,即不能作出药的效果与给药方式有关的结论.例4:为研究不同的给药方式(口服与注射)和药的效果(有效与无效)是否有关,进行了相应的抽样调查,调查的结果列在表中,根据所选择的193个病人的数据,能否作出药的效果和给药方式有关的结论?例5:气管炎是一种常见的呼吸道疾病,医药研究人员对两种中草药治疗慢性气管炎的疗效进行对比,所得数据如表所示,问:它们的疗效有无差异?解:设H0:两种中草药的治疗效果没有差异.因当H0成立时,K2≥10.828的概率为0.001,故有99.9%的把握认为,两种药物的疗效有差异.例6、某校高三年级在一次全年级的大型考试中,数学成绩优秀和非优秀的学生中,物理、化学、总分也为优秀的人数如下表所示,则数学成绩优秀与物理、化学、总分也优秀哪个关系较大?注:该年级此次考试中,数学成绩优秀的有360人,非优秀的有880人.(1)列出数学与物理优秀的2x2列联表如下2281323601437378803718691240代入公式可得 注:该年级此次考试中,数学成绩优秀的有360人,非优秀的有880人.(2)列出数学与化学优秀的2x2列联表如下2251353601567248803818591240(3)列出数学与总分优秀的2x2列联表如下26793360997818803668741240代入公式可得代入公式可得