4.2.1大数据处理的基本思想和架构 课件 2022—2023学年浙教版（2019）高中信息技术必修1（33张PPT）

(共33张PPT)
第4章 数据 处理与应用
浙教版 信息技术（高中）
必修1 数据与计算
4.2 大数据处理
学习目标
1
2
3
4
大数据处理的基本思想
批处理计算和流计算、图计算，编程处理数据
文本数据处理，文本数据分析与应用
数据可视化
1
2
重点难点
重点：大数据处理的思想和编程处理数据。
难点：编程处理数据。
课堂导入
大数据特征
数据量体大
速度快
数据类型多
价值密度低
表格处理软件
×
大数据技术、理论和处理方法
大数据处理的基本思想和架构
分治思想
开发“羊了个羊”小程序
写代码
画界面
设计游戏
宣传
计算机专业
美术专业
计算机专业
新媒体专业
成果
子问题==小问题？
n:1
1:n
n个志愿来自10个不同的城市，每个城市按每个志愿参加志愿活动降序排列。小明把n个志愿按城市分成10个集合，在每个集合进行排序，该算法主要采用的思想是(　　)
A.顺序查找法
B.枚举法C.分治算法
D.解析法
C
把n个数据按序排序，若要查找一个数是否在这些数据中，把这些数分成前后两部分，与中间的数据进行对比，如果该数据在前半部分，则继续按前面的思想进行分别查找，该算法主要采用的思想是(　　)
A.顺序查找法
B.枚举法
C.分治算法
D.解析法
C
大数据处理
静态数据
流数据
图数据
批处理计算（Hadoop、spark等）
流计算（storm、heron等）
图计算（pregel、graphx等）
图4.2.1 大数据处理类型
1月内
通过下列方式获取数据，数据类型属于静态数据的是(　　)
A.各个监控不断向监控中心发送的数据B.同一时间内收到10万移动设备的位置信息C.服务器的近10天内的IP访问数据日志D.大型购物网站的广告推荐
C
某大型购物网站收集了用户浏览网站的数据用于广告个性化实时推荐，下列处理方式中合理的是
A.选用针对静态数据的批处理计算
B.选用针对流数据的实时计算
C.选用针对图结构数据的图计算
D.用统计分析软件提供的丰富的统计算法进行数据分析
B
A
1、批处理计算
Hadoop的设计初衷是面向大规模静态数据的批量处理，以下数据不适合使用Hadoop进行处理的是
A.某市高三学生模拟考成绩
B.某小区所有住户上半年的用水量
C.某市天气的实时变化情况
D.某大型超市3年的生鲜销售情况
C
图4.2.2 Hadoop的组成
同时适用于静态和动态数据
A
C
下列不属于Hadoop计算平台组成部分的是(　　)
A.Common公共库
B.分布式文件系统NTFS
C.分布式数据库HBase
D.分布式并行计算模型MapReduce
B
下列关于分布式文件系统，说法错误的是(　　)
A.是一个高度容错性的系统B.适合于静态数据的存储，但不适合于流数据的存储C.Hadoop系统采用基于列的存储方式进行存储D.大规模海量数据以文件的形式，用多个副本保存在不同的存储节点中
B
C
图4.2.6 蛋白质激素构成图
（由2.7万个节点和794万条边组成）
D
4、实时处理与批处理的整合
D
下列有关大数据中统计和处理说法正确的是(　　)
A.批处理的结果不能用于实时处理系统中
B.图处理软件主要包括图数据库和并行图处理系统
C.同一个平台既要么做批处理，要么做实时流计算，不能两者兼之
D.对于社交网络的个性化数据推荐，往往可以在批处理平台中进行计算
B