(共33张PPT)
第1章 认识数据与大数据
1.3 数据科学与大数据
1.3.2 大数据及其应用
据说春运
春运堪称人类历史上最大规模的短期迁徙,“人群从哪儿去了哪儿?哪些线路最热门?”在以往,这些问题可能难以精确回答。但随着技术进步,通过应用大数据技术,人们已经接近“在迷宫中感受全局”地看见春运的全景。
体验探索——电子地图中的大数据
大数据特征
巨量性 即数据体量巨大;
多样性 即数据种类繁多;
迅变性 即数据生成和处理速度快;
价值性 不仅指大数据能产生价值,更是指大数据所创造的价值密度明显偏低。
大数据技术
大数据采集技术
大数据预处理技术
大数据存储与管理技术
大数据分析与挖掘技术
大数据可视化与应用技术
实践活动:解读导航地图大数据
大数据应用——生活服务
电商网站的推荐系统:
通过分析客户的爱好和消费行为及其趋势,提供更为精准的服务。
一是从顾客的购买或浏览记录分析,发现顾客的潜在需求,推荐相似的产品,实现更好的个性化推荐。
二是从人的角度,推荐和顾客比较相似的其他人所购买的产品,提高客户订单量。
大数据应用——智慧城市
大数据可以用来改善城市生活,提升城市管理水平,促进智慧城市的建设。
大数据应用——医疗健康
大数据在医疗健康方面的应用能提高服务的针对性,改变传统的医疗与健康服务模式。
大数据应用——社区管理
大数据被广泛应用到社区管理中,为保护居民安全和维护公众利益发挥着越来越重要的作用。
当前,大数据的应用只是冰山一角,
绝大部分隐藏在“水面”之下。
未来,大数据所带来的精彩值得期待!
实践活动:了解年度“热词”有多热
3、大数据
大数据的定义:
大数据代表着信息量大、速度快、种类繁多的信息资产,需要特定的技术和分析方法将其转化为价值。
——硅图公司(SGI)
https://v./x/page/o08551r63r7.html
三分钟认识大数据
3、大数据
大数据的特点(4V):
(1)数据体量巨大。
(2)速度快。一是数据产生的速度快;二是数据处理的速度快。
(3)数据类型多。既有人工产生的,也有机器自动产生的。
(4)价值密度低。大数据蕴含着巨大的价值,但因为其数据量庞大,可能发挥价值的仅是其中非常小的部分,价值密度相对较低。
行业/企业内
数据
互联网数据
物联网数据
大数据
3、大数据
大数据思维:
(1)大数据要分析的是全体数据,而不是抽样数据。
(2)对于数据不再追求精确性,而是能够接受数据的混杂性。
(3)不一定强调对事物因果关系的探求,而是更加注重它们的相关性。
更好
不是因果关系
而是相关关系
更多
不是随机样本
而是全部数据
更杂
不是精确性而是混杂性
3、大数据
大数据对社会的影响:
(1)大数据让生活更便利。
(2)大数据让决策更精准。
(3)大数据带来新的就业需求。
(4)大数据带来新的社会问题。
纪录片《大数据时代》
https://tv./2019/07/02/VIDETSwWgZN0TeaWhrQc8XRS190702.shtml spm=C55924871139.PT8hUEEDkoTi.0.0
“神威,太湖之光”巨型计算机
峰值运算速度每秒12.54亿亿次
阅读拓展
引力波与数据
2017年的诺贝尔物理学奖颁发给了对引力波研究做出贡献的三位科
学家,以表彰他们利用激光干涉引力波天文台探测装置(图1. 3. 3)探测
到引力波的存在所做出的重要贡献。引力波的发现是数据技术在科学领
域的一个具体应用,捕捉引力波最大的挑战在于其数据的采样频率比较
高,超过每秒16000次,采样信道达上万个,数据量特别大,每年至少
能采集到500 TB的数据。通过这些数据,科学家可以更高效地开展研究。
随着数据采集与处理技术的发展,数据在科学研究中起着越来越重要的
作用。
阅读拓展
图1.3.3 探测引力波实验装置
大数据及其应用
信息技术与经济社会的交汇融合引发了数据的迅猛增长,数据已成为国家基础性战略资源,大数据正日益对全球生产、流通、分配、消费活动及经济运行机制、社会生活方式和国家治理能力产生重要影响。
大数据特征
巨量性
价值性不仅指大数据能产生价值,更是指大数据所创造的价值密度相对偏低,即庞大的数据量中可能产生价值的只是其中非常小的部分。如,一段几小时连续不间断的监控视频,可能有使用价值的数据只有事件发生前后的几分钟。
巨量性指数据体量巨大。一旦拥有了事物全部或几乎全部的数据,就在一定程度上提高了数据对事物描述的完整性,这使大数据应用中的全样本分析成为可能。
多样性指数据种类繁多。大数据包括传统的关系数据,还包含网页、搜索索引、图像、音视频和地理位置等数据。大数据之所以具有如此强的多样性,其主要原因在于:首先,随着互联网的发展,人在上网时,不但会获取数据,还会生成和传播各种数据;其次,各种设备通过网络连成了一个整体。这些设备也在不停地产生、采集和传递各种各样的数据。在互联网上,人类不仅是网络数据的获取者,也成了数据的造者和传播者。
迅变性指数据生成速度快,而且要求在短时间内处理完毕。只有快速地从庞杂的数据中获取有价值的信息,才能更好地服务于人,而数据量的快速增长对数据处理速度提出了更高的要求。例如,个性化推荐算法会尽可能完成实时推荐;搜索引擎尽快处理网络中最新信息等。
多样性
迅变性
价值性
大数据采集技术通过物联传感、社交网络等方式获得各种类型的海量数据。例如,随着全国各地平安城市项目的大规模推进,视频采集在智能安防领域发挥着越来越重要的作用,很多机场、车站、码头、办公大楼和住宅小区等场所都安装有视频采集系统。
大数据采集技术
大数据预处理技术不仅能提高数据质量、降低数据计算的复杂度,还能降低数据规模、提升数据处理的准确性。例如,社交大数据中有些数据涉及用户的隐私,也可能存在一些异常或错误数据,因此要对这些数据进行预处理,这样才能更好地帮助我们进行后期分析以便获得有价值的信息。
大数据预处理技术
大数据技术
大数据存储与管理技术能通过相应的数据中心把采集到的数据存储起来,并进行管理和调用。例如,使用云存储和分布式技术能方便且快速地处理巨量的数据,实现大数据的应用。
存储与管理技术
大数据可视化与应用技术能将分析或挖掘出来的数据进行直观、形象地呈现,为人们的社会活动提供依据,提高各个领域的运行效率,以发挥出更大的效益。例如,利用手机基站注册数据,不但可以获得居住地的信息,还能了解人口密度。已有数据证明,用手机记录得到的人口数据质量比较高。基于同样原理的景区“大数据客流分析系统”,可以获取游客来源,分析游客密度、景点的人流趋势等,从而为景区智能化管理提供大数据参考。
大数据分析与挖掘技术能从规模巨大的数据中,分析并提取出有潜在价值的信息。例如,我国政府部门开发的“精准扶贫大数据云平台”通过对数据的提取分析,展示贫困人口的致贫原因,深度挖掘数据的价值,为扶贫工作提供真实可靠、及时、全面的决策数据,为实现精准扶贫和精准脱贫保驾护航。
分析与挖掘技术
可视化与应用技术
图1.3.6 云存储与大数据应用示意图
图1.3.7 精准扶贫大数据云平台
实践活动
解读导航地图大数据
利用智能手机上的导航地图可以了解即时路况信息,以查找“捷径”顺畅出行,如图1. 3. 9所示。
现在的计算机技术已能很方便地将路上车辆的行驶轨迹数据充分利用起来,自动计算出每条道路的实时交通流量。导航地图平台还能根据用户实时上报的交通事件信息,通过大数据平台,将各种信息整合,得出相应的交通路线。
大数据平台综合考虑道路环境、天气情况和节假日等多种因素,基于大数据分析得出每条道路在不同环境或不同时间的路况规律,为交通预测和路径规划提供数据依据。
体验利用导航地图查找出行“捷径”,结合案例,说出其中的大数据从何而来,又是如何处理的。
目前大数据在生活服务方面的应用较为广泛,通过分析客户的爱好和消费行为及其趋势等,提供更为精准的服务。
电商网站搜集客户的社交数据、浏览器的日志文本及各类传感器采集的数据,通过跟踪分析这些数据,针对客户的个人喜好和消费能力的统计,推荐不同的商品,引导消费,以实现针对客户的个性化服务。
大数据应用之生活服务
大数据应用之智慧城市
大数据可以用来改善城市生活,提升城市管理水平,促进智慧城市的建设。数据活化是把隔离的数据变为整体,恢复数据之间的关联性,以突破数据利用的局限。数据采集的工作可由企业进行,数据经过活化后提供给数据中心。开发者利用这些数据开发新的应用提供给不同需求的个人、企业和政府部门,形成了一个新兴的产业。当智慧城市和产业结合起来,就可以形成健康良性的循环,推动智慧城市的可持续发展。智慧城市的创建已经成为今后市政规划与建设的重要方向。
大数据应用之医疗健康
大数据在医疗健康方面的应用改变了传统的医疗与健康服务模式,提高了服务的针对性。例如,健康类应用通过可穿戴设备采集数据,进行分析处理后,为患者提供针对性治疗建议,可让医生的诊断更为精确。 通过计算机科学与生命科学相结合,可以完成超大样本癌症基因的测序分析,能帮助人们解开疾病成因的秘密,辅助科学家攻克医学领域的难题,将对人们今后的健康与医疗环境产生深远的影响。
大数据应用之社区管理
大数据现在已经被广泛应用到社区管理中,为保护居民安全和维护公众利益发挥着重要的作用。例如,智能社区在辖区内的场所安装烟雾、水压和有害气体等监测传感器,当监控场所存在安全隐患时,报警装置会及时发出警报,数据将直接传输到社区的大数据平台,并第一时间采取相应措施,如通知附近的消防队,对火灾等安全隐患做到早发现、早预警、早扑灭。同时,诸如报警信息等数据还将传送到移动执法终端,方便安全巡查人员随时了解监控场所的动态,以便他们及时监督整改。此外,利用大数据平台或工具,有关部门还可以监控公共场所的活动秩序,协助搜捕犯罪嫌疑人等。
谢 谢!
Thanks!