数据采集与整理
学习目标
掌握数据采集和整理的基本方法,能根据需求选择适当的工具采集与整理数据。
应用恰当的方法保护数据,理解对数据进行保护的重要意义,增强数据安全意识。
体验探索
你能找到这些数据吗
1.数据采集
数据采集,即根据需求采用适当的方法和工具获取所需要的数据。通常,数据采集的主要环节包括明确数据需求,确定数据来源,选择采集方法和实施数据采集。通俗地说,就是找什么,去哪儿找,怎么找。
1.数据采集
明确数据需求
为提高数据采集的针对性,采集数据前要明确数据需求。可以从需要分析的问题、研究的内容、期望达成的目标等方面来考虑,然后列出需要采集的数据目录。
1.数据采集
确定数据来源
在信息社会,数据来源途径广泛,社会调查、公众媒体、科学实验与实践活动等都可以提供大量数据。伴随着互联网的快速发展,政府机构的官方网络平台已成为获取权威数据的重要渠道。此外,物联网和社交网络中也拥有巨量数据。
1.数据采集
选择采集方法
确定数据需求和数据来源后,应选择恰当的方法采集数据。信息技术为高效精准地采集数据创造了便利的条件,应用传感器和网络等是当前数据采集的重要方法。
1.数据采集
选择采集方法
(1)传感器采集
1.数据采集
选择采集方法
(2)网络获取数据
2.数据整理
数据整理的目的是对数据进行校验和标准化。
数据整理就是通过去重、补漏和勘误等方法,删除重复数据、补全缺失数据和校正错误数据,并对数据进行统一性和标准化处理,以确保数据是相关和准确的,从而将“脏数据”变为“清洁数据”。
2.数据整理
例题:编写程序检测用水量为负值的数据。
阅读课本例题材料。
分析问题。
规划问题求解流程。
编程实现与调试。
保存文件,调试运行程序。
实践活动
编写程序删除用水量数据中的重复值
登录教学资源平台,找到“yongshui.csv”文件。由于录入数据时操作失误,导致该文件中多个省市的用水数据被重复输入。用Python语言编写程序找到这些重复的数据,并删除。
3.数据安全
从健康数据到智慧交通,再到用水决策,进而到智能交互,数据正深刻地影响着大众生活及国家建设的方方面面。数据已经成为一种重要的资源,保护数据安全显得日益重要。
思考活动
我们的网上数据是否安全?
阅读材料思考:
(1)我们的网上行为数据可能存储在哪里?如果这些数据被泄露可能会带来哪些风险和问题?
(2)小组同学讨论,通过哪些措施可以使我们的网络行为数据更安全?
3.数据安全
数据安全的威胁
数据安全的威胁来自很多方面,既有人为因素,也有非人为因素。其中,主要的威胁包括计算机病毒、黑客攻击、数据存储介质损坏和个人失误等。
3.数据安全
2007-2017年移动互联网恶意程序数量走势
3.数据安全
数据保护的方法
数据备份
数据加密
阅读拓展
量子保密通信
量子通信是迄今唯一被严格证明的一种无条件安全通信方式,可以有效解决信息安全方面的问题。
阅读拓展
量子通信
谢谢