软考高项总结：[2-2] 物联网、云计算、大数据

一、物联网

1、物联网（TheInternet of Things）

是指通过信息传感设备，按约定的协议将任何物品与互联网相连接，进行信息交换和通信，以实现智能化识别、定位、跟踪、监控和管理的网络。

2、物联网架构（分层）

（1）感知层：由各种传感器构成，包括温度传感器，二维码标签、RFID标签和读写器，摄像头，GPS等感知终端。感知层是物联网识别物体、采集信息的来源。

（2）网络层：由各种网络，包括互联网、广电网、网络管理系统和云计算平台等组成，是整个物联网的中枢，负责传递和处理感知层获取的信息。

（3）应用层：是物联网和用户的接口，它与行业需求结合以实现物联网的智能应用。

3、关键技术

二、云计算

1、技术基础

云计算是一种基于互联网的计算方式，通过这种方式将网络上配置为共享的软件资源、计算资源、存储资源和信息资源，按需求提供给网上的终端设备和终端用户。

云计算实现了“快速、按需、弹性”的服务，用户可以随时通过宽带网络接入“云”并获得服务，按照实际需求获取或释放资源，根据需求对资源进行动态扩展。

2、云计算服务提供的资源层次

（1）基础设施即服务（laaS）：向用户提供计算机能力、存储空间等基础设施方面的服务。这种服务模式需要较大的基础设施投入和长期运营管理经验，其单纯出租资源的盈利能力有限。

（2）平台即服务（PaSS）：向用户提供虚拟的操作系统、数据库管理系统、Web应用等平台化的服务。PaaS服务的重点不在于直接的经济效益，而更注重构建和形成紧密的产业生态。

（3）软件即服务（SaaS）：向用户提供应用软件（如CRM、办公软件等）、组件、工作流等虚拟化软件的服务，一般采用Web技术和SOA架构，通过Internet向用户提供多租户、可定制的应用能力，大大缩短了软件产业的渠道链条，减少了软件升级、定制和运行维护的复杂程度，并使软件提供商从软件产品的生产者转变为应用服务的运营者。

3、关键技术

关键技术	内容
虚拟化技术	1、虚拟化技术：单CPU模拟多CPU并行，一个平台同时运行多个操作系统，应用程序在相互独立的空间内运行而互不影响，提高计算机的工作效率。虚拟化技术可以扩大硬件的容量，简化软件的重新配置过程。 （1）多任务：是指在一个操作系统中多个程序同时并行运行。 （2）超线程技术：只是单CPU模拟双CPU来平衡程序运行性能，不能分离的，只能协同工作。 2、容器技术：属于操作系统虚拟化的范畴，如Docker。将单个操作系统的资源划分到孤立的组中，以便更好地在孤立的组之间平衡有冲突的资源使用需求。
云存储技术	1、一种全新信息存储管理方式，可较为快速、高效地对海量数据进行在线处理，通过多种云技术平台的应用，实现了数据的深度挖掘和安全管理。 2、分布式文件系统是云存储技术中的重要组成部分。 3、云储存的实现过程中，结合分布式的文件结构，在硬件支撑的基础上，对硬件运行环境进行优化，确保数据传输的完整性和容错性；结合成本低廉的硬件的扩展，大大降低了存储的成本。
多租户和访问控制管理	访问控制管理是云计算应用的核心问题之一。 1、云计算访问控制的研究主要集中在： （1）云计算访问控制模型； （2）基于ABE密码机制的云计算访问控制； （3）云中多租户及虚拟化访问控制； 2、常见的有基于任务的访问控制模型、基于属性模型的云计算访问控制、基于UCON模型的云计算访问控制、基于BLP模型的云计算访问控制; 3、基于ABE密码机制的云计算访问控制包括4个参与方：数据提供者、可信第三方授权中心、云存储服务器和用户。
云安全技术	1、云安全研究主要包含两个方面的内容： 一是云计算技术本身的安全保护工作；二是借助于云服务的方式来保障客户端用户的安全防护需求。 2、在云安全技术的研究方面，主要包含：云计算安全性、保障云基础设施的安全性、安全技术服务。 3、云安全技术要从开放性、安全保障、体系结构的角度考虑。

三、大数据

1、大数据（BigData）

大数据指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

2、技术基础

大数据是具有体量大、结构多样、时效性强等特征的数据，处理大数据需要采用新型计算架构和智能算法等新技术。

大数据从数据源到最终价值实现一般需要经过数据准备、数据存储与管理、数据分析和计算、数据治理和知识展现等过程，涉及数据模型、处理模型、计算理论以及与其相关的分布计算、分布存储平台技术、数据清洗和挖掘技术、流式计算和增量处理技术、数据质量控制等方面的研究。

3、主要特征

（1）数据海量：大数据的数据体量巨大，从TB级别跃升到PB级别、EB级别、ZB级别。

（2）数据类型多样：大数据的数据类型繁多，一般分为结构化数据和非结构化数据。

（3）数据价值密度低：数据价值密度的高低与数据总量的大小成反比。

（4）数据处理速度快：这是大数据区分于传统数据挖掘的最显著特征。

4、关键技术

关键技术	内容
大数据获取技术	数据采集技术：实现数据源的获取，然后通过整合和清理技术保证数据质量。 数据整合技术：是在数据采集和实体识别的基础上，实现数据到信息的高质量整合。 数据清洗技术：一般根据正确性条件和数据约束规则，清除不合理和错误的数据，对重要的信息进行修复，保证数据的完整性。
分布式数据处理技术	1、其核心是将任务分解成许多小的部分，分配给多台计算机进行处理，通过并行工作的机制计算时间，提高计算效率的目的。 2、主流的分布式计算系统有： Hadoop：常用于离线的复杂的大数据处理； Spark：常用于离线的快速的大数据处理； Storm：常用于在线的实时的大数据处理；
大数据管理技术	1、大数据存储技术： （1）采用MPP架构的新型数据库集群，通过列存储、粗粒度索引等多项大数据处理技术和高效的分布式计算模式，实现大数据存储； （2）围绕Hadoop衍生出相关的大数据技术，应对传统关系型数据库较难处理的数据和场景，通过扩展和封装Hadoop来实现对大数据存储、分析的支撑； （3）基于集成的服务器、存储设备、操作系统、数据库管理系统，实现具有良好的稳定性、扩展性的大数据一体机。 2、多数据中心的协同管理技术：通过分布式工作流引擎实现工作流调度、负载均衡，整合多个数据中心的存储和计算资源，为大数据服务平台提供支撑。 3、大数据隐私性技术：主要集中于新型数据发布技术，少损失数据信息的同时最大化地隐藏用户隐私。
大数据应用和服务技术	1、大数据应用和服务技术主要包含分析应用技术和可视化技术。 2、大数据分析应用主要是面向业务的分析应用。 3、可视化通过交互式视觉表现的方式来帮助人们探索和理解复杂的数据。