未来, 大数据必定会成为人们生活中不可或缺的一个部分, 这在现在的生活中已经有所体现了, 数据逐渐的面向全社会大众, 使其成为一个更高效的工具服务于大众, 知识共享度越来越大让社会的发展变得更快速有效, 大数据与各行各业的应用也直接促进了行业内部的不断竞争和创新, 为许多黄昏产业注入了新的生命力, 本文将从技术层面浅析数据处理模式以及对大数据的应用表达一些个人见解。
一、大数据时代背景
(一) 大数据定义
随着社会进程不断向前推进, 信息数据的不断膨胀, 我们很难再采用传统的方式进行数据的分类、筛选以及分析处理, 新时代都要求简单高效的处理方式, 于是大数据便应运而生。全球研究所曾给出了最初的大数据的定义:这是一种规模极大的, 在分析、管理、筛选、捕获以及储存能力都远远超过传统数据处理软件工具的新数据集合, 拥有数据规模海量、数据的流转快速、数据的类型多样和低价值密度这四大特点。
(二) 大数据发展过程
大数据这一概念最初的提出者是英国数据科学家维克托·麦尔-舍恩伯格和肯尼思·库克耶, 他们于2002年在《大数据时代》一书中提出了这个概念。
从大数据概念的提出到现在不过16年的时间, 其发展过程并不是一帆风顺的, 从最开始的专业名词高端话题到现在的家喻户晓、人尽皆知的过程是很复杂的。随着互联网媒介的不断传播才让这个概念变得接地气, 这个时候我们才意识到大数据时代真的到来, 大数据逐渐深入人心引起大众的关注和讨论, 虽然态度不一, 但这是一个新时代到来所必经的过程, 必将要接受大众的审视和质疑。
二、大数据处理模式结构
(一) 大数据处理方技术
就目前而言, 大数据的海量数据特点决定了它必须与云计算相结合, 云计算和大数据的关系就如同人的上下嘴唇一样缺一不可、密不可分, 因为它的数据量相当庞大所以必须采取分布式架构来进行处理, 要实现这个目的就必须靠云计算的技术, 如分布式数据库和云存储以及分布式处理模式等。
传统的数据捕获方式有很大的局限性, 容易出现数据的单一性和效率低等问题, 而大数据主要是依靠集中获取和分布式两种结合, 保证了数据的完整性和全局性, 在数据使用上也有很大的灵活性, 效率相对于传统方式明显提高。
在数据的存储上, 传统的数据存储方式是单节点仓库, 具有容量小扩展性低的缺点, 而新的大数据采用的是云存储, 不仅具有很大的容量并且有可扩展性, 在存储的同事还可以对的护具做出简单的分类处理, 为后面的处理过程节约了时间, 进一步提高了高效性。
大数据还有一个新的可视化技术, 它可以将数据处理结果更加清晰全面立体的展现在眼前, 打破了传统的只对数据表面处理的现象, 而是会对数据背后的更深的价值信息进行挖掘, 不流于表面对更深的层次进行探索研究, 达到更准确全面的分析目的。
除了依赖云计算的技术, 它还要使用一些适合大数据的特殊技术, 比如适用于处理大规模数据的MPP数据库技术, 互联网的交互, 数据发掘捕获技术和可扩展的存储系统。因为大数据要具有符合新时代的高效性, 所以新技术是它发展前进的基石, 某些层面上它也可以代表中国科技技术的脚步,
(二) 处理技术框架结构
大数据处理技术主要是结合的云计算技术, 所以我们简单介绍一下大数据的架构思路和云计算技术下的大数据层次。
大数据在处理上的整体构架思路分为三个部分:1.数据的统计与查询2.数据分析编程3.数据的存储。在数据的统计与查询中我们可能运用到的技术有SQL, MatLab, R等, 在数据的分析编程中涉及到C语言以及JAVA, HIVE等技术, 数据的存储主要有GFS (分布式文件系统) 分布式数据库, 分布式Dynamo存储等技术。三个部分的框架基本就可以实现处理的完整过程了。
云计算下的大数据架构呀分为三个层次:1.SAAS (将软件作为服务) 2.PAAS (讲评台作为服务) 3.IAAS (将基础设施作为服务) 在第一个层次中主要是云计算的方式建构具体的应用出来, 第二个层次结构主要是开发平台, 包括数据存储平台, 数据处理平台等等, 在后一个层次结构主要是用于将物理硬件虚拟化的平台, 比如存储虚拟化, 主机虚拟化, 网络虚拟化等, 通过虚拟化来实现服务的目的, 也具有一定灵活性。
大数据的处理技术有很多, 一个可以实现这么强大的数据处理能力的资产一定离不开各种新技术之间的相互结合, 所以我在这里只针对主要技术做浅显分析不再赘述其他。
(三) 大数据存在的问题
大数据时代到来, 人们的讨论声越来越大, 说明这个技术一定有其存在的问题才会引起大众如此大的争议, 它的主要问题集中表现在大众对于个人隐私的担忧, 大数据时代将全球数据变得更加透明和公开化, 在数据共享上一次次突破历史, 再加之互联网的盛行, 数据的流通速度也越来越快, 人们的担心不无道理, 确实现在的网络隐私安全问题存在着很多漏洞, 比如中国的很多具有国民隐私信息的网站的总部都设在美国硅谷, 大众不得不为自己的信息安全担忧, 隐私问题一直是大数据面临的问题, 在短时间的大数据发展内这个问题或将持续伴随着大众。
三、大数据处理的应用
(一) 大数据处理优势
大数据作为信息时代新的数据处理先驱, 我们应该去了解它都具有哪些优势, 总体来说, 我们可以把它的优势分为以下几类:
数据种类全面的优势性, 前面我有提到过, 大数据在数据采集时所运用的技术是比传统捕获技术更加全面的, 不同于以往的随机取样模式, 大数据是全部获取数据模式, 在这种环境下, 我们可以分析更多的数据就可以带来更加精确的结果, 让数据的有效性发挥到最大, 也可以改变传统的对片面数据进行分析的结果所带来的消极影响, 提高社会问题精准度。
在数据处理上也有很大的优势性, 传统的数据处理往往是采用联机方式对数据进行表面上的分析, 并且分析结果是平面的, 不易深入研究, 而新的大数据处理分析数据的方式多种多样, 不仅可以分析数据表象结果, 还可以进行深入发掘数据背后的潜在价值和意义, 与现在的可视化技术相结合还能实多维展示分析结果。
存储数据的方式也突破了传统意义, 时代不断发展所产生的社会数据必然越来越多, 所以云技术存储是未来社会发展的必然趋势, 与大数据的结合耿介体现了它的价值, 也是大数据在存储方法上的一个优势点。
(二) 常见的大数据应用
大数据在当代的个性化医疗领域里的身影越来越普遍, 人们通过大数据科学分析得出的结果去合理的规范自己的生活习惯, 这是经验的合理共享, 提高生活质量的便捷方式。科技发展逐渐提出了可穿戴设备的概念, 比如现在社会上已经广泛使用的运动手环, 就是将大数据运用到了这个领域, 通过将用户上传的数据和数据库中的参数进行比对分析从而得出健康状况报告反馈给用户, 还可以人性化的针对健康问题作出合理的建议。
大数据与娱乐产业的结合也是非常常见的, 尤其是近几年的综艺节目, 更是将大数据技术运用的淋漓尽致, 在综艺中会通过大数据的调查选出最受欢迎嘉宾, 通过数据分析得出游戏难度, 通过大数据预测节目的后期走向等等, 这种运用非常多, 并且由于综艺的高流量性使大数据技术变得更加接地气和通俗易懂, 侧面普及了大数据概念, 还有现在的很多娱乐游戏, 在大数据的分析下可以轻松的出什么类型的游戏最有市场, 从而导致了很多相似游戏层出不穷。
上生活中的大数据应用其实很多很多, 不仅只在医疗和娱乐上有所涉足, 在交通、教育、金融经济、商业发展等领域都有很广泛的运用, 在不断地发展和实践中, 未来与大数据结合的产业必将越来越多。
(三) 大数据应用的未来发展趋势
大数据是一个国际化的概念, 中国在许多政策里都明确指出要配合和发展大数据, 走在世界大数据技术的前端, 是国家综合国力的表现, 所以在未来大数据的发展趋势大致有:1.越来越标准化, 不管是产业还是技术都是如此。2.与AI的结合, 这是未来科技发展的大势3.各区协同合作共同进步4.在建设和谐文明新城市中发挥作用5.在电商平台的进一步运用。
总而言之, 大数据在我国的发展一直是上升趋势, 国家的综合国力的增强为新技术的发展带来了更广阔的发展空间, 大数据与各种产业的结合成为常态, 大数据技术也在不断地创新加强, 为更好的服务于未来社会做准备, 这是大势所趋, 也是必然结果。
摘要：现如今科技发展势如破竹, 生活在互联网新时代中的我们, 身边无时无刻不围绕着大量的数据信息, 而呈这些数据信息的来源大都是经过大数据处理系统的筛选以及分析带来的。大数据是一个面向全社会的技术, 它的社会广泛性决定了它可以取代传统模式成为一个新时代, 尽管对于大数据时代的到来大众的态度褒贬不一, 但是不可否认的是它的专业性和优势性, 这是未来数据时代发展大势所在。
关键词：大数据时代,数据处理,技术,大数据应用
参考文献
[1] 胡俊, 胡贤德, 程家兴.计算机系统应用[M].2015, (5) :214-218.
[2] 李贞强, 陈康, 武永卫, 郑纬民.大数据处理模式——系统结构, 方法以及发展趋势[J].小型微型计算机系统, 2015, 36 (04) :641-647.
[3] 陈纯.流式大数据实时处理技术、平台及应用[J].大数据, 2017, 3 (04) :1-8.