数据云存储方案范文

2023-03-23

数据云存储方案范文第1篇

目前云计算在企业内网、通信终端、科研网络等领都有应用。“云”中的资源可以无限扩展的,并且可以随时获取,随时扩展,按需使用,按使用付费。云计算的核心思想,是将大量用网络连接的计算资源统一管理和调度,构成一个计算资源池,向用户终端按需提供服务,提供资源的网络数据端被称为“云端”。

不少专家认为,基于云计算的人力资源管理无疑是未来的发展趋势。未来云计算的人才需求越来越多,当然,这也是根据公司的编制和公司未来的发展方向制定的。

“云计算”在不断改变着每个人的行为习惯。”借助云计算技术及移动互联技术,打造人力资源“智慧”服务平台,展示企业的人力资源管理智慧。

针对新的云存储人力资源管理系统,原有的人力资源管理模式存在一些弊端:僵化,责任体系和人力资源流程不完全协调。资料累计堆积过多后,难以寻找,难以批量处理。云计算的加入应用,管理布局、商业模式、应用格局都将全面升级,衍生出新的高效率的操作管理模式。北京百会纵横科技、南京灰姑娘等传统OA软件开发商,已于多讯科技合作,达成协议,在WOS云田操作系统搭建的云平台上租赁自己的产品,成功将传统办公软件提升为云OA服务,提高企业产品效益。云OA以其超强的计算机能力、存储能力、有效节约成本、便捷服务等独有的优势,深深吸引着中小企业。

数据云存储方案范文第2篇

一、大数据技术的简介

在正常的教育中, 最常见的就是对数据的处理, 而对数据的处理快慢决定着教育的水平和效率。在现在这个信息化的社会中, 数据的爆炸式增长导致对数据的处理速度上变得缓慢, 在这种情况下, 大数据的实行就是必要的。大数据是对繁琐的数据进行专业化, 精确化处理的一门技术, 大数据可以有效地提高效率, 可以对数据进行分析, 提高了教育水平[1]。近年来, 人民生活水平的提高, 人们不再跟以前一样接受很少的数据, 随着智能手机, 电脑的大量普及, 现在我们生活中的大多数人都在接受着大数据, 大数据的使用可以提高人们的生活水平, 和办事效率。大数据的优势在于: (1) 处理速度快, 远远领先于普通的处理方式。 (2) 处理的数据类型多且可以处理很多繁琐的数据, 这点是普通的处理方式不能比的。 (3) 处理数据的专业性, 这点是最为重要的, 很多人可能会认为大数据的处理方式对数据的处理上是否精确, 是否正确, 对这种智能化的东西人们总是出现怀疑的心态, 这点完全可以放心, 大数据的处理最后的结果非常的专业, 只要准确的进行操作, 就可以有所收获。

二、云计算的简介

云计算是一种对数据进行整合, 发放的一种模式。云计算可以将处理完的数据进行资源化的处理, 通过网络的形式提供给大家, 让大家进行使用。云计算就相当于一个资源共享池, 里面有着很多种类型的资源供人们使用, 通过使用云计算, 可以将众多繁琐的数据进行资源化, 简单化, 更容易让人们去了解, 学习。更适应于现代人的选择方式[2]。现在的社会跟之前已经不一样了, 在信息化的时代中, 人们现在越来越能接受的事情大多都是通过网络来获取一些资料, 信息, 而不是通过手工去获得, 这也是现代科技的好处, 顺应于这种趋势, 云计算这种模式的流行是时代的必然选择, 这种模式更适合于现代人的生活, 所以会被更多的人所认识并且被推广实行, 实行云计算是必然的。

三、智慧校园

在2010年, 由浙江大学提出了建设智慧校园的概念, 用于让学生学习, 丰富学习生活, 丰富校园文化。在信息化, 数据爆炸的时代中, 在教学方式的改变中就出现了智慧校园这一产物, 基本上, 很多高校、大学中都有智慧空间这一工程。“智慧校园”这一理念是在“智慧地球”这一理念上演变而来的。首先是智慧地球这一理念被各国所接受之后, 在之后提出的智慧校园这一理念也渐渐的被人们所认知, 被很多的大学、高校所赞同, 也被很多高校所执行这一工程, 建设了智慧空间这一工程, 给了学生更多的学习的空间, 这种教学的方式更适应于现代学生的生活, 现代的学生更喜欢的是科技化的生活, 信息化的教学方式, 智慧空间更是将大数据, 云计算都融合在内的一中方式, 里面含有着学校的大概、教学的数据、科技、教学方式、管理方法。可以供学生进行学习参考, 想要成为一个高校就必须拥有一个属于自己学校的一个网络基础设施, 要有一个信息化、数据化的网络平台供学生使用, 现在的社会就是网络化、信息化, 智慧空间恰恰就是符合了这一趋势, 是网络与信息的教育体现。

四、怎样构建智慧校园

建设智慧校园是一个特殊的工程, 这其中有着很多复杂的过程, 首先学生应该有着创新能力, 对创新有着兴趣, 这样才有构建智慧校园的必要性, 如果构建了智慧校园, 学生不去实行, 去体验。那这个方式根本毫无意义, 学生就是学校的根本, 学校的构成就是学生占大多数, 如果学生都不参与进来, 那这项工程将毫无意义。其次, 建设智慧空间、智慧校园需要强大的资源能力, 需要学校的支持, 没有学校的支持, 也是不可能实施这一工程, 这点基本上大多数的学校都可以赞成建设智慧校园, 因为智慧校园的建设对学校的发展有着很大的帮助。智慧校园有着很多的特点:第一, 智慧校园的建设成功后会给学生, 老师提供一个良好的学习环境, 让学生, 老师学习起来更加的舒适方便, 而且在里面学习起来更加的简便、轻松。更加适应现代的节奏生活。第二, 建设智慧校园之后, 可以将学校与网络联系在一起, 让学校变得网络化, 现代化, 让学校当中融入科技, 让学校跟上时代进步的脚步。第三, 构建了智慧校园就想当与构建了一个网络平台, 有了这种网络平台, 可以通过网络与外校进行交流, 与外部进行联系, 相当于为学校的发展又提供了一种方式, 又提供了一个出口。通过智慧校园, 就会解决很多以前很难去解决的或者很复杂的事情, 通过一部手机就可以进行很多对数据的处理, 就可以将复杂的事情变得简单化, 节省更多的时间, 提高资源利用率, 智慧校园是现代科技发展的一个重要产物, 它的出现将会给学校, 学生, 老师, 家长带了很多的变化, 他可以改变学校的教育现状, 可以改变学生的学习兴趣, 可以改变老师的教学方式, 也可以拉近家长与学校之间的距离, 让学校与学生跟老师之间形成关联, 让老师跟学生之间的关系更加的亲近, 这样一来就可以增加学生的学习兴趣, 也可以形成对学生的监督, 让学习的效率更加高。

综上所述, 随着现代社会的不断进步, 信息爆炸的时代到来, 普通的对数据的处理方法已经跟不上时代的进步, 在这种形势下, 大数据的到来就是必然的了, 智慧校园就是应用大数据、云计算、物联网为一体的一种模式, 在这种形势下, 建设智慧校园这一理念是高校所必须做的事情。

摘要:随着社会的不断进步, 科学技术的不断发展, 信息技术的飞速发展, 信息化的时代也马上到来, 在这种情形下, 建设智慧空间, 智慧校园和云计算应用的教育方式就成了很重要的事情, 在大数据的时代下, 建设智慧校园很有必要性。

关键词:智慧校园,大数据,云计算

参考文献

[1] 吉涵宇, 席涛.大数据时代智慧校园的信息可视化设计应用研究[J].包装工程, 2017 (14) :95-100.

数据云存储方案范文第3篇

云计算, 是信息化智能化时代发展的一种产物, 它是一种将按需、易扩展等要求获取服务的理想付诸于现实的在线网络服务交付和使用模式。云计算也是一种广义上的分布式计算形式, 是网络上的服务以及提供这种服务的数据中心的软硬件集合。应用云计算的目的就是要提高各行业各领域的计算服务效率, 并保证数据存储中心的安全性与可靠性。所以说, 加密保密及存储安全是云计算领域永远不可忽视的一个重要方面, 也是永恒话题之一。为了给隐私数据提供足够的保密性, 目前常见的方法是由用户按照自己的实际需求对数据进行加密, 把加密后的信息存储在服务端, 即所说的云端。

大规模安全高性能存储系统, 是像电网公司这样的国家重点企业的必要需求。在电网公司应用云存储的时候, 将其主要应用在安全认证服务、数据加密存储、安全管理、安全记录和审计等方面。访问控制服务目的是实现严格的安全管理, 访问时必须先进行身份认证, 那些非授权者禁止越权登录内部系统。加密存储功能是指对特定的一些信息文件等资料进行加密后保存, 实现敏感数据存储和传输过程的完全机密性。授权者还可以利用云存储在关键的必要时候, 对账户进行注销、权限收回等操作。安全日志和审计是用来记录系统运行过程中的主要活动事件, 并为公司的审计提供关键的辅助信息, 使整个生产作业活动在严格的监控之下进行。

二、信息平台中云保密加密及存储技术的研究现状

云计算的概念, 最早是由谷歌公司在2006年提出来的。一般认为, 云计算是一种分布式并行计算系统。而后来的云存储, 是云计算概念的延申和发展, 主要是指为用户提供数据存储服务的一种方式。现阶段一些比较成熟的云存储系统有:亚马逊公司的简单存储服务, IBM的“企业级智能云存储”、微软公司提出的WindowsLiveSkydrive以及惠普公司推出的“融合基础构架”云存储等。放眼国内, 云存储技术的应用显得就不是那么的成熟和广泛, 这是因为在国内云存储技术起步较晚, 虽然发展比较迅速, 但与国外相比仍然是大巫见小巫。国内比较著名的云存储产品有百度云、华为DBank、360云盘等。为了用户能够实现存储数据共享, 一些研究利用重加密技术将用户的密文转化为不可编码、只有用户自身才能解密的密文, 这大大加强了隐私数据信息的安全性。

三、信息平台中云保密加密及存储技术的应用及存在的问题

近年来, 各行业各领域以软件就是服务, 平台就是服务和设施就是服务为构思的云技术不断推动着智能化网络化的进程。像电网公司这样的大型国企应用云技术建立信息平台的核心价值是利用云计算所提供的低成本、超强运算、海量存储数据的特点为生产活动提供极大的便利。但是, 我国云技术才刚刚起步, 它的各种安全问题或潜在风险也慢慢暴露出来, 电网公司本身又不能自己控制所有的, 系统的安全性也单靠云系统难以确保, 诸多问题确实需要引起足够的重视。其主要存在的问题或潜在风险因素如下:第一, 信息共享平台建设滞后。有的人可能会说这并不是什么风险因素, 信息共享平台建设的落后可能是科学技术的水平发展程度不够, 随着社会发展科技进步, 这一滞后问题一定能够解决的。那么这种想法是完全错误的, 建设信息平台的目的就在于加快公司内部信息处理与传播速度, 要达到这一目的的首要任务就是要建立合理完善的信息资源共享平台, 只有通过资源共享平台, 才能快速发展企业信息化建设。然而就目前情况来看, 在电网公司的信息平台建设过程中, 并没有一个合理完善的可以被广泛应用的信息共享平台, 加之有关部门机构对信息化产品的宣传推广力度不够, 资源共享平台的建设严重滞后, 这会大大延缓企业信息化速度, 不利于企业稳定快速发展。第二, 在信息的传输过程中存在安全危机。大数据智能化时代的企业信息量很庞大, 这些信息量中不乏包含了大量的属于企业内部的商业机密信息, 在这个很长的数据链传输数据的过程中, 大量信息极易成为别有用心的人们的攻击对象, 从国家和企业自身的角度来讲, 由于缺乏相关的法律法规和严格的保护管控措施, 那些别有用心者只要成功窃取以此企业信息, 就足够为不法分子带来大量的有利资源同时对企业造成巨大的损失甚至是致命的打击。对于不法分子来说, 这些“付出大于回报”的窃取信息之事, 有足够的吸引力。但对于企业自身来说, 这就是保密加密存储工作中存在的巨大安全风险。第三, 相关的法律法规不够完善。虽然国家在关于信息网络化管理出台了一系列信息安全法律法规, 但这些仍然不是很完善, 在未制定出台一套完善的管理条列之前, 一旦企业关键信息遇到窃取、篡改、泄露、丢失时, 难以找到一个相对应的法律法规为自身求得法律保护。

四、结语

总而言之, 大数据智能化时代的发展, 应用云技术进行企业加密保密和存储信息是必然趋势, 这不仅为众多企业带来了机遇, 同时也带来了更大的挑战。谁在新时代紧跟潮流谁就占领了优先发展的高地。这样一个时代, 对于企业信息化的发展起到了很大的促进作用, 为企业会计信息化提供了可靠的共享资源平台, 为企业的保密加密及存储信息工作带来了新的思路和方法。在企业在高速发展的同时, 也应该时刻保持忧患意识。明确信息化发展中的思路, 找准应对问题的策略, 对企业的更好更快发展具有很重要的意义。

摘要:随着国民经济的飞速发展, 对电量的需求日益增大, 导致近年来电网公司业务量大大增多。电力设备的安全、稳定、经济运行对国家和社会经济发展的影响越来越大。随着社会的不断进步与发展, 电力系统信息平台在处理和存储海量信息数据方面的能力越发显得不足。云存储是云计算技术的一种重要应用方式, 凭借着其大规模、成本低、可靠性及可扩展性等诸多优良特点, 在满足用户对海量数据存储的需求的进程中发挥着越来越重要的作用。本文对电网公司信息平台中基于云存储的保密加密及存储技术加以研究, 这种技术能够在提高电网公司信息访问灵活度的同时也保证存储信息的安全性, 能够有效提高加密算法的稳定性和安全性, 降低电网公司在网络系统方面的开支, 为电网公司的安全稳定运用提供保障。

关键词:信息平台,云存储,保密加密

参考文献

[1] 冯登国, 张敏, 张妍, 等.云计算安全研究[J].软件学报, 2011, 22 (1) :71-83.

[2] 张建勋, 古志民, 郑超.云计算研究进展综述[J].计算机应用研究, 2010, 27 (2) :429-433.

数据云存储方案范文第4篇

2、云存储在水产健康养殖中的应用

3、基于XML与中间件技术的GIS空间数据存取

4、规避五大数据安全风险

5、基于数据挖掘的零售业客户关系管理

6、甲骨文深耕 中国信息化之路

7、浅谈企业信息系统的数据备份和恢复

8、云计算环境下的数据存储技术分析

9、数据存储:光存储是行业趋势

10、多层次级别确保数据的高可靠性

11、基于区块链的身份认证系统设计与实现

12、企业数据库备份和灾难性数据恢复方法探究

13、云计算技术下的网络安全数据存储系统设计

14、云计算的数据挖掘应用分析

15、存储备份与恢复——为企业数据“保险”

16、存储提升证券业战略优势

17、零售业商业智能体系的构建与实施

18、云计算环境下的分布存储关键技术

19、基于主数据分发管理企业数据集成资源管理平台的设计与实现

20、计算机云计算的数据存储技术

21、数据存储准备好迎接人工智能了吗?

22、云储存系统结构模型及安全策略

23、希捷2021 Datasphere:携手生态伙伴激活数据深价值

24、云计算环境下高校网络教学资源数据存储的探讨

25、可插式数据存储引擎:MySQL走向企业级的保障

26、政府数据中心的信息共享之道

27、基于SLA的网格计算资源分配框架

28、企业数据保护的知识产权路径及其突破

29、基于云计算的数据存储技术探索

30、企业数据保护和存储安全解决方案

31、新基建背景下的大数据中心行业洞察

32、10大安全建议确保信息安全无虞

33、浅析网络存储与备份技术在企业的应用

34、十大措施保障中小企业数据安全

35、突围“云”上 聚焦云数据安全

36、基于可信第三方平台的RSA一次一密数据安全方案

37、基于混合数据库的多源社会治理数据的分布式存储与融合

38、云计算的移动通信4G网络的优化分析

39、新常态下分省物流产业空间集聚变革

40、虚拟存储备份需求随云化而增涨

41、个人数据保护问题与对策

42、数据标准化与企业信息化安全

43、基于PKI技术的企业级云存储出错数据证明的研究

44、企业数据质量问题及其对策

45、企业数据仓库帮助制造型企业提升管理水平

46、用VC实现PHD的历史数据存储

47、基于Hadoop技术的邮政金融历史数据集中管理平台

48、区块链技术在教育领域的应用现状与展望

49、云计算背景下的云数据存储技术分析

数据云存储方案范文第5篇

〔摘要〕文章首先阐述了大数据的特征与内涵,指出了大数据在图书馆工作中的重要性及两者之间的关系,分析了大数据所带来的数据管理、数据存储、数据挖掘等方面的挑战。然后研究了图书馆应从数据管理、数据技术及数据队伍建设上所采取的策略。最后探讨了大数据驱动下的图书馆服务新模式,如基于数据整合的一站式资源服务,基于数据处理的学科知识服务、信息可视化服务及基于数据挖掘的个性化智慧服务。

〔关键词〕大数据;数据处理;数据挖掘;数据服务;图书馆

DOI:10.3969/j.issn.1008-0821.2013.05.003

随着社会高速的发展,泛互联网的进程加快,数据量的增加已经到达了前所未有的速度。Facebook每天生成300TB(注:1024GB=1TB;1024TB=1PB;1024PB=1EB;1024 EB=1ZB)以上的日志数据,Google公司每个月处理的数据量超过400PB,百度每天约处理几十PB数据,淘宝网每天交易能产生约20TB数据[1]。根据国际数据公司IDC 2011年发布的Digital Universe Study,全球信息总量每过2年,就会增长1倍。仅在2011年,全球被创建和被复制的数据总量为18ZB,且每年以60%增加,2020年全球每年产生的数字信息将达到35ZB[2]。数据的爆炸式增长超出人们的想象,“大数据”(Big Data)时代已经来临。大数据是继云计算、物联网以后,信息科技等行业又一次大的技术变革。

最早提出“大数据”概念是麦肯锡公司(Mckinsey and Company)。2011年5月,麦肯锡公司在大数据的报告中指出[3]:数据已经渗透到每一个行业和业务职能领域,逐渐成为重要的生产因素。其后,大数据迅速成为政府及信息科技等行业关注的热点。2012年3月,美国政府启动“大数据研究和发展计划”,将“大数据研究”上升为国家战略高度[4];一些著名企业如IBM、EMC、Microsoft开始对大数据进行研究。大数据最典型的应用是在沃尔玛公司利用大数据技术创造的“啤酒与尿布”的经典商业案例[5]。互联网企业Google及Facebook之所以取得令人瞩目的成绩,其核心的本质就是其公司记录和分析了用户网络操作的大数据,从而精确掌握用户行为、形成预判。图书馆是信息搜集、存储和进行知识服务的机构。在大数据时代下,如何进行数据管理;如何以“大数据”为基础,帮助用户从海量的数据中快捷发现与获取信息资源;如何挖掘用户行为特征,实现个性化、定制化的智慧服务等等都是图书馆面临的新的挑战与机遇。本文对此进行了深入的分析与研究,主要阐述了大数据带给图书馆的影响与挑战,分析了大数据对图书馆的重要性,重点探讨了图书馆的大数据建设若干策略及图书馆的大数据服务模式。

1大数据的特征与内涵

什么是大数据?目前,还没有一个统一的定义,简单一点可以理解为超出传统数据管理工具处理能力的大规模、复杂的数据集合。IBM公司认为大数据具有“3V”特点,即种类(Variety)多、速度(Velocity),快、容量(Volume)大[6]。但以IDC为代表的业界将其归纳为具有“4V”特征——海量(Volume)、多样性(Variety)、高速(Velocity)和易变性(Variability)。不管是“3V”,还是“4V”,其内涵包含了以下这些特性。第一,数据体量巨大。“大”是指数据规模,一般指在10TB规模以上的数据量。一部《史记》,共526 500字,约1MB数据,一组用于基因研究的染色体照片数据量超过2TB。第二,数据类型繁多。这种类型的多样性也让数据被分为结构化数据和非结构化数据。互联网的迅猛发展,现在的数据类型早已不是单一的文本形式,还包含了大量的网络日志、微博、视频、图片、邮件等大量的半结构化与非结构化数据。第三,价值密度低。价值密度的高低与数据总量的大小成反比。大数据中有很多垃圾,有很多不相关的信息,只有一些有用的信息隐藏在大数据信息里面。以视频为例,一部一小时的视频监控过程中,可能有用的数据仅仅只有一两秒。第四,处理速度快。大数据里面很多是实时数据,像微博、社会网络、SNS这些,要求它进行立竿见影的分析和处理,而不是事后追诉。

随着信息化建设的发展,图书馆除了本身包含的大量数字资源外,日益增长的电子资源,高速网络及移动图书馆的普及,云计算、RFID、语义网、社交网络等新技术的发展提供了广泛的数据来源,图书馆正在迎接大数据时代的到来。

21各种电子资源(电子书刊,多媒体资源等)的积累,给图书馆提供了海量数据信息技术的发展极大地促进了图书馆数字资源的生产,形成了包括电子图书、电子期刊、数据库、音视频资源、网络资源在内的海量数字资源,电子资源种类和数量正在超越纸本资源。据调查,全球新产出的信息量每3年翻一番,大约90%的信息都是以数据形式储存。截至2011年底,中文网页数量达866亿个,年增长率达443%。文献的出版方式发生巨大的变化,数字出版日益普及,截至2010年底,中国电子书总量已达115万种,年新增18万种。单独出版的数字报已达700份以上,电子期刊已近万种。2010年底,清华图书馆机房有110台服务器,集中存储170TB,国家图书馆资源总量达到470TB。这些资源分布在不同的系统中,形态不同,组织方式各异,既包括传统文献的数字化,也包括各种类型的原生数字资源,还包括其它虚拟馆藏等各种多媒体资源。各种电子资源的积累,给图书馆提供了海量数据。

22智能手机、高速网络及移动图书馆的普及, 使数据量呈现指数上升的趋势信息技术、网络技术迅猛发展,手机上网、数字电视等跨网络等业务发展迅速。截至2011年底,我国网民人数达513亿,互联网普及率达383%,手机用户已突破9亿人,其中手机上网达356亿,数字电视用户超过1 000万户,以上为数字图书馆提供了基于多网络平台的信息传输途径和服务渠道。近几年,移动设备如雨后春笋,智能手机、平板电脑为学习者提供了新的学习途径,并以其它设备无法比拟的优势提高学习体验并与人产生更多的交互,使得数据快速增加。自2003年以来,移动图书馆越来越普及,移动阅读,移动搜索等服务类型也不断增加。未来3年内,移动设备所产生的数据量呈现翻倍的趋势。

23云计算、RFID、语义网、社交网络等新技术的发展,为大数据提供了广泛的数据来源云计算的到来,突破了传统图书馆发展局限,超强的数据处理能力,信息资源的整合,动态资源分配,简化的IT结构,云计算为大数据的诞生创造了物质基础。利用RFID技术,可实现图书自动借还,智能盘点,自动分拣,图书位置与信息的实时跟踪导航。以Facebook、Twitter/微博为代表的社会网络因为体现了开放、共享、参与、个性化、用户驱动等Web20特性而深入人心。语义网是人们经过研究,期待已久,能够使信息发生“革命”,从而上升到“知识”的技术。2009年,美国康奈尔大学和六家机构筹建一个Facebook风格的专业社交网络——VIVO网,其宗旨是建立一个连接开发数据的语义Web。科学家通过VIVO网可以看到网络中的研究人员正在进行的其它科学研究,便于快捷地找到同行并建立联系,致力于新的发现和创新。

由此可知,信息时代的发展使得图书馆具备大数据的特征。科学研究和科技创新越来越依赖于对数据的管理和利用,学科知识服务依赖于大数据的分析与挖掘。但是,要面临的数据非常复杂,图书馆将遇到很多挑战。

3大数据时代下图书馆的挑战与建设策略

大数据不仅挑战图书馆传统的IT架构与数据获取、数据存储、数据处理的模式,而且来自数据管理及数据应用、数据服务对图书馆的挑战将更为突出。但从潜在的机会看,数据量的增加为图书馆提供了精确把握用户群体和个体网络行为模式的基础,如果能够充分利用,就可以探索个性化,精确化和智能化地进行推送和服务,帮助用户从海量的信息中迅速找到所需要的信息,提升图书馆的数字知识服务水平,促进数字图书馆领域的发展。当前,图书馆的大数据挑战主要集中在以下3个方面:

问题一:传统的网络架构不适应“大数据”时代

传统的网络结构设计是以用户端向服务器发出请求,由服务器应答返回结果给客户的垂直结构。而在大数据时代,这种垂直结构的服务请求将变得越来越少,取而代之的是水平结构的横向请求服务。“大数据”时代,大量的数据都存储在分布广泛、不同地域、各种类型的服务器中。当用户发出一个搜索或查询请求时,最多的运算是服务器之间的信息交换,最后将结果返回给用户。传统的网络架构已经不能满足大数据时代网络应用需求。新一代网络架构要适应Web20时代的水平服务应用[7]。

问题二:数据中心将面临巨大压力

传统的数据仓库是通过ETL工具将数字资源中的数据抽取到数据仓库进行集中存储和管理,然后组织数据进一步从数据仓库中读取及访问数据,并进行数据分析。但在大数据时代,图书馆数据库里的内容不仅仅是多,而且结构已发生了极大改变,不是以二维表的规范结构存储。大量的数据是非结构化的办公文档、文本、图片、XML、HTML、各类报表、图片和音频/视频等,面临如此大量的非结构化数据,其移动和修改将耗费大量的人力物力,数据移动代价太高,读取效率也将越来越低。更多的网络设备将同时访问数据中心,传统数据中心难以适应快速变化,面临巨大压力[7]。

问题三:如何快速找到自已的资源,如何获取、管理和分析这些用户信息行为数据并加以利用及服务。

在大数据时代,用户面对众多图书馆的数据资源,深受大数据所带来的困扰,很难方便、快捷、准确地检索到所需数据资料。2011年麦肯锡公司在报告中指出全球新的数据不断增长,但是却有875%的数据,并没有形成真正的知识源以供研究人员利用[3]。

大数据时代,图书馆面临大数据管理、技术和应用等方面存在的问题和挑战,对这些问题的思考,未来图书馆,是以数据为纽带,其形态将从物理图书馆逐渐转变为“数据图书馆”及“智慧图书馆”。由此,图书馆应采取以下应对策略:

31管理层次上:成立数据管理部门与机构,制定数据管理政策、统一的标准及共享平台大数据建设是一项有序的、动态的、可持续发展的系统工程,必须建立良好的运行机制,以促进建设过程中各个环节的正规有序,实现统合,搞好顶层设计。为此,图书馆应成立新的数据管理部门,负责数据管理,建立统一的数据获取、使用、管理、分享的政策,加强校内,外各部门的数据协调工作。如在美国高校中,现在有些学校如MIT、弗吉尼亚大学及康奈尔大学图书馆成立了专门的“研究数据管理服务工作组(RDMSG)”,负责有关数据管理中所涉及的问题:如元数据标准、数据存储、数据共享和重用、数据管理计划、处理数据版权和合理使用数据问题、举办知识产权、开放数据、开放科研等主题的培训和讲座、研究数据知识库的评估、管理、推介、导航服务等[8]。

32技术层次上:构建图书馆大数据架构,研究解决大数据采集、存储,处理及分析相关技术问题大数据技术是指从各种各样类型的巨量数据中,快速获得有价值信息的技术。解决大数据问题的核心是大数据技术。迎战大数据,进行技术前倾是关键。要把大数据作为一系统工程来考虑,从数据采集,数据存储到数据处理,数据分析及数据应用等方面考虑,构成图书馆大数据架构图,见图1。

在大数据技术中,从图书馆系统角度,主要解决下面几方面的关键技术:

321大数据的统一表示及融合

图书馆大数据中包括越来越多不同格式的数据,从电子资源,到简单的电子邮件、数据日志和阅读记录,社交网络,再到实验等科研中收集到的科学研究数据以及丰富的媒体数据(包括课件,照片、音乐、视频资源等),这些不同格式的数据也需要不同的处理方法,给我们处理数据带来了一定麻烦。从某种意义上来说,目前表示数据的方法,不一定能直观地展现出数据本身的意义。数据不整合就发挥不出大数据的重大价值。大数据面临的一个基本问题是各种数据和信息能否规范、统一的表示及方便地融合,构建文献与数字资源体系。因此,要研究通过对海量的,来自异构资源的数据和各种对象数据进行抽取、映射、收割、导入等手段进行预收集,归并映射到一个标准表达式,进行预聚合及融合,形成格式统一,内容丰富、结构清晰的数据,灵活构建各种分类和界面,按照知识本体进行组织和揭示,进而保障强大高效的检索能力和良好的结果相关度排序。

322解决大数据量存储的问题

在大数据的挑战问题中,大数据的第一个关键技术问题:就是对大数据的高效率存储和访问需求,对数据库高可扩展性和高可用性的需求,随着数据库技术以及云计算技术的迅猛发展,大规模数据存储要借助非关系型的数据库分析技术——NoSQL、MapReduce和Hadoop。它们的优势具有大规模并行处理、简单易用等特点,非常适合非结构数据处理,也成为大数据分析领域的主流技术。大数据存储也可采用基于云计算的分布式存储技术,利用分布式的数据云存储技术和与之相关的虚拟技术使得整合后的图书馆海量数据更加统一有序,能够方便快捷地通过网络,根据需求访问计算与存储等服务。

323解决非结构化数据的分析和挖掘的问题

大数据中包含数据信息量大且复杂多样,因此数据分析和挖掘工作具有重要作用。传统的数据挖掘对关系型数据,非结构化的、半结构化的数据显得力不从心。对于图书馆大数据中,待处理的非结构化数据与读者兴趣密切相关,通过分析读者显性行为和挖掘隐性行为,为读者提供个性化服务。目前使用的推荐方法是基于内容的推荐方法和协同过滤的推荐方法。协同过滤算法是目前最为成功的算法,但依然存在读者兴趣变化、数据稀疏性、读者评分的真实性及差异性等问题,根据读者信息数据构建个性化读者行为模型,结合基于读者行为的协同过滤算法,挖掘模型中存在的规则,从而产生个性化服务值得研究。

33队伍建设上:培养一支高素质的数据管理的馆员队伍大数据环境下,图书馆传统的管理模式、工作内容、工作方式发生了本质的变化。而目前不断增长的数据共享和数据管理需求为图书馆服务开辟了新的领域,图书馆需要抓住这个机遇,尽快开展数据管理服务,拓展支持研究的服务内容和能力,使图书馆员成为数据管理服务的提供者。美国国家科学委员会(NSB)提出的以数据获取、处理、保存、分析、利用和可视化为职业的\"数据科学家(Data Scientist)中,其中含信息与计算机科学家,学科专家、数据处理员及图书馆员等。美国研究图书馆协会也已提出,研究数据管理将成为下一代图书馆员的能力之一[9-10]。因此必须培养和造就一支懂技术、懂管理的大数据建设专业队伍。当前的任务是如何在现有基础上,拓宽馆员知识面,增强业务能力,培养出能满足图书馆数据服务需求的高素质的“数据馆员”,并使之成为学科信息资源的组织者、传播者、导航者、教育者,促进图书馆事业更好的发展。

4基于大数据的图书馆的服务模式研究

大数据时代下的图书馆将从“物理图书馆”转变为“数据图书馆”。图书馆服务不管是服务的方式、途径、模式等也都将发生改变。从服务的理念上转变为基于数据的服务。以“大数据”为基础,围绕从数据汇聚到信息加工,知识服务,智慧服务的四个层次展开服务,见图2。下面具体对数据驱动下的图书馆的服务模式进行分析研究。

41基于数据整合的一站式资源服务

大数据时代下,数据资源是海量的,理论上一个图书馆可以收集所有的数据资源,如各类文献资源,科研成果,学术交流,甚至包括各种访问,社交等日志信息等各种网络资源等。但是,这些数据来源于不同的机构知识库或读者个人,图书馆可以充分利用机构优势有组织地通过对各类数据源的定位和连接,实现数据的采集、传输和汇聚。鼓励读者开放存取各种数字资源,使用户不仅是资源的接受者和学习者,而且是资源的的发布者和贡献者[11]。由于数据资源具有数量巨大、类型多样、变化快、无序等特点,因此很有必要建立数据的统一标准,迎合对于飞速增长的异构系统进行有效整合的需求。提供资源之间的无缝链接,提供各种数据管理服务,包括存储备份、元数据加工、数据发布,数据共享等。在数据的洪流中,异构、分布和海量的各种数据资源得以汇聚及融合,形成中心知识库,通过预索引的方式,为用户提供快速,简单,易用的资源发现及获取服务,建立一站式数据资源服务平台[8]。

42基于数据分析的学科知识服务

图书馆作为知识服务平台,通过对汇集数据的加工整理,数据建模,提高数据的价值密度。探索以数据为基础的知识发现分析,通过基于数据的增值服务,面向用户、满足用户的学科知识需求,开展知识服务。如以学科为基础,将不同学科用户的检索浏览下载的信息行为数据进行分类;分析用户检索浏览下载的文献(全文、摘要、关键词)特征,加入时间纬度,归纳出某个学科某一时期的用户感兴趣的主题;利用数据挖掘、数据检验、相关性分析、回归分析、聚类分析、社会网络分析等进行学科热点预测和交叉学科分析研究。构建基于图书馆流通日志的图书借阅数据仓库维度模型,构建基于OPAC日志点击流数据仓库,基于大数据的关联关系分析,发现及展示学者、合作者、期刊、会议、文章之间的知识网络;基于大数据的学科趋势分析,通过对大数据的有序处理来提升图书馆服务的品质。

43基于数据应用的信息可视化服务

大数据中包含大量重要信息,人们期待进行深层次分析,以便更好的从数据中发现知识。信息可视化作为一种关键服务理念与技术手段,在处理复杂异构的图书馆大数据方面有很大的优势,能为用户提供了一个方便易用的知识环境。如从检索过程、检索结果以及结果之间关系的角度实现主题可视化,到数据库分布可视化、时间分布可视化和作者合著关系可视化。也可将信息可视化技术与科学计量学方法等相结合,生成具有各种属性的科学地图,表达学科、领域、专业、文献、著者之间的关系,解释知识领域的结构、映射知识领域的发展趋势,促进信息获取、使知识结构更加明显,将数据集中看不见的抽象数据和数据之间的语义关系以一种可视化的方式呈现在用户场景中。让用户充分发掘信息资源中潜在的价值资源,帮助用户更好地组织、分析与利用信息。信息可视化作为将信息有效组织、分析、揭示的一种新技术,为大数据提供了一种新的服务模式。

44基于数据挖掘的智慧服务

随着读者对知识需求的转变,知识服务正在朝个性化,智慧化的方向发展。个性化服务是基于读者对信息使用行为习惯及对信息的特定需求,是一种在分析预测用户个体信息需求基础上向用户主动提供其可能需求但又无法获取的信息资源的服务方式,是解决海量信息困惑问题的重要方法。智慧服务是知识服务的升华。智慧服务则是建在知识服务基础上的的创造性服务模式,是图书馆知识服务的核心。图书馆大数据存在大量的用户信息行为产生的数据,如用户查询书目产生的OPAC日志,用户借还书产生的流通日志数据,用户检索浏览下载电子资源产生的日志数据,用户访问产生的流量数据及各种社交网络等。这些数据中除了用于记录读者的个人信息外,还隐藏着许多重要的信息,因此可通过对这些数据进行挖掘分析,知识发现、智能代理等技术,描述用户的行为,准确定位读者需求,向读者提供主动式推送服务,满足其个性化的智能服务。

5结语

数字信息的爆炸式增长催生出“大数据”概念,正席卷整个IT相关行业,大数据已经渐渐的渗入到了图书情报工作中,挑战与机遇同在。展望未来,大数据服务技术等热点将不断涌现,将对图书馆知识服务的拓展和深化带来重大影响,未来的工作将是“数据驱动”的图书情报工作。本文重点探讨了在大数据时代下图书馆的建设策略及基于大数据的一站式服务,学科知识及个性化智慧服务等服务模式。但是图书馆的大数据技术及服务是一项复杂的系统工程,涉及到数据管理的水平,数据处理的技术及数据服务的创新等等,均需要图书馆员的共同努力。

参考文献

[1]李国杰.大数据研究的科学价值[J].中国计算机学会通讯,2012,(9):8-15.

[2]海量数据爆发大数据时代来临的五个转变[EB/OL].http:∥labs.chinamobile.com/news/76217,2012-08-01.

[3]Big data:The next frontier for innovation,competition,and productivity[EB/OL].http∥www.mckinsey.com/Insights/MGI/Research/TechnologyandInnovation/BigdataThenextfrontierforinnovation,2011-05.

[4]Big Data is a Big Deal[EB/OL].http:∥www.whitehouse.gov/blog/2012/03/29/big-data-big-deal,2012-03-29.

[5]高勇.啤酒与尿布:神奇的购物篮分析[M].北京:清华大学出版社,2008.

[6]MapR and Informatica Combine to Conquer Volume,Variety and Velocity of Big Data[EB/OL].http:∥www.dbta.com/Articles/Editorial/News -Flashes/-MapR-and-Informatica-Join-Forces-to-Tackle-Volume-Variety-and-Velocity-of-Big-Data-81231.aspx,2012-07-21.

[7]王珊,王会举,覃雄派,等.架构大数据:挑战、现状与展望[J].计算机学报,2011,(10):1741-1752.

[8]马建玲,祝忠明,王楠,等.美国高校图书馆参与研究数据管理服务研究[J].图书情报工作,2012,(21):77-82.

[9]Geoffrey Little.MANAGING TECHNOLOGY·Managing the Data Deluge[J].The Journal of Academic Librarianship,2012,(5):263-264.

[10]王学勤,Amy Stout,Howard Silver.建立数据驱动的e-Science图书馆服务:机遇和挑战[J].图书情报工作,2011,(13):80-83.

[11]张晓林,李麟,刘细文,等.开放获取学术信息资源:逼近“主流化”转折点[J].图书情报工作,2012,(9):42-47.

(本文责任编辑:马卓)

上一篇:电话机调查报告下一篇:云数据中心方案