数据中心存储方案范文第1篇
〔摘要〕文章首先阐述了大数据的特征与内涵，指出了大数据在图书馆工作中的重要性及两者之间的关系，分析了大数据所带来的数据管理、数据存储、数据挖掘等方面的挑战。然后研究了图书馆应从数据管理、数据技术及数据队伍建设上所采取的策略。最后探讨了大数据驱动下的图书馆服务新模式，如基于数据整合的一站式资源服务，基于数据处理的学科知识服务、信息可视化服务及基于数据挖掘的个性化智慧服务。
〔关键词〕大数据；数据处理；数据挖掘；数据服务；图书馆
DOI：10.3969/j.issn.1008-0821.2013.05.003
〔
随着社会高速的发展，泛互联网的进程加快，数据量的增加已经到达了前所未有的速度。Facebook每天生成300TB（注：1024GB=1TB；1024TB=1PB；1024PB=1EB；1024 EB=1ZB）以上的日志数据，Google公司每个月处理的数据量超过400PB，百度每天约处理几十PB数据，淘宝网每天交易能产生约20TB数据[1]。根据国际数据公司IDC 2011年发布的Digital Universe Study，全球信息总量每过2年，就会增长1倍。仅在2011年，全球被创建和被复制的数据总量为18ZB，且每年以60%增加，2020年全球每年产生的数字信息将达到35ZB[2]。数据的爆炸式增长超出人们的想象，“大数据”（Big Data）时代已经来临。大数据是继云计算、物联网以后，信息科技等行业又一次大的技术变革。
最早提出“大数据”概念是麦肯锡公司（Mckinsey and Company）。2011年5月，麦肯锡公司在大数据的报告中指出[3]：数据已经渗透到每一个行业和业务职能领域，逐渐成为重要的生产因素。其后，大数据迅速成为政府及信息科技等行业关注的热点。2012年3月，美国政府启动“大数据研究和发展计划”，将“大数据研究”上升为国家战略高度[4]；一些著名企业如IBM、EMC、Microsoft开始对大数据进行研究。大数据最典型的应用是在沃尔玛公司利用大数据技术创造的“啤酒与尿布”的经典商业案例[5]。互联网企业Google及Facebook之所以取得令人瞩目的成绩，其核心的本质就是其公司记录和分析了用户网络操作的大数据，从而精确掌握用户行为、形成预判。图书馆是信息搜集、存储和进行知识服务的机构。在大数据时代下，如何进行数据管理；如何以“大数据”为基础，帮助用户从海量的数据中快捷发现与获取信息资源；如何挖掘用户行为特征，实现个性化、定制化的智慧服务等等都是图书馆面临的新的挑战与机遇。本文对此进行了深入的分析与研究，主要阐述了大数据带给图书馆的影响与挑战，分析了大数据对图书馆的重要性，重点探讨了图书馆的大数据建设若干策略及图书馆的大数据服务模式。
1大数据的特征与内涵
什么是大数据？目前，还没有一个统一的定义，简单一点可以理解为超出传统数据管理工具处理能力的大规模、复杂的数据集合。IBM公司认为大数据具有“3V”特点，即种类（Variety）多、速度（Velocity），快、容量（Volume）大[6]。但以IDC为代表的业界将其归纳为具有“4V”特征——海量（Volume）、多样性（Variety）、高速（Velocity）和易变性（Variability）。不管是“3V”，还是“4V”，其内涵包含了以下这些特性。第一，数据体量巨大。“大”是指数据规模，一般指在10TB规模以上的数据量。一部《史记》，共526 500字，约1MB数据，一组用于基因研究的染色体照片数据量超过2TB。第二，数据类型繁多。这种类型的多样性也让数据被分为结构化数据和非结构化数据。互联网的迅猛发展，现在的数据类型早已不是单一的文本形式，还包含了大量的网络日志、微博、视频、图片、邮件等大量的半结构化与非结构化数据。第三，价值密度低。价值密度的高低与数据总量的大小成反比。大数据中有很多垃圾，有很多不相关的信息，只有一些有用的信息隐藏在大数据信息里面。以视频为例，一部一小时的视频监控过程中，可能有用的数据仅仅只有一两秒。第四，处理速度快。大数据里面很多是实时数据，像微博、社会网络、SNS这些，要求它进行立竿见影的分析和处理，而不是事后追诉。
随着信息化建设的发展，图书馆除了本身包含的大量数字资源外，日益增长的电子资源，高速网络及移动图书馆的普及，云计算、RFID、语义网、社交网络等新技术的发展提供了广泛的数据来源，图书馆正在迎接大数据时代的到来。
21各种电子资源（电子书刊，多媒体资源等）的积累，给图书馆提供了海量数据信息技术的发展极大地促进了图书馆数字资源的生产，形成了包括电子图书、电子期刊、数据库、音视频资源、网络资源在内的海量数字资源，电子资源种类和数量正在超越纸本资源。据调查，全球新产出的信息量每3年翻一番，大约90%的信息都是以数据形式储存。截至2011年底，中文网页数量达866亿个，年增长率达443%。文献的出版方式发生巨大的变化，数字出版日益普及，截至2010年底，中国电子书总量已达115万种，年新增18万种。单独出版的数字报已达700份以上，电子期刊已近万种。2010年底，清华图书馆机房有110台服务器，集中存储170TB，国家图书馆资源总量达到470TB。这些资源分布在不同的系统中，形态不同，组织方式各异，既包括传统文献的数字化，也包括各种类型的原生数字资源，还包括其它虚拟馆藏等各种多媒体资源。各种电子资源的积累，给图书馆提供了海量数据。
22智能手机、高速网络及移动图书馆的普及， 使数据量呈现指数上升的趋势信息技术、网络技术迅猛发展，手机上网、数字电视等跨网络等业务发展迅速。截至2011年底，我国网民人数达513亿，互联网普及率达383%，手机用户已突破9亿人，其中手机上网达356亿，数字电视用户超过1 000万户，以上为数字图书馆提供了基于多网络平台的信息传输途径和服务渠道。近几年，移动设备如雨后春笋，智能手机、平板电脑为学习者提供了新的学习途径，并以其它设备无法比拟的优势提高学习体验并与人产生更多的交互，使得数据快速增加。自2003年以来，移动图书馆越来越普及，移动阅读，移动搜索等服务类型也不断增加。未来3年内，移动设备所产生的数据量呈现翻倍的趋势。
23云计算、RFID、语义网、社交网络等新技术的发展，为大数据提供了广泛的数据来源云计算的到来，突破了传统图书馆发展局限，超强的数据处理能力，信息资源的整合，动态资源分配，简化的IT结构，云计算为大数据的诞生创造了物质基础。利用RFID技术，可实现图书自动借还，智能盘点，自动分拣，图书位置与信息的实时跟踪导航。以Facebook、Twitter/微博为代表的社会网络因为体现了开放、共享、参与、个性化、用户驱动等Web20特性而深入人心。语义网是人们经过研究，期待已久，能够使信息发生“革命”，从而上升到“知识”的技术。2009年，美国康奈尔大学和六家机构筹建一个Facebook风格的专业社交网络——VIVO网，其宗旨是建立一个连接开发数据的语义Web。科学家通过VIVO网可以看到网络中的研究人员正在进行的其它科学研究，便于快捷地找到同行并建立联系，致力于新的发现和创新。
由此可知，信息时代的发展使得图书馆具备大数据的特征。科学研究和科技创新越来越依赖于对数据的管理和利用，学科知识服务依赖于大数据的分析与挖掘。但是，要面临的数据非常复杂，图书馆将遇到很多挑战。
3大数据时代下图书馆的挑战与建设策略
大数据不仅挑战图书馆传统的IT架构与数据获取、数据存储、数据处理的模式，而且来自数据管理及数据应用、数据服务对图书馆的挑战将更为突出。但从潜在的机会看，数据量的增加为图书馆提供了精确把握用户群体和个体网络行为模式的基础，如果能够充分利用，就可以探索个性化，精确化和智能化地进行推送和服务，帮助用户从海量的信息中迅速找到所需要的信息，提升图书馆的数字知识服务水平，促进数字图书馆领域的发展。当前，图书馆的大数据挑战主要集中在以下3个方面：
问题一：传统的网络架构不适应“大数据”时代
传统的网络结构设计是以用户端向服务器发出请求，由服务器应答返回结果给客户的垂直结构。而在大数据时代，这种垂直结构的服务请求将变得越来越少，取而代之的是水平结构的横向请求服务。“大数据”时代，大量的数据都存储在分布广泛、不同地域、各种类型的服务器中。当用户发出一个搜索或查询请求时，最多的运算是服务器之间的信息交换，最后将结果返回给用户。传统的网络架构已经不能满足大数据时代网络应用需求。新一代网络架构要适应Web20时代的水平服务应用[7]。
问题二：数据中心将面临巨大压力
传统的数据仓库是通过ETL工具将数字资源中的数据抽取到数据仓库进行集中存储和管理，然后组织数据进一步从数据仓库中读取及访问数据，并进行数据分析。但在大数据时代，图书馆数据库里的内容不仅仅是多，而且结构已发生了极大改变，不是以二维表的规范结构存储。大量的数据是非结构化的办公文档、文本、图片、XML、HTML、各类报表、图片和音频/视频等，面临如此大量的非结构化数据，其移动和修改将耗费大量的人力物力，数据移动代价太高，读取效率也将越来越低。更多的网络设备将同时访问数据中心，传统数据中心难以适应快速变化，面临巨大压力[7]。
问题三：如何快速找到自已的资源，如何获取、管理和分析这些用户信息行为数据并加以利用及服务。
在大数据时代，用户面对众多图书馆的数据资源，深受大数据所带来的困扰，很难方便、快捷、准确地检索到所需数据资料。2011年麦肯锡公司在报告中指出全球新的数据不断增长，但是却有875%的数据，并没有形成真正的知识源以供研究人员利用[3]。
大数据时代，图书馆面临大数据管理、技术和应用等方面存在的问题和挑战，对这些问题的思考，未来图书馆，是以数据为纽带，其形态将从物理图书馆逐渐转变为“数据图书馆”及“智慧图书馆”。由此，图书馆应采取以下应对策略：
31管理层次上：成立数据管理部门与机构，制定数据管理政策、统一的标准及共享平台大数据建设是一项有序的、动态的、可持续发展的系统工程，必须建立良好的运行机制，以促进建设过程中各个环节的正规有序，实现统合，搞好顶层设计。为此，图书馆应成立新的数据管理部门，负责数据管理，建立统一的数据获取、使用、管理、分享的政策，加强校内，外各部门的数据协调工作。如在美国高校中，现在有些学校如MIT、弗吉尼亚大学及康奈尔大学图书馆成立了专门的“研究数据管理服务工作组（RDMSG）”，负责有关数据管理中所涉及的问题：如元数据标准、数据存储、数据共享和重用、数据管理计划、处理数据版权和合理使用数据问题、举办知识产权、开放数据、开放科研等主题的培训和讲座、研究数据知识库的评估、管理、推介、导航服务等[8]。
32技术层次上：构建图书馆大数据架构，研究解决大数据采集、存储，处理及分析相关技术问题大数据技术是指从各种各样类型的巨量数据中，快速获得有价值信息的技术。解决大数据问题的核心是大数据技术。迎战大数据，进行技术前倾是关键。要把大数据作为一系统工程来考虑，从数据采集，数据存储到数据处理，数据分析及数据应用等方面考虑，构成图书馆大数据架构图，见图1。
在大数据技术中，从图书馆系统角度，主要解决下面几方面的关键技术：
321大数据的统一表示及融合
图书馆大数据中包括越来越多不同格式的数据，从电子资源，到简单的电子邮件、数据日志和阅读记录，社交网络，再到实验等科研中收集到的科学研究数据以及丰富的媒体数据（包括课件，照片、音乐、视频资源等），这些不同格式的数据也需要不同的处理方法，给我们处理数据带来了一定麻烦。从某种意义上来说，目前表示数据的方法，不一定能直观地展现出数据本身的意义。数据不整合就发挥不出大数据的重大价值。大数据面临的一个基本问题是各种数据和信息能否规范、统一的表示及方便地融合，构建文献与数字资源体系。因此，要研究通过对海量的，来自异构资源的数据和各种对象数据进行抽取、映射、收割、导入等手段进行预收集，归并映射到一个标准表达式，进行预聚合及融合，形成格式统一，内容丰富、结构清晰的数据，灵活构建各种分类和界面，按照知识本体进行组织和揭示，进而保障强大高效的检索能力和良好的结果相关度排序。
322解决大数据量存储的问题
在大数据的挑战问题中，大数据的第一个关键技术问题：就是对大数据的高效率存储和访问需求，对数据库高可扩展性和高可用性的需求，随着数据库技术以及云计算技术的迅猛发展，大规模数据存储要借助非关系型的数据库分析技术——NoSQL、MapReduce和Hadoop。它们的优势具有大规模并行处理、简单易用等特点，非常适合非结构数据处理，也成为大数据分析领域的主流技术。大数据存储也可采用基于云计算的分布式存储技术，利用分布式的数据云存储技术和与之相关的虚拟技术使得整合后的图书馆海量数据更加统一有序，能够方便快捷地通过网络，根据需求访问计算与存储等服务。
323解决非结构化数据的分析和挖掘的问题
大数据中包含数据信息量大且复杂多样，因此数据分析和挖掘工作具有重要作用。传统的数据挖掘对关系型数据，非结构化的、半结构化的数据显得力不从心。对于图书馆大数据中，待处理的非结构化数据与读者兴趣密切相关，通过分析读者显性行为和挖掘隐性行为，为读者提供个性化服务。目前使用的推荐方法是基于内容的推荐方法和协同过滤的推荐方法。协同过滤算法是目前最为成功的算法，但依然存在读者兴趣变化、数据稀疏性、读者评分的真实性及差异性等问题，根据读者信息数据构建个性化读者行为模型，结合基于读者行为的协同过滤算法，挖掘模型中存在的规则，从而产生个性化服务值得研究。
33队伍建设上：培养一支高素质的数据管理的馆员队伍大数据环境下，图书馆传统的管理模式、工作内容、工作方式发生了本质的变化。而目前不断增长的数据共享和数据管理需求为图书馆服务开辟了新的领域，图书馆需要抓住这个机遇，尽快开展数据管理服务，拓展支持研究的服务内容和能力，使图书馆员成为数据管理服务的提供者。美国国家科学委员会（NSB）提出的以数据获取、处理、保存、分析、利用和可视化为职业的\"数据科学家（Data Scientist）中，其中含信息与计算机科学家，学科专家、数据处理员及图书馆员等。美国研究图书馆协会也已提出，研究数据管理将成为下一代图书馆员的能力之一[9-10]。因此必须培养和造就一支懂技术、懂管理的大数据建设专业队伍。当前的任务是如何在现有基础上，拓宽馆员知识面，增强业务能力，培养出能满足图书馆数据服务需求的高素质的“数据馆员”，并使之成为学科信息资源的组织者、传播者、导航者、教育者，促进图书馆事业更好的发展。
4基于大数据的图书馆的服务模式研究
大数据时代下的图书馆将从“物理图书馆”转变为“数据图书馆”。图书馆服务不管是服务的方式、途径、模式等也都将发生改变。从服务的理念上转变为基于数据的服务。以“大数据”为基础，围绕从数据汇聚到信息加工，知识服务，智慧服务的四个层次展开服务，见图2。下面具体对数据驱动下的图书馆的服务模式进行分析研究。
41基于数据整合的一站式资源服务
大数据时代下，数据资源是海量的，理论上一个图书馆可以收集所有的数据资源，如各类文献资源，科研成果，学术交流，甚至包括各种访问，社交等日志信息等各种网络资源等。但是，这些数据来源于不同的机构知识库或读者个人，图书馆可以充分利用机构优势有组织地通过对各类数据源的定位和连接，实现数据的采集、传输和汇聚。鼓励读者开放存取各种数字资源，使用户不仅是资源的接受者和学习者，而且是资源的的发布者和贡献者[11]。由于数据资源具有数量巨大、类型多样、变化快、无序等特点，因此很有必要建立数据的统一标准，迎合对于飞速增长的异构系统进行有效整合的需求。提供资源之间的无缝链接，提供各种数据管理服务，包括存储备份、元数据加工、数据发布，数据共享等。在数据的洪流中，异构、分布和海量的各种数据资源得以汇聚及融合，形成中心知识库，通过预索引的方式，为用户提供快速，简单，易用的资源发现及获取服务，建立一站式数据资源服务平台[8]。
42基于数据分析的学科知识服务
图书馆作为知识服务平台，通过对汇集数据的加工整理，数据建模，提高数据的价值密度。探索以数据为基础的知识发现分析，通过基于数据的增值服务，面向用户、满足用户的学科知识需求，开展知识服务。如以学科为基础，将不同学科用户的检索浏览下载的信息行为数据进行分类；分析用户检索浏览下载的文献（全文、摘要、关键词）特征，加入时间纬度，归纳出某个学科某一时期的用户感兴趣的主题；利用数据挖掘、数据检验、相关性分析、回归分析、聚类分析、社会网络分析等进行学科热点预测和交叉学科分析研究。构建基于图书馆流通日志的图书借阅数据仓库维度模型，构建基于OPAC日志点击流数据仓库，基于大数据的关联关系分析，发现及展示学者、合作者、期刊、会议、文章之间的知识网络；基于大数据的学科趋势分析，通过对大数据的有序处理来提升图书馆服务的品质。
43基于数据应用的信息可视化服务
大数据中包含大量重要信息，人们期待进行深层次分析，以便更好的从数据中发现知识。信息可视化作为一种关键服务理念与技术手段，在处理复杂异构的图书馆大数据方面有很大的优势，能为用户提供了一个方便易用的知识环境。如从检索过程、检索结果以及结果之间关系的角度实现主题可视化，到数据库分布可视化、时间分布可视化和作者合著关系可视化。也可将信息可视化技术与科学计量学方法等相结合，生成具有各种属性的科学地图，表达学科、领域、专业、文献、著者之间的关系，解释知识领域的结构、映射知识领域的发展趋势，促进信息获取、使知识结构更加明显，将数据集中看不见的抽象数据和数据之间的语义关系以一种可视化的方式呈现在用户场景中。让用户充分发掘信息资源中潜在的价值资源，帮助用户更好地组织、分析与利用信息。信息可视化作为将信息有效组织、分析、揭示的一种新技术，为大数据提供了一种新的服务模式。
44基于数据挖掘的智慧服务
随着读者对知识需求的转变，知识服务正在朝个性化，智慧化的方向发展。个性化服务是基于读者对信息使用行为习惯及对信息的特定需求，是一种在分析预测用户个体信息需求基础上向用户主动提供其可能需求但又无法获取的信息资源的服务方式，是解决海量信息困惑问题的重要方法。智慧服务是知识服务的升华。智慧服务则是建在知识服务基础上的的创造性服务模式，是图书馆知识服务的核心。图书馆大数据存在大量的用户信息行为产生的数据，如用户查询书目产生的OPAC日志，用户借还书产生的流通日志数据，用户检索浏览下载电子资源产生的日志数据，用户访问产生的流量数据及各种社交网络等。这些数据中除了用于记录读者的个人信息外，还隐藏着许多重要的信息，因此可通过对这些数据进行挖掘分析，知识发现、智能代理等技术，描述用户的行为，准确定位读者需求，向读者提供主动式推送服务，满足其个性化的智能服务。
5结语
数字信息的爆炸式增长催生出“大数据”概念，正席卷整个IT相关行业，大数据已经渐渐的渗入到了图书情报工作中，挑战与机遇同在。展望未来，大数据服务技术等热点将不断涌现，将对图书馆知识服务的拓展和深化带来重大影响，未来的工作将是“数据驱动”的图书情报工作。本文重点探讨了在大数据时代下图书馆的建设策略及基于大数据的一站式服务，学科知识及个性化智慧服务等服务模式。但是图书馆的大数据技术及服务是一项复杂的系统工程，涉及到数据管理的水平，数据处理的技术及数据服务的创新等等，均需要图书馆员的共同努力。
参考文献
[1]李国杰.大数据研究的科学价值[J].中国计算机学会通讯，2012，（9）：8-15.
[2]海量数据爆发大数据时代来临的五个转变[EB/OL].http：∥labs.chinamobile.com/news/76217，2012-08-01.
[3]Big data：The next frontier for innovation，competition，and productivity[EB/OL].http∥www.mckinsey.com/Insights/MGI/Research/TechnologyandInnovation/BigdataThenextfrontierforinnovation，2011-05.
[4]Big Data is a Big Deal[EB/OL].http：∥www.whitehouse.gov/blog/2012/03/29/big-data-big-deal，2012-03-29.
[5]高勇.啤酒与尿布：神奇的购物篮分析[M].北京：清华大学出版社，2008.
[6]MapR and Informatica Combine to Conquer Volume，Variety and Velocity of Big Data[EB/OL].http：∥www.dbta.com/Articles/Editorial/News -Flashes/-MapR-and-Informatica-Join-Forces-to-Tackle-Volume-Variety-and-Velocity-of-Big-Data-81231.aspx，2012-07-21.
[7]王珊，王会举，覃雄派，等.架构大数据：挑战、现状与展望[J].计算机学报，2011，（10）：1741-1752.
[8]马建玲，祝忠明，王楠，等.美国高校图书馆参与研究数据管理服务研究[J].图书情报工作，2012，（21）：77-82.
[9]Geoffrey Little.MANAGING TECHNOLOGY·Managing the Data Deluge[J].The Journal of Academic Librarianship，2012，（5）：263-264.
[10]王学勤，Amy Stout，Howard Silver.建立数据驱动的e-Science图书馆服务：机遇和挑战[J].图书情报工作，2011，（13）：80-83.
[11]张晓林，李麟，刘细文，等.开放获取学术信息资源：逼近“主流化”转折点[J].图书情报工作，2012，（9）：42-47.
（本文责任编辑：马卓）
数据中心存储方案范文第2篇
C语言的动态存储管理由一组标准库函数实现, 其原型在标准文件
1.1存储分配函数malloc
其函数原型是void malloc (unsigned int size) ;其作用是在内存的动态存储区中分配一个长度为size的连续空间。这里的size是一个无符号整型, malloc的返回值为void类型, 它分配一片能存放大小为size的数据的存储块, 返回指向该存储块起始地址的指针值;如果不能满足申请 (例如内存不足) 就返回空指针NULL。所以在调用该函数时应该检测返回值是否为NULL并执行相应的操作。
1.2带计数和清0的动态存储分配函数calloc
其函数原型是void*calloc (unsigned n, unsigned size) ;参数size意指数据元素的大小, n指要存放的元素个数。calloc将分配一块存储, 其大小足以存放n个大小各为size的元素, 分配之后还把存储块里全部清0 (初始化为0值) 。如果分配不成功就返回NULL。
1.3动态存储释放函数free
其原型是void free (void*p) ;其作用是释放指针p所指的内存区, 使这部分内存区能被其它变量使用。p是调用calloc或malloc函数时返回的值。free函数无返回值。如果当时p的值是空指针, free就什么也不做。注意, 调用free (p) 不会改变p的值 (在函数里不可能改变值参数p) , 但被p指向的内存区的内容却可能变了 (可能由于存储管理的需要) 。释放后不允许再通过p去访问已释放的区, 否则也可能引起灾难性后果。由于内存区域有限, 每个程序都应尽量节省资源。当所分配的内存区域不再使用时, 就应及时将它释放, 以便其它的变量或者程序使用, 这应该成为习惯。这时就要用到free函数。
1.4分配调整函数realloc
其函数原型是void*realloc (void*p, unsigned n) ;其作用是更改以前的存储分配。在调用realloc时, 指针变量p的值必须是调用calloc或malloc函数时返回的值, 参数n表示现在需要的存储块大小。realloc在无法满足新要求时返回NULL, 同时也保持p所指的存储块的内容不变。如果能够满足要求, realloc就返回一片存放大小为n的数据的存储块, 并保证该块的内容与原块一致:如果新块较小, 其中将存放着原块里大小为n的范围内的那些数据;如果新块更大, 原有数据存在新块的前面一部分里, 新增的部分不自动初始化。如果分配成功, 原存储块的内容就可能改变了, 因此不允许再通过p来使用它。请注意:通过动态分配得到的块是一个整体, 只能作为一个整体管理。在调用free (p) 或者realloc (p, ……) 时, p当时的值必须是以前通过调用存储分配函数得到的, 绝不能对指在动态分配块里其它位置的指针调用这两个函数, 更不能对并不指向动态分配块的指针使用它们。
2动态存储管理过程必须注意的要求
1) 必须检查分配的成功与否。常用的解决办法是, 在使用内存之前检查指针是否为NULL。如果指针p是函数的参数, 那么在函数的入口处用assert (p!=NULL) 进行检查。如果是用malloc或new来申请内存, 则用以下语句来防错:if ( (p= (...*) malloc (…) ) ==NULL) 。
2) 系统对动态分配块的使用不做任何检查。编程序的人需要保证使用的正确性, 绝不可以超出实际存储块的范围进行访问。
3) 在一个函数里分配的存储块的存在期与该函数的执行期无关。函数结束时不会自动回收这一存储块, 要回收这种块, 唯一的方法就是通过free释放。
4) 如果在函数里分配了一个存储块, 并用局部变量指向它, 在这个函数退出前就必须考虑如何处理这个块。如果这个块已经没用了, 那么就应该把它释放掉;如果这个块还有用, 那么就应该把它的地址赋给存在期更长的变量, 或者把这个地址作为函数返回值, 让调用函数的地方去管理它。
5) 其它情况也可能造成存储块丢失。例如给一个指向动态存储块的指针赋其它值, 如果此前没有其它指针指向这个块, 此后就再也无法找到它了。如果一个存储块丢失了, 在这个程序随后的运行中, 将永远不能再用这个存储块所占的存储。
6) 计算器系统里的存储管理分很多层次。一个程序运行时, 操作系统分给它一部分存储, 供它保存代码和数据。其数据区里包括一块动态存储区, 由这个程序的动态存储管理系统管理。该程序运行中的所有动态存储申请都在这块空间里分配, 释放就是把不用的存储块交还程序的动态存储管理系统。一旦这个程序结束, 操作系统就会收回它占用的所有存储空间。
3函数、指针和动态存储
如果需要在函数里处理一组数据, 并把处理结果反映到调用函数的地方, 最合适的办法就是在函数调用时提供数组的起始位置和元素数目 (或者结束位置) 。这时函数完全不必知道用的是程序里定义的数组变量, 还是动态分配的存储块。
但也存在一些情况, 其中不能采用上述做法, 例如直方图程序。程序里定义了一个读入函数, 它需要根据输入情况确定如何申请动态存储。这时的动态存储的申请在被调用函数readscore的内部, 该函数完成向存储块里填充数据的工作, 最后把做好的存储块 (就像是一个数组) 的地址通过返回值送出来。调用函数 (main) 用类型合适的指针接收这个地址值, 而后通过这个指针使用这一存储块里的数据。
首先, 这一做法完全正确, 因为动态分配的存储块将一直存在到明确调用free释放它为止。虽然上述存储块是在函数readscores里面分配的, 但它的生命周期并不随该函数的退出而结束。语句scores=readscores (&n) ;使scores得到函数readscores的运行中申请来并填充好数据的存储块, 在main里继续用这个块是完全没问题的。当然, 采用这种方式, readscores就不应该在退出前释放该块。注意:上面的调用除了传递有关的数据外, 实际上还有存储管理责任的转移问题。在readscores把一块存储的指针通过返回值送出来时, 也把释放这块存储的责任转交给main。这样, 我们也可以看出前面的程序忽略了一件事情, 在那里没有释放这一存储块。应改动的就是在main的最后加一个释放语句 (当然, 由于main的结束就是整个。未释放的这块存储也不会再有用了。如前所述, 在这个程序结束后, 操作系统将会回收这个程序占用的全部存储) 。
数据中心存储方案范文第3篇
市场定位战略是指差异化竞争战略。主要可以从下列几方面区别差异, 找出市场定位。地域市场战略、消费群细分战略、产品差异化竞争战略、技术壁垒战略、创新营销模式战略。
在《竞争战略》经典著作中, 波特提出了大多数行业内容的主要结构分析模型, 也就是我们常说的五力模型。波特认为, 企业的盈利能力主要由五方面构成, 即在该领域中已经具备的竞争实力和基本状况、供应商的议价能力和水平、客户的议价能力及水平、相关代替产品或者是服务的竞争威胁、新兴企业的威胁这五大竞争力量所决定, 不同的企业所面临的竞争强度各不相同, 潜在的获利能力也不同。
企业与这五种竞争力量的抗争将面临三种战略选择:首先是成本领先, 成本上占优势将会促使整条生产线以及后续的销售部分均具备一定程度的连带优势, 能够在保证质量的前提下降低成交价格, 这将会得到更多客户的青睐;再者是差异化, 公司相关制度、产品、营销策略的差异化对于企业影响力与竞争力的提升具有非常重要的推动作用;最后是专业化, 企业专业化水平的高低直接决定着该企业的生死存亡, 专业化水平高, 生产技术先进, 所制备产品质量高, 价格优是其强有力的竞争力的良好表现。
全球数据存储系统市场区域销售额中, 所占份额最大的为美国, 总量90.2亿美元, 市场份额占比仍为32.8%。2016年, 美国存储系统增长缓慢, 增速仅为4.3%, 低于市场平均增长速率。欧洲市场增速更加缓慢, 仅为3.9%, 市场份额也呈现了进一步下滑。亚太 (除日本) 区域, 在中国存储市场高速增长的拉动下, 呈现最快增速, 2016年总市场营收达到62.5亿美元, 占比22.7%。
另外, 不同的存储方式在总的发展趋势中也呈现出了一定的个性化, 分别体现了不同的发展特色, 以下简单介绍几种非常具有代表性的几种方式以及其具体的发展概况。
一、多控存储
多控架构在多年前就已经被EMC、HDS等厂家在高端存储中采用, 但是时至今日, 多控存储呈现出更多控制器连接和多控架构中端化的新发展趋势。
传统多控存储的内部连接网络基本采用IB、PCI-E和Rapid IO协议, 这些网络协议存在应用不广泛、发展更新速度慢等不足, 从而限制了多控存储的发展, 因此传统多控存储的最大控制器数目一般为16个。随着低延迟、无阻塞、支持RDMA的40/100GB高速以太网的出现, 多控存储内部连接网络有了新的选择。基于这种以太网的多控存储可以扩展更多的控制器, 并且具备更低的成本。目前多控架构已经不再是高端存储的专利, 中端存储也大量采用了多控架构, 比如IBM V7000支持8控制器扩展, HP 3PAR支持4控制器配置, 华为S6800V3支持8控制器扩展, 宏杉MS3000G2支持16控制器扩展等。随着多控架构的技术日益成熟、成本逐渐下降, 将越来越在中端存储、甚至低端存储中采用。
二、全闪存
全球存储行业在2015年推动业务转型的过程中, 接近70%的组织已经部署了全闪存, 或者将在未来12个月内使用全闪存。而中国市场相比于国际市场, 全闪存的增长更为强劲, 2016年中国全闪存阵列的市场规模为815000万美元, 同比增长37.7%。根据IDC的预测, 2017-2021年, 中国全闪存阵列的市场规模可以达到1231000万美元、1788000万美元、2505000万美元、3420000万美元和4436000万美元, 随着各行各业用户对全闪存产品认知的加深, 未来五年平均增长率可以达到37.8%。
三、软件定义存储
软件定义存储 (SDS, Software Defined Storage) 是一种软件处于核心地位的数据存储方式, 所有存储相关的控制工作都放在物理存储硬件外部的软件中, 从而实现硬件和软件的解耦, 甚至硬件上采用通用服务器, 即不同的软件定义存储解决方案区别主要在软件, 而且存储控制软件可以运行在任何类型的服务器硬件上。软件定义存储的优势在于使用通用服务器构建存储, 且天然具备分布式能力, 因此扩展性好、管理方便、成本较低。但问题同样在于采用了通用服务器, 软硬件的兼容适配成为一个很大障碍, 软件对硬件的控制以整台服务器为单位, 无法精确控制各个器件故障的处理, 任何节点服务器的故障, 都会上升为系统级故障。同时, 底层基于分布式文件或对象系统的技术特点, 使得系统的数据一致性保证变差、读写时延加大、写数据性能变弱、故障恢复能力变差。
此外按照存储产品使用的差异性进行分类, 主要的区别在于传输协议、总体拥有成本、应用需求等方面。按照存储类型细分一般可以分为FC SAN存储, IP SAN存储, NAS存储。按照价格区间细分在企业级云存储市场中, 按照价格细分主要分为高端存储、中端存储和低端存储三个区间。
全球权威IT研究与顾问咨询公司Gartner发布了《竞争格局:中国存储厂商对全球存储市场影响力分析报告》。该报告显示, UW公司与华为、浪潮、新华三、联想、曙光, 共同成为对全球存储市场最有影响力的国内存储厂商!
Gartner (高德纳) 是全球最具权威的IT研究与顾问咨询公司, 该公司于1979年成立于美国康涅狄克州斯坦福并开始投入生产, 成立于1979年。其企业研究范围和业务领域非常广泛, 基本全部覆盖了IT产业, 在IT行业中的基本技术研究、发展动向、产品评估、产品实际应用以及相关市场领域等均具有显著的成果, 他们为客户提供了非常公正客观的相关论证报告和市场调查研究, 同时成功的帮助客户进行了全面的市场分析以及技术选择, 进而为其后续的投资以及合作做出了非常良好的铺垫。有效帮助了决策者和投资者解决投资风险和管理、营销策略、发展方向等重大问题, 帮助他们了做出正确抉择。
Gartner认为, UW公司作为在中国存储系统市场的新进入企业, 由U公司 (占股51%) 和W公司 (占股49%) 于2016年合资成立。凭借其强大的本地研发能力, 依托西部数据先进的技术支持, UW公司为中国市场提供了具有全球领先性, 并符合本地化要求的大数据存储解决方案。2017年第1季度, UW公司在成立不到一年时间里, 采用创新型存储技术, 迅速推出了第一代全线产品系列组合, 包括全闪存系统 (UniverFlash) , 横向扩展分布式存储系统 (UniverScale) , 海量数据对象存储系统 (UniverStor) 和软件定义存储平台 (UniverPlat) 。
目标定位准确后, 战略的选择以及实施对于UW公司未来的发展同样具有非常重要的指导作用以及引领价值。根据UW公司的实际发展状况, 业务发展的基本需要以及发展的主要目标主要依靠三大举措进一步规划和发展自身。其中战略目标的实施举措主要包括: (1) 建立健全相关的数据存储业务销售策略和完整体系, 与其他企业广泛的开展各项合作, 快速的、高效的实现业务拓展的突破; (2) 有效借鉴其他成功企业的经验, 通过前期的复制逐渐扩张到后期的创新与改进, 从而迅速的开展各项业务范围的有效拓展; (3) 全力构建专业的服务团队和完善标准的服务体系, 能够持续的提升并保持良好的服务交付能力。此外, UW公司的中期战略主要分为两个环节, 一个是销售, 其中该环节具有三个非常重要的关键控制点: (1) 首先明确销售策略, 一定要明白公司自身业务拓展的重点方向, 详细规划所需要资源的基本投入, 并对投入的资源进行合理的安排与配置; (2) 标准化销售体制的建立, 从进行客户接触这一起点开始, 一直贯穿到整个销售的流程和方法, 本着诚信经营的基本原则, 保证销售质量, 同时制定合理的销售人员奖励机制; (3) 开拓更为广阔的销售客户渠道, 一方面可以根据与其他公司的合作实现客户的拓展, 另一方面要积极的扩展外部合作的思路。另一个环节是项目的交付, 其主要包括完善项目管理机制以及提升团队能力的两个主要战略控制点。
从远期战略来看, UW公司在具备一定优势的基础之上将要持续进行的数据存储业务的拓展和创新。 (1) 业务范围的不断扩展。单一的合作模式将会使UW公司逐渐的形成一种受制于客户的系统选型, 这样对其后续的发展会产生严重的限制, 当然如果能有效摆脱这种限制, 其将会拥有更为广阔的业务范围和客户市场, UW公司可以采用“广撒网, 后聚焦”的销售模式, 不断地扩大数据存储的范围, 然后再进一步考虑与有些潜力公司进行更为深层次的合作。 (2) 纵向客户的扩展, 不断增强行业客户的选择性, 例如加速对其行业中型客户企业的扩展和需求进行有效挖掘, 逐渐形成兼具技术先进性和行业专业性以及经济实用型的集成性信息化服务解决方案; (3) 横向服务的开拓, 数据存储行业虽然具有非常广阔的市场, 但是利润还是相对比较低, 如果想要实现目标利润的愿景和目标, 可以逐渐向周围业务进行适当拓展, 全面综合的进行发展; (4) 实现业务发展的创新, UW公司内的研发团队应积极的寻求行业新的技术以及服务模式的创新, 例如与云计算以及物联网技术的不断联合和深入, 从而促进新的应用的产生, 极大程度上满足客户的需求, 可以设定专门定向的投资方案, 或者与其他公司进行合资, 从而有效地得到先进的核心技术, 进一步提高企业推动力。
一般来讲, 战略实施的风险主要存在于其整合实现战略目标所需要的各种资源、其整合的能力以及其他条件等。倘若其已具备的各种资源以及能力没有办法满足企业战略目标的实施, 那就会形成战略错位的风险。主要表现在以下几个方面: (1) 企业组织结构与其具体战略不够匹配的风险; (2) 资源与战略不匹配的风险; (3) 文化与战略不匹配的风险等等。
UW公司结合了U公司与W公司在技术研发、市场推广和设计生产等多方面领先优势, 实现从“芯”到“云”的产业链, 力求为客户带来更加符合中国市场需求的大数据存储解决方案。WU公司将企业战略和国家战略两者相互结合, 成为国家发展核心信息技术领域的先锋队, 帮助企业从庞大的海量数据中挖掘机会, 以此大力推动我国大数据存储产业的发展, 拉高我国大数据存储产业的国际化程度。
通过文章的研究, 得出以下结论:企业市场的战略发张, 必须要重视大数据发展需求, 降低存储成本;丰富企业级特性, 提升全闪存品牌价值;加强与集成商的联系, 重视解决方案;关注新兴开源技术, 把握发展动态。通过差异竞争, 努力挖掘潜在客户, 提升企业自身的技术水平, 掌握关键技术, 使企业屹立于数据存储市场的不败地位。
摘要：2016年, 全球存储系统市场增长放缓。2016年, 全球存储系统的总销售额为275.4亿美元, 同步增长率为4.5%。而2015年, 全球存储系统增长率为9.3%。2016年存储系统增速变慢, 主要原因在于两方面:1.因为云计算, 云存储的兴起, 部分企业开始将数据存储迁移到云端导致对本地存储需求量降低, 存储系统的采购量减少;2.原因在于存储系统的不断成熟, 竞争的日渐激烈, 成本的逐年降低, 虽然数据需求量明显增加, 但是存储产品的总销售额却增长较为减慢。
数据中心存储方案范文第4篇
1 采用云存储实现多终端共享
云存储是一个以数据存储和管理为核心的云计算系统。它是指通过集群应用、网格技术或分布式文件系统等功能, 网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作, 共同对外提供数据存储和业务访问功能的一个系统, 保证数据的安全性, 并节约存储空间。它避免了传统存储技术需要知道存储设备具体型号、接口和传输协议等具体存储信息才能实现存储的问题。如图1所示, 用户在使用过程中只需要知道其将数据存入了“云”端, 而云的构成对于用户来说不需要知道。
云端架构由图2所示由低到高分为4层, 分别是存储层、基础管理层、应用接口层、访问层, 底层为高层提供服务, 隔层之间相互透明。
1) 存储层是云存储最基础的部分, 是存储的物理实现。存储设备可以是光纤通道存储设备, 可以是NAS和i SCSI等IP存储设备, 也可以是SCSI或SAS等DAS存储设备。云存储中的存储设备往往数量庞大且分布多不同地域, 彼此之间通过广域网、互联网或者光纤通道网络连接在一起。
2) 基础管理层是云存储核心部分, 负责存储层设备的协同工作, 使多个的存储设备可以对外提供同一种服务, 并提供更大更强更好的数据访问性能。
3) 应用接口层是云存储最灵活多变的部分, 它将调用基础管理层对外提供不同的应用服务。不同的云存储运营单位可以根据实际业务类型, 开发不同的应用服务接口, 提供不同的应用服务。比如视频监控应用平台、IPTV和视频点播应用平台、网络硬盘引用平台, 远程数据备份应用平台等。
4) 访问层是用户 (客户端) 直接接触的一层, 它获得用户的申请并调用相应的应用接口。任何一个授权用户都可以通过标准的公用应用接口来登录云存储系统, 享受云存储服务。云存储运营单位不同, 云存储提供的访问类型和访问手段也不同。
2 多云存储服务
从目前手机及手持设备应用发展趋势来看, 手持移动设备应用必将成为未来移动云存储技术使用的主力。移动云存储作为云计算中一种基于互联网络来延长流动性的基础设施, 从根本上讲就是为移动用户提供数据存储与计算的一套平台。目前, 云存储实际上不光是一种存储方式, 实际上它已经成为了一种互联网服务。在云计算的未来服务必将面向移动互联的大环境下, 云存储领域已成兵家必争之地, 目前除了腾讯微博、新浪微博、人人网等社区网络外, 有大量云存储服务商加入到了其中, 如苹果、谷歌、IBM、百度、360、亚马逊、金山、中国电信、中国移动等巨头纷纷涌入这一市场, 均发布了自己的云储存产品, 并推出了自己的云端应用服务接口 (API) , 允许其他软件集成使用, 这就使得多云集成于一个用户端成为了可能, 许多云存储服务已经能让用户享受“T”级存储服务, 比如金山快盘提供了高达2T的存储空间远高于手机本地存储卡容量。基于服务稳定性, 本应用选择采用了腾讯微博、新浪微博、人人网提供的免费云存储服务。
3 采用适配器设计模式与外观模式的系统架构集成多云存储
由于多个云服务商提供的应用服务接口 (API) 相互独立, 因此在软件系统架构设计时, 为了实现一键分享, 我们考虑采用适配器模式 (Adapter) 解决多接口互不兼容的问题。同时为了将多个适配器统一管理与调配有采用了外观模式 (Facade) 。
所谓设计模式是一套被反复使用、经过分类编目的、代码设计经验的总结。使用设计模式是为了可重用代码、让代码更容易被他人理解、保证代码可靠性, 使人们可以更加简单方便地复用成功的设计和体系结构。目前, 常用的设计模式大致有23种, 又统分为创建型模式、结构型模式、行为型模式三种类型。本项目采用的适配器模式属于结构型模式中的一种, 其设计思想是将一个类的接口转换成客户希望的另外一个接口, 使得原本由于接口不兼容而不能一起工作的那些类可以一起工作。
如图3所示, Adapter类将Adaptee接口转变成了ITarger接口, 这样Client端只需要使用其熟悉的Itarger接口就可以了, 而不需要去了解新接口的结构。在多云存储服务中, 由于各个服务提供商所提供的服务接口各不兼容, 因此本项目采用了适配器模式进行设计, 为各个不同的接口设计了适配器。图像获取后通过统一的接口通过不同的适配器转发给不同的云存储服务器。
为了减少开发与维护的复杂性, 我们为子系统中的一组适配器接口提供一个一致的界面, 也就是采用了外观设计模式, 该模式定义了一个高层接口, 这个接口使得这一子系统更加容易使用。
4 总结
云存储已经成为了目前移动互联应用领域的一种主流存储方式之一, 本项目通过对多个不同云存储服务商提供的API的整合实现了多云存储与备份的功能, 可以实现手机端及时拍照数据上传到若干云中, 数据安全性得到了保证, 同时借助云存储的技术优势实现了多终端数据共享。项目成果可以广泛应用的到环境检测与保护、无人值守的远程监控等多个方面。
摘要：采用适配器设计模式与外观设计模式的软件体系架构, 将多种云存储服务接口进行融合, 实现在移动手机端拍照后图像自动向多云存储平台进行发送, 可以在多种终端上面通过共享云资源实现图像的即时共享, 该技术可以应用于社交应用及环境检测与资源保护等多个方面。
关键词：云端,设计模式,适配器模式,外观模式
参考文献
[1] 王瑰琦.浅谈云存储技术的应用[J].电子制作, 2013 (06) .
[2] Design Patterns:Elements of Reusable ObjectOriented Software[M], Addison Wesly Longman.Inc, 1995.
[3] 李素珍.面向移动设备的云存储接口分析[J].硅谷, 2013 (16) .
数据中心存储方案范文第5篇
智能化工厂[1]是一种为了加强和规范企业管理、减少工作失误、堵塞各种漏洞、提高工作效率、进行安全生产、提供决策参考、加强外界联系、拓宽市场等目的而利用各种现代化的技术,将工厂生产过程自动化管理、资产管理以及生产计划管理等各项管理融为一体的管理技术。智能化工厂的核心内容在是利用数据库技术和信息化手段对工厂资源进行智能化管理以图企业利润的最大化。智能化工厂需要用到数据库技术与云存储技术。
数据库是“按照数据结构来组织、存储和管理数据的仓库”。是一个长期存储在计算机内的、有组织的、可共享的、统一管理的大量数据的集合。它以一定方式储存在一起、能与多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合,可视为电子化的文件柜——存储电子文件的处所,用户可以对文件中的数据进行新增、查询、更新、删除等操作[2]。
云数据是指(Cloud data)是基于云计算商业模式应用的数据集成、数据分析、数据整合、数据分配、数据预警的技术与平台的总称[3]。困为它的数据存储安全性是比较高的,但是云计算的其它数据服务(如数据集成、数据分析、数据整合等)的安全性却有待进一步提高。而对于化工生产来说,过程计算和控制的安全性是首要的,所以这里仅仅考虑使用云存储技术,而暂不考虑使用云计算的其它服务。
近年来,在煤化工行业市场竞争大、安全环保等方面的挑战严峻,尤其在行业产能过剩严重,产业结构调整加速的大背景下,工厂的智能化管理已经成为一种必然。现在大部分的化工厂所使用的常规的生产过程自动化管理,如现场总线(FF、Profibus-DP)、集散控制系统(DCS)等,虽然已经能基本上满足化工厂的生产控制、安全管理等基础管理,但是不支持设备的在线监测和维护、测量数字化、控制网络化、状态可视化、功能一体化、信息互动化等高级应用,而这些技术在很大程度上影响生产效率和企业利润;同时常规的管理方案仅仅是对工厂的工业生产数据进行了监测管理和控制,而与生产不直接相连的数据没有集成,造成响应时间慢,资本利润低,而且无法与实时计划和决策。因为智能化工厂能弥补这些短板,所以是工业发展的必然趋势。
2.智能化工厂的特点及实施办法
智能化工厂首先能克服数据的独立化、隔离化。由于信息技术不发达且供应商不统一,以前工业过程数据流只能在工厂所在地才能被获取,无法远程查询,而且多种数据无法进行统一管理与分析,如集散控制系统(DCS)与行政办公自动化系统(OA)、企业资产管理(EAM)等,同时也无法将集成和分析后数据实时上报至非现场的企业决策层(如集团总部),因而决策层就无法迅速地将市场信息与生产信息相结合制定相应的生产计划;
其次能克服数据的多样化和纷杂化生产过程数据流是由现场生产管理设备生产的,其数据多用HART协议通信;HSE监测数据则由工厂所在地的安全环保部门独立采样,其数据多用VIA/IP协议,而行政办公数据则多用HTTPS协议进行传输;还有部分局域网使用TCP/IP协议。这些数据结构纷杂化,通信协议多样化,不但数据的传输效率低,而且对设备要求多。智能化工厂可以利用大型数据库技术和云存储技术解决这些问题;
第三是智能化工厂可以将流程数据与运营数据一体化,实现设备的数字化管理及预知性维修、工厂能源管理方案的在线优化、生产计划的有效安排、智能性节能减排降本增效、大数据分析和云计算、智能化安全管理等,而这些都与企业的成本和利润息息相关。
以前的时候智能化工厂方案只是一个想象中的蓝图,而没能真正意义上实现,主要是因为早期的信息化技术不成熟,而工业4.0[5]以后,随着信息技术发展和软件技术的进步,这些从前的难题都已经不再是问题,特别是信息传输的5G时代已经到来,工厂智能化的管理已经没有任何障碍,现在所需要考虑的只是如何提高工厂的智能化程度。
下面对智能化工厂的具体实施方案进行详述:
首先智能化工厂必须保证有稳定的数据来源。这些数据分为两部分,第一部分是生产过程管理数据(即现场的工艺、仪表、设备、电气、实验、电信六大数据),这数据可以通过各类型现场检测仪器仪表产生并上传至中央控制系统。这些技术已经成熟,这里不再赘述;第二部分是与生产非直接接触的管理数据,如行政办公自动化系统(OA)、企业资产管理(EAM)、企业资源计划(ERP)、监控管理、报表管理、数据分析、报警管理(AAS)等数据。但是由于这些数据因为格式与DBMS不同导致数据之间的集成和分析有一定的难度,需要进行数据一体化。
有了安全稳定的数据源后,就可以进行硬件架设。对智能化工厂是一个层次模型,其层次分为三层:
(1)第一层是指生产过程管理层(如图1)
这一层主要功能是对生产现场数据进行采样和生产控制。在这里,从一次仪表产生的现场数据通过生产环网上传至工程师站,并在其自身的自动化管理系统中生成专属数据库。需要说明的是,在这里所使用的通信协议主要是HART协议,而不是常规文件传输协议。
(2)第二层是数据集成管理层(如图2)
这一层主要功能是将各类型的数据通过转换、镜像、引用等方法并入到一个大型数据库中,并建立统一的数据管理系统(DBMS)以待查询。这里推荐使用Sybase或Microsoft-SQL数据库将生产过程数据、行政管理以及营运管理数据进行统一化,无论是来自PLC/DCS的数据,还是来自财务、环保、人社等数据都要转换成统一的数据结构,并集成入统一的数据库。需要注意的要规定数据的访问权限即哪些数据是可读可写、哪些数据是只读不写的、哪些数据是镜像转换型数据库。
(3)第三层是网络数据服务层(如图3)
这一层的主要功能是因特网服务,在这层上首先建立一个网络服务器,并申请一个或多个的网络地址,同时开发或购买对应的界面APP,其次是建立一个镜像数据服务器,这个服务器可以将第二层主数据服务器的数据镜像过来,以为网站提供数据服务。
这个架构中,第一层生产的数据按照一定协议(TCP/IP/FTP)上传至第二层,写入主体数据服务器,并和与生产非直接接触数据利用统一的DBMS集成,并设计出报表、视图等汇报材料,然后上传至第三层;在第三层,先建立一个镜像数据库,该镜像对第二层主体数据的数据进行镜像和备份,并保留部分写入权限。然后建立网络服务器[5],并绑定固定的IP地址及域名,该服务器以镜像数据库为网站基础,同时也保留一个至第二层的主体数据服务器链路,以用来保护特殊权限。在各层之间安装防火墙后,就完成了在硬件的架设。
最后开发或购买一个专用的App,让该App使用统一的协议通信,(推荐使用https),那么相关人员只要知道远程办公网络地址,并拥有对应的账户和权限,就可以在任一个网络终端进行办公。这样不仅可以加快工作响应时间、提高工作效率,而且可以对所有的办公数据都进行记录和备份,使得对数据的回溯和分析变的更加方便,安全性也更高。
以上的架构实现了工厂基础数据的智能化管理,但是有时需要临时性将部分数据分享给一些非管理工作人员(设备供货商、客户、金融公司、银行),如果把他们接入这个管理系统中,并为之设立账户显然是不安全的。这里只要将这些数据发布到云端,并予以加密,让不同的人员持密码(这些权限包括查询、复制、截取、下载等)进行访问即可。
总之利用数据库技术并结合云计算对化工厂进行智能化管理可以大幅度提高管理效率、加快响应时间、加强现场的安全性、节约生产成本以及提高资本使用效率。
摘要：将传统的工业过程流自动化控制与当下的新兴信息技术相结合,把工厂的运营管理与生产控制融为一体并将其智能化,最终达到管理效率更高、信息传输更快、运营风险系数更低、现场更安全的管理目标,以达到企业利润最大化
关键词：智能化,数据库,云存储
参考文献
[1] 王喜文.工业4.0最后一次工业革命[M].广州:电子工业出版社,2015:14.
[2] 王珊,萨师煊.数据库系统概率(第5版)[M].北京:高等教育出版社,2014:4.
[3] 冯朝胜,秦志光,袁丁.云数据安全存储技术[J].计算机学报,2015,38(1):150-163.
[4] 常杉.工业4.0:智能化工厂与生产[J].化工管理,2013,(21).