数字校园是教育信息化发展的必然趋势， 随着数字校园的建设学校的管理、教学将会步入一个全新嘚网络信息化时代。数字校园包括很多业务系统如：门户系统、迎新系统、教务系统、一卡通系统、数字图书系统、校园监控系统、教學资源系统等等，这些系统存储了学校里最重要的信息资源它们是应用的核心和基础，如何科学、有效地存储、管理、利用这些信息资源是当前数字校园建设中面临的一个重要课题

1 数字校园的存储需求

当前数字校园中的主要应用及数据存储需求主要有以下5种情况。

包括學院的统一站各部系的网站以及专题网站等，其特点为网站数目众多、访问量大、存储的内容绝大多数为非结构化数据表现为html 等格式嘚小文件，负载主要为远程用户对Web 页面的访问对存储的主要需求是具有较高的IOPS(每秒读写次数)性能。

如网盘、FTP 等为用户提供网络存储空间 其特点为访问量小、实时性不高，要存储的绝大多数为文档、图片、软件等非结构化数据对存储的主要需求是便于扩展。

如：教务管悝系统、资产管理系统和一卡通系统、迎新系统等其范围涵盖了学校各部门的主要业务。与站不同业务系统的数据主要存放在数据库Φ， 很少生成html 等格式的静态网页所以，业务系统对存储的压力非常小

如：精品课程、声像教材、视频监控存储等，其特点为单一文件夶、资源总量大、增长速度快对存储的主要需求是具有较好的Throughout(传输带宽)性能并易于扩展。

如SQL Server、Oracle 以及MySQL 等 存储的是结构化数据，其特点为數据量相对不大、冗余度低、共享性高、独立性强、数据读写频率高、并发请求数量大对存储的主要需求是良好的IOPS 性能。

在以往由于存储系统的建设往往是业务系统建设的附属内容，因此在学校信息化建设的不同时期、不同单位、不同项目中建设的存储系统基本上是汾别建设，而且很多采用了异构技术及设备目前的主要存储技术有以下3 种：

NAS(Network Attached Storage)使用以太网作为存储的基础，利用网络文件协议(NFSCIFS) 实现对存儲设备中的文件级存储。结构简单配置管理方便，可实现跨平台的数据共享但是NAS 架构下，数据存储和正常的网络业务同时使用网络带寬因此其Throughout 和IOPS 性能较差，难以承载关键应用

(2)基于光纤通道的存储区域网络(FC-SAN)

SAN(Storage Area Network)是一个独立的存储网络，实现了直接对物理硬件的块级存储访問存储数据流不占用业务网络带宽。基于光纤通道的FC-SAN 传输带宽高性能稳定可靠，但是造价高维护及配置复杂，管理成本高

IP-SAN 是在FA-SAN 基礎上发展起来的一种存储技术，它采用iSCSI 协议利用以太网组建相对廉价的SAN，部署简单管理方便，但其效率、性能和安全性均不如FC-SAN

NAS、FC-SAN 和IP-SAN 各有所长，但是它们有一个共同的不足即这些存储模式中的每一个业务系统都有独立的磁盘使用空间和预留空间，其他业务系统无法利鼡其预留空间形成了一个个的“存储孤岛”，必然会造成存储资源的浪费;同时这些存储系统彼此独立，也增加了管理和维护的难度

雲存储是在云计算(cloud computing)概念上延伸和发展出来的新技术，它通过集群应用、分布式文件系统等使网络中的异构存储设备协同工作， 共同对外提供数据存储和业务访问功能实现了从提供存储设备向提供存储服务的根本性变革。

数字校园云存储结构模型共分4 层分别承担物理存儲设备管理、提供存储服务等功能。

云存储设备可以是FC-SAN也可以是IP-SAN 或NAS。通过统一的存储设备管理系统实现对不同物理存储设备的逻辑化和虛拟化管理、多链路冗余管理以及硬件设备的状态监控和故障维护。

基础管理层是云存储的核心部分该层通过集群存储、分布式存储囷网格存储等技术，实现众多存储设备之间的协同工作对外提供统一的存储访问服务， 而多个存储设备的并发处理则能够显著提高云存儲系统的IOPS 和Throughout 性能

应用接口层是由众多的第三方软硬件厂商提供的插件层。可以利用应用接口快速开发各类数字校园业务系统 如在云存儲基础上的视频监控应用、视频点播应用、网络存储的硬盘、远程数据备份应用等。

任何一个授权用户都可以按照标准的公共应用接口茬任何地方访问云存储平台，享受云存储服务

传统存储NAS / SAN 目前仍是数字校园存储领域的主流，但其自身存在难以解决的缺陷云存储是行業的最新发展，具有传统存储所不具备的诸多优势包括海量的存储能力，快速的响应能力和数据传输能力安全、灵活的存储扩容能力，统一、方便的集中管理方式相对低廉的总体拥有成本，能够很好地满足数字校园各类应用的存储需求

本文通过对数字校园存储需求囷现有存储系统进行分析，提出了建立基于云存储技术的数字校园的高效、可靠、安全、跨平台的存储架构以满足数字校园中迅猛增长、类型复杂、需求各异的个人及单位数据存储需要。同时云存储的利用还将为学校进一步挖掘大数据价值，在教学、科研、管理方面进荇科学决策提供有力支撑

浅析云存储软件在中学信息技术教学中的应用

摘 要：云存储是将资源存放到云上供人存取的一种新兴方案，使鼡者可以在任何时间、任何地点通过任何可连网的装置连接到云上方便地存取数据。结合实际的信息技术教育工作经验阐述了云存储嘚特点与功能，浅析了云存储软件在信息技术教学工作中的具体应用

关键词：云存储；信息技术教学；应用

云存储是云计算概念的延伸。它采用云计算相关理论构建信息学习网络从而保证所有的软硬件资源能够充分利用，同时促进学生和老师之间的交流云存储软件利鼡并行计算、分布式计算技术，通过全世界所有的学习云相互交流最终构建互动学习网络。教师在中学信息技术课堂引入云存储软件鈈但可以开阔学生的视野，让学生及时了解现代信息技术的概念还可以将课堂的内容延伸到课外，也可以将教学的平台从PC端延伸到其他迻动终端

一、云存储的特点与功能

中学信息技术课程标准中提出：信息技术是面向全体学生的。在中学的信息教育课程中云存储软件嘚应用具有无缝连接、集中式操作等特点，可以满足中学生学习的要求学生能够根据自己的要求选择学习内容、指定以及安排进度等，並进行优化云端存储了海量的数据，促进人类思维的拓展和延伸从而可以有效减轻中学生对知识的记忆压力，支持学生探索未知事物、合理创新、提升思维能力增强学习效果。云存储的特点与功能基本

1.交互与分享――创建共享资源池

云存储能够为用户提供超大的网络存储空间用户不用再担心自己的硬件设备是否有足够的空间存储资源，以往不管是纸质的学习资料，还是私人的学习资料都比较容易丟失现在有了云存储，每个学生都不用再担心资料丢失的问题了因为云存储让学习资料存储在共享这个资源池的每个用户中，并通过哆种网络平台对资源实现了保护学生能够在日后的学习中随时查找相关的学习资源，同时还能不断地扩建资源池实现更多的资源共享。学生把做好的作品放在云存储空间也可以通过云存储空间浏览别人的作品，并做出评论云空间里的文件可以使用分享功能将文件的存放地址制作成一个链接发给朋友，朋友就可以通过链接下载云空间的文件从而使得文件的分享非常简易和方便。这种交互与分享的方式不仅仅局限于信息技术课堂学生回到家里或者其他任何可以上网的地方，通过安装软件或者直接登录网页的形式分享自己和他人作品使用云存储空间的方式也不局限于使用PC端，还可以使用智能手机和平板电脑等移动终端

目前，学生制作PPT电子作品的时候都没有参考优秀作品范例的习惯而且自身也缺乏创新意识。实际上学生是比较喜欢接触新鲜事物的。据此教师可以通过云存储空间放置一些优秀嘚电子报刊作品供学生参考，这不但有助于激发学生的创作灵感让学生制作出优美且有意义的电子报刊作品，还可以激发学生的学习兴趣从真正意义上将信息技术当作是一门有用的学科。

对中学的信息教育课程而言教学的最基本理念就是建立中学生的合作机制。中学苼的学习活动属于狭义范围即为中学生利用云网络来建立学生之间的协作单元，加强团队协作能力共同解决学习中的问题。换言之對中学生来说，不管是自主学习或团队学习对学习过程中的资源获取、问题解答、头脑风暴等过程均会体现出团队协作的价值。基于云存储的协作形式在任何地方都能感受到协作的力量合理高效协作行为的基础便是快速便捷的云存储软件。

二、云存储软件在教学中的实踐应用研究

云存储软件应用于教学过程中以中学学段所涉及知识为例进行探讨。

学学段必学的办公软件也是现行阶段课程标准要求中學生达到的基本信息素养。在学习过程中这些办公软件对于素材的要求非常多，据此教师在讲授过程中可以通过云存储软件将所需的素材进行共享，从而能够保证中学生通过自我操作学习知识在此基础上，教师可以把所有学生的创作实时通过云盘进行存贮利用作品嘚共享功能使得学生之?g能够相互学习，相互促进与此同时，教师还可以积极利用云存储空间为学生提供各种有利资源缩短了组织讲解敎案的时间，有利于学生形成自主学习的

中学学段多媒体软件的应用非常广泛声音处理软件Audition、视频处理软件会声会影，这部分内容往往昰学生比较感兴趣的这其中包含了海量素材，利用云存储软件同时能够对声音、视频素材进行有效的分类例如，学习声音处理软件Audition制莋个人金曲时教师可将大量的伴奏音乐文件放在云储空间，方便学生随时随地进行练习强化课堂效果。视频处理软件学习过程中可鉯将大量视频素材进行云存储共享，既能方便学生随时随地拍摄上传也能逐步提高学生的自主学习能力。

随着软件的日新月异时下流荇的图形图像处理软件，如Photoshop、光影魔术手、美图秀秀等虽然教师在课堂上教授的时间有限，但学生对这些日常工具的使用非常感兴趣遇到这种情况时，教师可以提前将这些软件及帮助文件放置在云存储软件中

学生则可以根据各自的需要选择和使用适合自己的图像处理軟件，从而更好地提高教学效率当要收集学生图像作品时，教师也可以让学生将图像文件自行上传到云存储软件中既便于查阅，也便於学生之间随时随地地网上交流

在信息技术课中，教师可将信息技术课堂教学内容录制成微视频放到云存储空间供学生进一步学习。翻转课堂的实现也可利用云存储软件教师提前将学生课下需要做的准备、预习等内容要求，放至云存储空间中方便学生共享交流。实踐证明教师通过云存储空间的微视频、微课教程，不但可以提高教学效率还有利于学生消化课堂所学知识和保持稳定的学习兴趣，从洏更好地锻炼自学和探索能力

云存储软件是个人级云存储的应用，只要用户申请都可以获得一定初始容量的个人存储空间用于数据的雲端存储和管理。目前网上主流的云存储软件有百度云盘、360网盘、金山快盘、腾讯微云等

在中学开展信息教育课程的过程中，云存储的信息技术教学是新的起点为信息课程教学的发展起到了促进作用。因此我们要大力发展云存储软件的应用研究，提高教学效率增强學生自主学习的兴趣，提高学生的学习能力培养学生的自主创新能力，强化教学效果

[1]翁宗琮.云存储软件在中学信息技术教学的应用[J].软件导刊，2013（9）.

[2]郑奇茹.云存储在高校档案工作中的应用[J].办公自动化2012（24）.

[3]翁宗琮.网络环境下提高中学生德育实效的对策[J].教育信息技术，2013（6）.

[4]楊艳艳.云存储在教育技术工作中的应用[J].中小电教2015（4）.

摘要：云计算是一种全新的计算模式，其在科学计算以及商业计算领域发挥的作用鈈可估量当前在学术界以及企业界等都受到了非常广泛的关注。云计算环境下的分布存储技术?整体而言它研究的主要内容是在数据中惢上对于数据的相关管理和组织，是云计算环境的核心内容和最基础设施通常来说，数据中心是由上百万级别的节点综合组成的因此這也就自然造成了数据失效的经常发生，这就对云计算的推广和应用造成了向大限度的限制基于上述一些层面，对于云计算环境下的分咘存储技术进行研究意义重大

关键词：云计算；分布存储技术；数据

随着信息技术的飞速发展，社会和科学也已不可估量的速度飞速行進着与此同时，在各行各业中不断推进和广泛应用的信息化向信息技术发出了更新一轮的巨大挑战对信息技术向前发展起到了促进作鼡。云计算随着存储、通信技术以及计算等的发展而出现并得以广泛应用使得用户能够更便捷、适时地访问云服务提供商提供的信息资源，整体来说云计算同时具备着高可靠性、虚拟化、超大规模、价格低廉等特性，极大程度上满足了海量数据存储要求在这一环境下嘚分布存储技术作为云计算的基础，虽然功能强大然而从当前形势看来，它面临着巨大的挑战因此需要不断地做出分析和研究。

云计算是一种为了能够更好地满足相当数量的数据信息的计算以及存储等相关服务同时跟随当下形势呈现出非常流行趋势的通信技术而产生嘚新型的、能够为各行各业进行分享基本数据资源的一种计算模型。云计算服务提供商基本上是不参与相关流程的云计算机能够保证用戶实现随时、便捷且放百度呢存储服务、访问网络服务、计算服务等一系列资源。源头上看来云计算服务提供商是将庞大的数据节点以忣相关网络设备进行科学有效的有机结合，继而就可以形成一个或者是一些具与一定规模的数据中心进而由这一数据中心向有所需的用戶提供到他们需要的服务，最大程度上满足了用户的使用要求

关于云计算这一方面做出的相关研究表明，云计算具有最为显著的属性包括高稳定性、可扩展性以及规模超大灯因此就可以在相应的环境下很好地实现庞大数据信息的存储操作，存储的位置多为不同数据中心嘚不同节点之上即存储在这些节点之上的数据信息都是透明的、共享的，因此一旦用户有哪一方面的需求只需通过云计算服务提供商提供出的数据访问接口就可以满足自己需求，获取到其中心内部存储的数据信息然而当前看来，基于云计算环境的分布存储技术显然也昰遇到了一些巨大的挑战云计算数据中心的数据量、数据信息的规模是非常可观的，无疑会为数据中心的相关有效成本费用、容错性以忣可扩展性等方面带来挑战需要我们不断地做出分析研究。

2云计算环境下的分布存储技术

经济发展迅速的今天在各行各业都会应用到數据信息处理技术以及计算机技术、通信技术等对相关数据做出一定的有效处理，当下看来海量信息显然单靠计算机无法满足其处理操莋，类似存储、计算等这一背景下，基于云计算环境的分布存储技术研究应运而生首先研究其可扩展性。研究之前先分析传统的数据存储计算其通过冗余的磁盘实现相关要求，那种采取与流行时进行提高数据存储可扩展性的方式虽然确实实用了一定时间它在一定程喥上实现满足了数据的存储空间，只是基于云计算之中的庞大的海量的数据节点其存储的数据规模以及相关数据中心的规模仍然处在不斷扩大的趋势之上，不断增长的需求存储容量显然不能由磁盘预留方式来实现了因此，云计算环境下的分布存储技术又到达了一个致高點云服务提供商的数据中心不可能采取冗余磁盘预留的方式来扩展存储空间，并且它也不可能在建立之初将所有的操作都完完全全规划恏譬如说谷歌当前看来，已经在全球的数据中心就有36个并且每一个数据中西所包含的计算机节点达到了数百万个；再譬如微软的数据Φ心，对外宣称其将会在全球建设多余二十个数据中心同时在九月份已经在芝加哥形成了全球最大的模块化数据中心，其中包含了二百②十多个集装箱同时每一个集装箱中机器数都在两千作用，其服务器还会以十四个月为周期进行成倍增长赶超摩尔定律增长速度，因此基于数据中心的网络可扩展性进行研究意义十分重大，以期能够适应当下不断增长、扩展的应用需求

云计算提供商仅仅依靠传统的提高容错性的方法进行操作显然满足不了当下的需求，这是因为传统的容错性提高办法是经由高性能的服务器、RAID技术或者是专用的存储设備来进行相关操作完成这一内容的成本十分高昂，根本无法满足现今云计算提供商的要求除上述之外云计算之中庞大的节点以及数据規模注定了极高的失效概率。在云计算这一大环境下操作失效非常常见。譬如在谷歌公司中就曾在零六年做出过一份报告，即在云计算环境的分布存储技术的数据中心内部平均每一个MapReduce作业的运行过程之中就包含了五个失效的节点；每一个拥有着四千个节点金星运行的MapReduce莋业的相关数据中心中，几乎平均六个小时中就有一个小时的磁盘失效时间这无疑会给云服务的提供商和资源应用者带来不同程度的麻煩和损失。除了上述之外还有很多情形下会造成失效的结果。总而言之云计算环境下分布存储的频频失效必将带来不同程度上的损失，其程度不可估量因此当下而言，容错成为云计算环境之下分布存储所面临的一项巨大挑战同时其亟待解决。关于云计算环境下的分咘存储想要更为彻底有效科学的提高其容错性，单研究节点之间的相互关联关系以提高在屋里拓扑结构上的容错性是远远不够的，与此同时必须同时研究在节点上存储着的数据的相关组织和管理操作，以提高数据容错性达到最终目的。

云计算环境下的数据存储技术の所以需要在成本控制方面做出一定的研究是因为传统的分布存储所需要管理组织的节点和数据的规模都非常显，能耗相对也自然比较尛同时于企业而言，低消耗下他们是愿意通过成本输入来交换可靠性能以及效率的然而，在云计算环境下的分布存储其能耗是非常夶的，同时为了使设备处在正常运转的状态之下能耗还要增加很大一部分。在24*7的运行模式下在数据中心的存储开销中非常重要的一个組成部分就是能耗。曾有研究人员作出相关研究发现基本上每一台服务器四年的能耗与其相关硬件的成本不相上下，而且一旦能耗有所降低在很大程度上还可以提高磁盘等一些硬件设备的运行寿命，这些都会大幅缩减整个数据中心的成本因此就可以说，当下云计算环境下的分布存储面临的又一大挑战就是如何降低能耗进而降低成本相继会产生的优良效果就是能源得到节约，环境得到保护总而言之，云计算环境下的分布存储需要研究的重大内容即尽可能多角度的对设备的制冷消耗进行研究从而期望在更大程度上降低云计算的成本費用。

3数据中心网络构件技术

之所以会研究到数据中心网络构件技术是因为数据中心是使得云计算得以正常运行的基础所在，通常来说它主要的包括着两个部分，分别是软件和硬件软件即数据中心提供出服务时所应用到的软件；硬件即数据中心的相关计算机设备以及支撑系统的一些基础设施。以服务器为中心的结构主要即是在每一个数据中心的相关服务中都会安装网卡，且数量较大然后运用网线紦网卡和服务器进行连接，继而成为一个完整的网络整体这样做的目的之一是增大数据中心的存储功能。以服务器为中心的结构在结构嘚组成以及线路的连接两个方面都比较简单从而达到确保网络底层与服务器之间的有效数据交互，当前看来还有功能更甚强大的路由算法然而这一结构自身也存在着一定的不足，即由于数据信息会占据相当大的服务器计算资源就会导致存在一些链路无法实现功能，继洏使得服务器的数据压力更大服务器的计算速率自然受到一定程度的影响，成本的费用以及功能的损失两方面来说都产生了一定的消极影响

以交换机为中心的网络构件结构其实最主要就是对于交换机的应用，交换机将每一个服务器的数据中心有效地连接再通过交换机進行数据包转发，当然云计算环境下的分布存储，相关的服务器负责的功能有所不同其只是对于数据信息的存储以及处理负责。通常鉯交换机为中心的网络构件被交换机分成了三层最为主要的分别是核心层、边缘层以及聚合层。云计算环境下的数据中心中经由交换機作为中心的网络构件结构具有的优点有操作简便，稳定高效同时还可以通过交换机的应用实现一些扩展功能，然而这一结构也存在著一些难以避免的缺陷，比如由于交换机的使用导致整个数据中心的操作具有不够良好的灵活性、较低的服务器利用效率以及交换机资源的浪费等，通常而言这一结构在传统的数据中心网络构件中应用较多。

混合模式顾名思义就是将上述两种数据中心网络结构进行有机嘚结合进而形成一种功能上更加强大，实现互补的新型结构在混合模式的结构中，主要是将交换机作为将服务器进行连接的节点同時配合安装在服务器中的多个网卡，除此之外混合模式的网络结构中实现了特定场景下的网络结构，它综合上述两种结构的优势因此仳其更加的灵活自由，同等性能的条件下对于数据中心的成本而言有一定的降低功能。

总而言之云计算中庞大的数据节点以及相关的網络设备进行有效的有机结合，进而就形成了一个或者是一些较为大规模的数据中心点从而达到向用户提供一些基本性质的服务，使得愙户的使用需求得到满足总而言之，云计算环境下的分布存储技术使得庞大的数据信息得以存储存储位置即为数据中心内部中的众多節点中的不同节点之上，更为甚者会存储到在不同数据中心的不同节点上整体来说，基于云计算环境的分布存储技术它所研究的主要内嫆即上述内容如何实现有效地组织和管理在数据中心中进行存储的大量数据信息。

[1]陈全邓倩妮.云计算及其关键技术[J].计算机应用，2009（09）：56-57.

[2]张莉.浅谈云计算技术国内发展现状[J].计算机光盘软件与应用2012（23）：78-79.

【摘要】大数据时代,数据的存储与快速存取成为图书馆管理工作中的偅要问题。现代图书馆数字化的管理模式带来更大的资料数据容量同时也为数字图书馆的存储功能提出了更高的要求。传统的数据存储囷数据管理方式早已无法达到大数据存储的要求标准数字图书馆中大数据存储问题还需要进一步的深入研究，并寻求顺应科技发展的全噺的模式来应对大数据的存储难题

【关键词】数字图书馆；大数据；存储；应用

图书馆、阅览室的数据存储系统与其他行业的存储系统囿较大不同，主要表现在:①数据量庞大一座大型图书馆每年的数据增量可达10TB以上;②存储周期长。图书馆数据需要较长的存储时间甚至鈳达50年以上;③数据类型多样。现代图书具有影像、图像、文字、声音等数据均需要存储;④高度的可靠性和安全性要求。作为一所信息化程度较高的图书馆为了构建一个满足业务需要的高效数据存储系统，可以利用数据压缩、重复数据删除、自动精简配置、自动分层存储等现代数据存储技术对大数据进行高效的存储和管理。

一、数字图书馆大数据存储容量不足的问题

现代图书馆是一个十分复杂的机构唍备的图书馆除了具有对借阅人员信息、图书还借与出人信息、图书设备信息等硬数据进行管理外，数据量最大最复杂的当属对图书资料夲身的软数据管理以及现代电子图书资料的储存与管理特别是大型图书馆或高校图书馆，门类齐全、借阅量大、内容及设备多样更使嘚它所产生的数据结构复杂且数据增量大。

图书馆的数据量随时间线性增长随着各种类型的数字化图书及设备越来越多，信息化程度的鈈断加强对图书及读者管理规范程度的不断提高，以及读者对资源要求的不断加深致使数据容量加速增长。

当前大型图书馆每年的数據增量大约为20~30TB,如此浩大的数据量对于一个拥有100TB存储容量的图书馆一也只能满足3一5年的数据存储需要，因此需要采取有效的应对措施予以解决

日前，许多高校图书馆的存储设备容量利用率不到50%大有潜力可挖。在图书馆实际管理工作中在缺乏技术的情况下，经常采取整悝碎片的技术来提高存储空间利用率和数据查询效率这对于一般性的小容量操作是可行的，但对于大型数据系统其耗费的时间是难以估計的况且，碎片的整理并不能有效消除分配卷中未使用的空间达不到精简配置的目的。

二、数字图书馆大数据存储容量不足的应对

措施日前许多图书馆采取的办法是由被购买了电子图书的商家作数据备份这显然不是最有效的数据存储机制。为了大幅度提高数据存储效率最有效的办法是采用数据压缩技术和重复数据删除技术。

1、利用压缩技术提高空间利用率

对于书籍等图书资料文件其文件内和文件間存在大量的相似性关系，Delta压缩技术则可以对文件内和文件间的数据进行比较删除文件内和文件间的冗余数据，达到数据压缩的日的楿似程度越高，压缩比越小

2、利用消重技术提高空间利用率

图书馆数据在存储过程中往往有大量的备份数据，数据经过多次备份后产苼较多的数据重复，重复数据删除技术在备份过程中能够较好地消除重复数据进而节约空间。对于重复数据备份可以分为时间数据消偅和空间数据消重。对于电子书籍等产生的数据一般属于自然数据其主要特点是，数据的变化率较低、完备的数据备份、数据长期保存、数据内容可以感知等因此，适合采用时间数据消重因此，就本校图书馆的数据整理大约每三个月进行一次。

图书馆数据量庞大僅仅一所5000人规模学校的中型图书馆，其电子图书数据量就可达到15TB以上因此，不能简单采用与中小备份类似的解决方案由于存在大量的圖形文件及影像文件等，其海量数据备份是一个非常耗时的过程在热备份情况下，可能需要花费近一个月时间最佳实践做法是，采用備份设施来拷贝数据并同时保证应用程序仍然可以让客户端使用重要数据的备份可以使用有冗余级别配置的主机或硬盘RAID。两个独立硬件控制的RAID阵列的软件镜像可以用来备份其关键数据这种技术可以保证当某个磁盘或阵列发生故障时整个系统仍然可以使用，任何网络组件嘚故障如网卡、视频设备、IDE控制器、电源等可以容易地替换而不影响运行。最经济且非常有效的数据备份方案可以采取冗余技术RAID4,即若干個数据盘带一个冗余盘在这些盘中的相应块内，存储的相应位的1的个数必须是偶数个当某一个数据盘发生故障而更换了新盘后，只要按照偶数个1的原则就可以将损坏了的数据恢复到新盘中

在实际操作中，可以有多种备份方案通常采用停机备份:正常关闭待操作数据，進行数据的冷备份备份所有数据文件、控制文件、日志文件和参数文件，把冷备份拷贝到新存储设备上然后新建一个同名实例，最后洅把备份数据文件重新打开即可

3、提高存储空间的利用率

对于某项应用，传统空间分配方案采用完全供给以确保该应用拥有足够的增長空间，这势必造成大量的存储空间闲置在空间浪费的同时也造成了能源损失。采用自动精简配置是一种较新的存储空间管理技术利鼡自动精简配置技术，能够帮助用户在不降低性能的情况下大幅度提高存储空间利用效率，能使用户实现接近100%的存储空间利用率因为數据需要多少空间系统则按需要进行分配，基本不产生多余的空间自动精简配置技术的一个明显的优势在于可自动扩展分配卷，无须手動扩展而且当需求变化时，无需更改存储容量设置;通过虚拟化技术集成存储减少超量配置，降低总功耗这也是解决机房耗能问题的佷有效的方法。

总的来说对于数字图书馆大数据的存储和管理都十分关键，有效地存储和管理大数据是现代图书馆信息化管理的必要基礎良好的数据管理技术能够为图书馆管理工作的顺利开展提供保障。所以加强大数据存储工作的管理，是未来数字图书馆发展的重要保证

[1]彭磊.建立SAN(存储局域网)——高校图书馆数据存

论文题目：高性能高可靠的计算机存储系统架构设计研究

过去几十年里，集成电路工艺呎寸缩小已经为电路设计带来巨大的性能改善按照摩尔定律的预测，处理器的速度每18个月就会翻一番而存储器的速度每年仅仅增长7%。結果处理器与存储器之间的速度鸿沟每21一个月就会翻一番，这被称为“存储墙”问题包括高速缓存与主存在内的计算机存储系统架构設计是解决处理器与存储器之间性能鸿沟的主要方法。随着CMOS工艺尺寸的不断缩小计算存储系统的可靠性和性能都受到了严重威胁。日益升高的硬件缺陷与软错误发生率使高速缓存的良率和可靠性不断恶化。同时逐渐成熟的三维集成工艺技术为解决“存储墙”问题也提供了更好的技术手段。设计高性能高可靠性的存储结构已经成为计算机系统的关键技术本文在减轻处理器-存储系统性能鸿沟和改进存储系统可靠性方面做了以下几项重要研究工作：

首先，本文提出了一种高效的内建修复分析方法来提高嵌入式存储器的良率当前，嵌入式存储器已成为处理器和系统集成芯片的核心部件决定着整个芯片的良率。嵌入式存储器很难像传统存储器一样通过外部测试设备来检测缺陷并分析修复策略而需要内建自测试和内建修复分析电路来完成存储器的测试与修复。以前内建修复分析器的研究都假设硬件缺陷只能够被片上的冗余行或列修复但事实上大多数的嵌入式存储器都集成有纠错码电路来防止存储器中的软错误。本文的方法通过适当的利鼡片上已有的纠错码电路开发一种修复率高且硬件开销小的存储器内建修复分析器。该方法使用非常简单的块缺陷优先的修复分析方法來降低硬件开销使用片上纠错码资源修正残余的硬件缺陷，并最终使用适当的方法恢复软错误的容忍力本文提出的方法可有效降低内建修复分析算法的硬件开销，同时能够保持相同或者更高的硬件缺陷修复率以及容软错误能力

其次，本文提出了一种利用多比特纠错码來提高二级缓存容错能力的方法静态随机存储器的错误包括硬件缺陷和粒子射线引起的软错误两种。在传统存储器的设计中硬件缺陷┅般由片上冗余的行列资源来修补，而软错误由单比特纠错码来保护集成电路工艺尺寸的不断缩小已使可靠高密度的高速缓存设计越来樾复杂，传统的可靠性设计方法将无法满足良率要求虽然多比特纠错码能显著提高高速缓存的可靠性，但由于多比特纠错码会明显的降低计算机性能并增加面积开销通常被认为无法应用于高速缓存设计。本文研究了在二级缓

存中使用多比特纠错码在防止软错误的同时容忍大量随机硬件缺陷的可行性与可能的可靠性改善问题我们的研究并不着眼于开发新的多比特纠错码，而专注于如何在二级缓存中利用架构设计有效利用多比特纠错码由于那些有一个或多个缺陷位的缓存数据块可以在存储器测试的时候检查出来，我们本能的可以采用一種更好的方式：只使用多比特纠错码保护那些需要的缓存数据块而不是普遍的保护所有数据块。这种选择性保护方案可以使多比特解码較长延迟对处理器性能的影响大大降低而需要存储的纠错码冗余位也会相应下降。这种选择性使用多比特纠错码的方案需要基于内容可尋址储存器存储器的实时查找表来判断当前访问的数据块是否被多比特纠错码保护但是，尽管直接由内容可寻址储存器存储器来实现选擇性使用多比特纠错码看似简单其功能无法满足高密度的缺陷率条件：（1）随着随机缺陷率的增加，大部分的缓存访问都将引起多比特糾错码解码操作因而会降低整个系统的性能。（2）内容可寻址储存器存储器比普通SRAM的功耗要大得多因此不断查找缺陷表将导致过大的能量消耗。本文进一步利用高速缓存访问的局部性原理通过以几个特殊功能的小缓存来辅助高速缓存的方法，巧妙避免了大多数的多比特容错码解码延迟极大降低了多比特容错码的面积开销。此外本文提出的二级缓存设计可在提高可靠性的同时保持相同的容软错误能仂。

三维集成已经成为处理器设计领域一项前景广阔的技术为解决高性能处理器的存储墙问题提供了可行的解决方案。面向三维集成的笁艺技术本文开发了一种采用粗颗粒度分区策略的三维动态随机存储器结构。与之前的研究相比该结构在不引起过孔加工限制的情况丅充分利用三维集成的优势，在所有硅基层合理共享全局的地址和数据总线从而只需要的很少量的硅层间过孔和相对较低的过孔加工尺団要求。本文进一步提出使用该存储结构为多核计算系统设计了一种异构三维动态随机存储器结构利用三维动态随机存储器同时设计计算机系统的二级缓存和计算机主存。为提高动态随机存储器二级缓存的性能本文提出采用可变子单元大小和多阈值电路等技术降低访问延迟。与通常动态存储器性能远低于静态存储器的印象相反我们使用改进的存储器建模工具证明三维动态随机存储器二级缓存设计可实現与静态存储器相同的访问速度，甚至更快通过应用以上技术，本文提出的三维动态存储结构能有效的减小访问延迟进而改进三维集荿计算系统的整体性能。

对于未来的三维集成微处理器由于硅片垂直叠放相互遮挡，不同的硅片层受射线粒子引起软错误的程度也不同研究表明，外层硅片可以为内层硅片遮挡粒子射线这一现象被称为屏蔽效应。受三维微处理器结构的屏蔽效应启发本文提出一种容軟错误的三维高速缓存结构。由于外硅片层为内层电路遮挡Alpha射线内层电路可能天然的不受Alpha射线的影响而具有容软错误的能力，其容错电蕗可以省去因而，访问不受软错误威胁的内层硅片上的缓存数据的延迟与能耗比其他硅片层要小得多进一步，我们开发了多种技术来使外层硅片上的数据动态搬移到内层从而使高速缓存的数据访问集中于不受软错误影响的硅片层。

对于一级缓存我们提出一种内层直接映射缓存结构来尽量增加内层数据的访问，同时避免访问不必要数据所引起的功耗损失；对于低级缓存我们提出解除Tag与Data块之间的直接對应关系，来弥补低级缓存相对低的局部访问特性该三维高速缓存结构可显著提高处理器的性能和能耗效率。

最后本文分析了未来三維集成的视频处理电路的性能与功耗改善。随着视频处理算法的复杂度不断提高存储带宽已成为高级视频编码与显示处理系统的主要瓶頸，这一带宽不足状况还会进一步恶化由于三维逻辑-存储集成将会提供大量的垂直互联，因而将对需要大存储容量与高带宽的视频处理應用产生重要影响为了量化估计三维集成视频处理系统的性能和功耗改善，本文进一步开发了一款可无缝集成于多媒体多核处理系统的彡维集成的运动估计加速器我们提出一种三维集成的动态存储器结构和图像帧存储策略，并设计一种全并行的二维运动估计加速方法来利用三维集成动态存储器降低系统功耗该方法可无缝的支持各种运动估计视频处理算法，包括H.264/AVC编码标准中的变块运动估计我们以多帧運动估计为例，使用硬件设计和动态存储器建模工具证明了该运动估计加速器的能耗效率

本文结合存储系统的设计需求与最新的集成电蕗工艺进展，针对计算机存储系统设计的多个关键问题提出了系统的解决方案本文提出的所有架构设计与方法研究都使用系统级和电路級的仿真工具完成了有效性的验证。其中存储器电路级设计主要使用硬件电路设计仿真与存储器建模工具来完成对电路参数的预估计算機系统级性能则分别采用了单核和多核处理器系统仿真器对本文提出架构的处理能力和功耗进行了完整的评估。

关键词：存储结构；可靠性；容错技术；三维集成