教育资源云平台数据存储研究
教育资源云平台数据存储研究 摘要:文章分析了高职院校教育资源的现状和面临的问 题，介绍了云存储的结构模型和优势，提出了一种基于云存 储的数据存储方案．该方案采用Hadoop云平台，将HDFS与现 有高职院校教育云平台相结合，有效解决了教育资源云平台 上海量数据的存储问题． 关键词:教育资源云平台;云存储;Hadoop;HDFS 引言 随着我国高等职业教育事业的蓬勃发展，各高职院校信 息化建设水平也在逐步提升，数字媒体、数字校园的建设在 各高职院校如火如荼地发展，许多高职院校纷纷推出自己的 教育资源云平台．然而，随着教学资源平台的建设和发展， 平台中心的数据在数量上呈几何级数增长，这就意味着需要 更多的硬件设备以及更高的运行维护资金的投入，这也对平 台上数据的存储、检索、分享和管理提出了新的要求．考虑 到传统的数据集中管理、集中存储的模式已经不能适应大数 据时代的发展要求［1］，本文在云计算概念的基础上，提 出了一种基于云存储的高职院校教育资源云平台的数据存 储方案，其通过集中提供数据存储功能，能有效解决教育资 源云平台上海量数据的存储问题，也可以为高职院校教育资 源信息化建设提供技术保证． 1云存储技术 1．1云存储云存储是随着云计算技术的出现而产生的一种新的存 储方式，是云计算技术的存储部分，位于云计算技术的底层． 它利用虚拟化技术将网络中大量的异构存储设备通过应用 软件集合起来，虚拟化为易扩展、弹性、透明、可伸缩性的 存储资源池．形象地说，云存储就是将目标资源存储在云端 服务器，形成一个数据中心，并通过计算机网络为用户提供 服务，其示意图如图1所示［2］． 1．2云存储体系结构 云存储是一个集网络设备、存储设备、服务器、应用软 件和客户端等于一体的系统，从功能上可以把它划分为四 层:存储层、基础管理层、应用接口层和访问层，其体系结 构如图2所示［3］．(1)存储层．该层是整个体系最基础部 分，其设备可以是网络附属存储(NAS)、存储区域网络(SAN)， 也可以是PC机上的硬盘等．(2)基础管理层．该层是整个体 系最核心部分，它把存储层中分布在不同地域，且数量众多 的异构存储设备通过应用软件集合起来，虚拟化为一个集中 存储资源池．(3)应用接口层．该层是用户使用云存储服务 时直接面对的界面，用户可通过该接口对云端的数据执行存 取、修改等操作．(4)访问层．用户可以通过该层登录到云 存储系统，享受系统服务． 2云平台数据存储的优势 大多数高职院校在未使用云计算技术构建教育资源云 平台之前，教学资源一般都使用多个磁盘阵列来作为存储设备，这样做存储成本较高．而采用云计算技术构建教育资源 云平台之后，由于云计算中的存储设备大多采用廉价的PC机 群来充当，这与大容量专用的存储设备相比，存储容量更大， 存储成本却反而降低．另外，由于传统的存储方式往往�用 非结构化存储，高职院校各部门之间各自为政，缺少统一规 划，造成教育资源重复建设，而且各部门之间的教育资源可 能存在访问和共享的障碍．云存储通过在教育云平台中建一 个高效的数据存储中心，将各个院系的资源进行接入，不仅 可以对高校资源进行统一整合管理，而且可以避免设备的重 复投资以及存储空间浪费等问题．同时也有助于减少资源维 护成本，提高资源存储的安全性、可靠性和可扩展性［4］． 3云平台的数据存储方案
设计 3．1体系架构目前主流的云平台有微软的Azure，Apache 的Hadoop，阿里巴巴的阿里云，谷歌的GooleAp-pEngine， 亚马逊的EC2等．鉴于Hadoop云平台具有可靠、高效、易伸 缩、高容错、低成本等优点，本文采用Hadoop来搭建高职院 校的
教育资源云平台．该云平台借助云计算技术，将学院现 有的软硬件资源和教育教学资源进行有效整合，旨在为全院 师生提供一个开放互联、统一
管理的应用服务平台．因此， 云平台在设计时采用分层设计方式，将数据存储和处理、业 务逻辑和应用服务三个核心内容分别放在架构层、平台层和 应用层．其体系架构图如图3所示［5］． 3．2数据存储方案设计从图3可以看出，存储层位于最底层，由大量的异构物 理硬件构成．这些物理硬件设备可利用虚拟化技术整合为逻 辑上单一的存储设备．目前有多种云存储方案可供选择，如: 光纤通道存储局域网络(FCSAN)、基于iSCSI技术的存储局域 网络(IPSAN)、网络文件系统(NFS)．不同的云存储方案对云 平台的要求和影响是不一样的，有的甚至限制云平台的发展 ［6］．鉴于Hadoop云平台的优势，本文采用Hadoop云平台 实现分布式文件系统，简称HDFS．HDFS是Google的文件系统 GFS的开源实现，具有低成本、高容错、可扩展性好，并支 持超大文件的储存和流式数据访问模式等特点．因而将HDFS 与现有教育平台相结合，无疑是一种较好的存储方案，它能 为教育
资源云平台提供海量的数据存储和高效的数据处理． 3．3HDFS工作机制 HDFS采用典型的主从式(Master/Slave)架构，由一个控 制节点(NameNode)和多个数据节点(Da-taNode)组成． NameNode节点负责存储任务的管理与分配，其将文件系统的 元数据保存在内存中，并维护整个文件系统及其命名空间， 而实际的数据却是存储在DataNode节点中．同时，DataNode 节点还响应来自HDFS客户机的读写请求，以及来自 Nam-eNode的创建、删除和复制块的命令．其系统架构如图4 所示［7］．从图4可以看出，存储在HDFS中的文件首先被分 成块，然后将这些块复制到多个计算机中(Da-taNode)．而 对于外部客户机而言，HDFS就像一个传统的分级文件系统，可以对文件执行创建、删除、移动或重命名等操作．另外， 它还可以运行在由普通且廉价的机器搭建的集群上，从而被 广泛用来搭建各种云平台［8］． 4基于云存储的高职院校教育资源云平台的数据存储方 案实现 4．1云存储系统的搭建 (1)硬件搭建．为简单起见，本文采用7台PC机和1台交 换机搭建一个小型局域网，组成HDFS集群，其中2台作为 NameNode节点(Master1，Mas-ter2)，其中1台作为主服务器， 1台为备用服务器，以便在主服务器暂停运行时快速进行切 换，其他5台作为DataNode节点(Slave1，……，Slave5)． 其结构图如图5所示．(2)软件部署．每个节点均安装Linux 操作系统及第三方软件JavaJDK、Hadoop和Zookeeper，并加 以配置．其中，Hadoop的环境变量配置如 下:vim/etc/profileexportJAVA_HOME=/usr/java/jdk1．7． 0_51exportHADOOP_HOME=/usr/hadoopexportPATH=MYMPATH :MYMJAVA_HOME/bin:MYMHADOOP_HOME/bin(3)网络配置．为 每个节点配置IP地址如图6所示．至此，云存储系统已搭建 完毕．经过测试，可以实现云存储系统与教育资源云平台的 连接. 4．2云存储功能的实现 通过对高职院校教育资源云平台的功能需求进行分析 可知，云存储系统作为云平台的数据存储和管理中心，其主要功能列表如图7所示．由于HDFS的底层均是基于java开发 的，还需要安装第三方软件eclipse，通过调用HDFSAPI接口 程序，使用DistributedFileSystem类中的相关方法，可以 实现云存储的相关功能．限于篇幅，以下仅以文件的上传为 例，来说明实现云存储的功能［9］．其主要方法如下:通过 调用FileSystem类下的copyFromLocalFile()方法将本地文 件上传到HDFS的指定目录下．执行代码如图8所示．通过测 试发现，已将客户端位于localPath目录下的文件上传到 HDFS中指定目录hdfsPath下存储，从而实现了文件的上传功 能． 5结语 云存储是云计算时代的一场新的存储方式，它可以提供 海量数据的存储和访问服务，能节约存储成本．本文采用 Hadoop平台，将HDFS与现有高职院校教育平台相结合，提出 了一种新的数据存储
方案，能较好地推动高职院校教育资源 信息化建设．
