探索与实践：动态监测数据平台构建

研究生教育管理动态监测数据平台是实现研究生教育管理动态监测的主要途径，构建动态监测数据平台的关键是对多源异构数据清洗融合。通过动态监测数据平台对监测数据进行群体分析、决策知识表示等，实现个性化、自主化、智能化的管理决策和可视化呈现等，为“双一流”建设、研究生招生计划制定、学位授权审核等研究生教育管理问题提供管理决策支持。

1、动态监测数据平台的架构

动态监测数据平台依据研究生教育规律，用大数据反映研究生教育的基本状态，通过在线方式进行数据采集并提供服务。动态监测数据平台由数据采集、数据存储、数据融合和数据呈现四层组成，平台加强了系统的数据治理功能，构建了用户授权体系、标准规范体系、数据质量体系、信息安全体系和数据管理体系，为平台规范安全运行提供了保障，动态监测数据平台架构图。

1.1数据采集

大数据的来源分为两大类：一是来自物理世界，二是来自人类社会。研究生教育质量动态监测数据平台的数据属于人类社会的数据，主要来自研 究生教育活动过程，来源主要有五个途径：一是公共数据，主要是研究生教育活动相关的各类公开统计数据，特别是政府部门、组织机构和高校发布的各类 公开统计数据。二是网络抓取数据，主要是指利用 网络信息收集技术，对特定主题或指定领域的研究生教育活动进行实时抓取需要的过程数据。三是学校采集数据，平台建设秉持共建共享的原则并面向学校开放，学校可以随时将相关数据资料上传到数据平台，平台对学校用户提供各种查询和信息服务。四是文本报告数据，主要指各类通知、政策文件、年 度报告、总结报告等文本材料。五是国际比较数据，既包含了国内研究生教育在国际的影响和比较数 据，同时还包括国际研究生教育的状态数据。

1.2数据存储

研究生教育管理动态监测数据类型十分复杂多样，既包含结构化数据，如研究生经费、授予学位规模等统计数据，还包含大量的文本报告、图形图像和音频视频材料。大规模的数据生产就必然伴随着大规模的数据存储，传统存储方式有其存储限制，如何高效率管理和存储大量复杂的结构化、半结构化和非结构化数据是动态监测数据平台亟须解决的首要问题。目前很多大数据企业包括  Ｇｏｏｇｌｅ，ＩＢＭ，

Ａｍａｚｏｎ等都在研究分布式存储技术和服务，分布式存储技术改变了人们的存储理念并且是未来存储发展的一种趋势。现有的分布式存储系统有。为了满足平台同源异构数据可扩展、高容错、高可用，且能快速检索的要求，平台采用ＨＤＦＳ分布式存储的架构。ＨＤＦＳ 是 ＧＦＳ 的开源版本实现，主要由管理文件系统元数据的主要节点（ＮａｍｅＮｏｄｅ）和存储实际数据的数据节点组成。ＨＤＦＳ 可以构建典型的ＮｏＳＱＬ 产品———ＨＢａｓｅ分布式数据库，实现对平台数据高效地管理。