教育大数据分析：方法与探索-最新教育资料

教育大数据分析：方法与探索

一、大数据与大数据分析概述

随着数据获取、存储等技术的不断发展，以及人们对数据的重视程度不断提高，大数据得到了广泛的重视，不仅仅在IT领域，包括经济学领域、医疗领域、营销领域等等。例如，在移动社交网络中，用户拍照片、上网、评论、点赞等信息积累起来都构成大数据；医疗系统中的病例、医学影像等积累起来也构成大数据；在商务系统中，顾客购买东西的行为被记录下来，也形成了大数据。

时至今日，大数据并没有特别公认的定义。有三个不同角度的定义：（1）“大数据”指的是所涉及的数据量规模巨大到无法通过人工在合理时间内达到截取、管理、处理并整理成为人类所能解读的信息[1]。（2）“大数据”指不用随机分析法（抽样调查）这样的捷径，而采用所有数据进行分析处理的方法的数据[2]。（3）“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

通常把大数据的特点归纳为4个V，即数据量大（Volume）、数据类型多（Varity）、数据的价值密度低（Value）以及数据产生和处理的速度非常快（Velocity）。

对大数据进行分析可以产生新的价值。数据分析的概念诞生

于大数据时代之前，但传统的数据分析和大数据分析是不同的。传统的数据分析往往是由客户提出一个问题，分析者围绕该问题建立一个系统，进而基于该系统解释这个问题；而大数据分析有时候并没有明确的问题，而是通过搜集数据，浏览数据来提出问题。

另一方面，传统的数据分析是在可用的信息上进行抽样，大数据分析则是对数据进行不断的探索，通过全局分析连接数据，达到数据分析的目的。

传统的数据分析的方法，往往是大胆假设小心求证，先做出假设，再对数据进行分析，从而验证先前的假设；而大数据分析则是对大数据进行探索来发现结果，甚至发现错误的结果，之后再通过数据验证结果是否正确。

因此，传统的数据分析可以看成一种静态的分析，大数据分析可以看成一种动态的分析。尽管如此，大数据分析和传统数据分析也并非是泾渭分明的，传统数据分析的方法是大数据分析的基础，在很多大数据分析的工作中仍沿用了传统数据分析的方法。

基于上述讨论，我们给出“大数据分析”的定义：用适当的统计分析方法对大数据进行分析，提取有用信息并形成结论，从而对数据加以详细研究和概括总结的过程。

大数据分析分为三个层次[3]，即描述分析、预测分析和规范分析。描述分析是探索历史数据并描述发生了什么（分析已经

发生的行为），预测分析用于预测未来的概率和趋势（分析可能发生的行为），规范分析根据期望的结果、特定场景、资源以及对过去和当前事件的了解对未来的决策给出建议（分析应该发生的行为）。例如，对于学生学习成绩的分析，描述分析是通过分析描述学生的行为，如是否成绩高的同学回答问题较多；预测分析是根据学生的学习行为数据对其分数进行预测，如根据学生回答问题的次数预测其成绩；而规范分析则是根据学生的数据得到学生下一步的学习计划，如对学生回答问题的最优次数提出建议。

大数据分析的过程可以划分为如下7个步骤：（1）业务调研，即明确分析的目标；（2）数据

准备，收集需要的数据；（3）数据浏览，发现数据可能存在的关联；（4）变量选?瘢?找出自变量与因变量；（5）定义模式，确定模型；（6）计算模型的参数；（7）模型评估。

我们以预测学生学习成绩为例解释上述过程。首先，我们的目的是根据学生的行为预测学习成绩。接下来，对于传统的方法来说，通过专家的分析确定需要什么数据，比如专家提出对学生成绩有影响的数据，包括出勤率、作业的完成率等，可以从数据源获取这样的数据；大数据分析的方法有所不同，是找到所有可能相关的数据，甚至包括血型等，这些数据与成绩之间的关系未必有影响，就算发现了关系也未必可以解释，但是获取尽可能多的数据有可能发现未知的关联关系。

上面的步骤包括了很多因素，下面确定哪些因素会体现在模型中，可以通过可视化等方法发现哪些因素和我们的分析目标相关，也可以通过特征工程的方法选择包含在模型中的变量，并排除一些相关的自变量，比如学生的起床时间和吃早饭的时间存在关联，在模型中可以只考虑其中之一，加快计算速度。

再接下来是定义模型的模式，比如可以把上述问题定义为线性回归，再通过一些算法确定模型中的参数，从而得到最后的模型。然后对模型进行评估，检验这个模型是不是真的有效，以及是否是可解释的。有些有用的模型并不见得可解释，例如发现了血压对成绩有影响，这个是有用的，但是未必有一个明确的解释。

二、在线教育大数据分析研究现状

在线教育大数据为教育研究的进行提供了非常好的途径和

机会，它构成了一个跨国家、跨文化、跨职业、跨阶层的平台，学习者的每个行为都为研究者贡献了数据。而通过研究这些数据，我们可以发现新的规律，或是指导学习者的行为，例如预测学生的学习情况、课程的受欢迎程度以及发现新的学习方法等。利用平台得到的数据，预测并回馈给平台，从而可以达到改进平台的目的，还可以为平台发现新的业务。

当前在线教育大数据的研究已经开始，但是研究成果并不多，主要的研究对象是学生，集中在对学生学习行为的研究，而授课人员的行为和平台的行为这两个方面的研究比较少。我们将现有的主流研究内容进行归类，分为多个方面，包括：

（1）学习者行为分析与预测；

（2）学习者学习效果分析与预测；

（3）平台供应商数据分析。

学习者行为分析与预测的研究指的是，通过学习者在MOOC 平台上产生并积累的行为数据，采用量化学习者行为特征的方式，对其学习行为进行分析与预测。具体而言，文献[4]研究了在MOOC平台上有退课风险的学习者的早期预警问题，他们基于回归分析的方法，提出了两种迁移学习算法，通过增添正则项最小化连续不间断学习周中的失败概率。文中提出了三个方法，分别是LR-SEQ，LR-SIM与LR-MOV，其中在AUC指标上LR-SIM与LR-MOV效果更好，LR-SIM在开课前两周的预测相对于其他方法更为出色。文献[5]采用了机器学习的方法研究了学习者退课率的预测方法，他们仅利用了网页浏览流数据，提出了基于支持向量机的机器学习模型以预测学习者的退课情况。他们的方法随着课程的进行，预测准确率逐渐上升，但在开课前几周的预测效果不够理想。文献[6]同样研究了学习者退课预测的问题，他们采用的方法是构建精确的预测模型与数据的时态与非时态表达，得到了较为良好的AUC指标。文献[7]则是采用了隐形马尔科夫模型对学习者课程滞留情况进行了预测，他们通过简单交叉乘积的方法，将连续特征编码为单一离散可观察状态。文献[8]同样研究了退课问题，他们构建了时序模型，通过标签的方法，采用了LSTM单元的RNN模型。他们得到的结果说明了在此问题上使用

LSTM单元要比普通的RNN效果更好。文献[9]研究了在MOOC平台上的学习者行为预测模型的迁移学习，他们提出了学习者预测的实时方法，并提出了对于同一个预测问题，建立表达式以改变这些方法的参数设置，实验证明了迁移学习可以使得两种方法的效果等价。文献[10]则首次针对中文MOOC中学习行为的特点将学习者分类以考察学习行为与效果之间的关系，这项工作使得人们可以有效判别一个学习者是否能够或潜在能够完成学习任务。文献[11]通过学习者积累的作业文章与MOOC浏览流数据对学习行为进行了分析与预测。文献[12]对学习者高风险退课进行预警。[4] He J， Bailey J， Rubinstein B I P， et al. Identifying At-Risk Students in Massive Open Online Courses[J]. Aaai， 2015.

[5] Kloft M， Stiehler F， Zheng Z， et al. Predicting MOOC Dropout over Weeks Using Machine Learning Methods[A]. EMNLP 2014 Workshop on Analysis of Large Scale Social Interaction in Moocs. 2014：60-65.

[6] Taylor C， Veeramachaneni K，O’Reilly U M. Likely to stop？ Predicting Stopout in Massive Open Online Courses[J]. Computer Science， 2014.

[7] Balakrishnan G， Coetzee D. Predicting student retention in massive open online courses using hidden markov models[J]. Electrical Engineering and Computer

Sciences University of California at Berkeley， 2013.

[8] Fei M， Yeung D Y. Temporal Models for Predicting Student Dropout in Massive Open Online Courses[A]. IEEE International Conference on Data Mining Workshop. IEEE，2015：256-263.

[9] Boyer S， Veeramachaneni K. Transfer Learning for Predictive Models in Massive Open Online Courses[M]// Artificial Intelligence in Education. Springer International Publishing， 2015：54-63.

[10] Tang S， Peterson J C， Pardos Z A. Deep Neural Networks and How They Apply to Sequential Education Data[A]. Proceedings of the Third （2016） ACM Conference on Learning Scale. ACM， 2016： 321-324.

[11] ?Y卓轩，张岩，李晓明. 基于MOOC数据的学习行

为分析与预测[J]. 计算机研究与发展， 2015， 52（3）：614-628.

[12] Halawa S， Greene D， Mitchell J. Dropout prediction in MOOCs using learner activity features[J]. Experiences and best practices in and around MOOCs， 2014，7.

[13] Brinton C G， Chiang M. Mooc performance prediction via clickstream data and social learning networks[A]. Computer Communications （INFOCOM）， 2015

IEEE Conference on. IEEE， 2015： 2299-2307.

[14] Brinton C G， Buccapatnam S， Chiang M， et al. Mining MOOC Clickstreams： Video-Watching Behavior vs. In-Video Quiz Performance[J]. IEEE Transactions on Signal Processing， 2016， 64（14）： 3677-3692.

[15] Toscher A， Jahrer M. Collaborative filtering applied to educational data mining[J]. KDD cup， 2010.

[16] KDD Cup 2010： Educational Data Mining Challenge - PSLC DataShop[EB/OL]. https：

//https://www.sodocs.net/doc/2814583601.html,/KDDCup/.

[17] Meier Y， Xu J， Atan O， et al. Predicting grades[J]. IEEE Transactions on Signal Processing， 2016，64（4）： 959-972.

[18] Sanchez-Santillan M， Paule-Ruiz M P， Cerezo R，et al. Predicting Students’ Performance： Incremental Interaction Classifiers[A]. Proceedings of the Third （2016） ACM Conference on Learning Scale. ACM， 2016：217-220.

[19] Ruiperez-Valiente J A， Alexandron G， Chen Z，et al. Using multiple accounts for harvesting solutions in moocs[A]. Proceedings of the Third （2016） ACM Conference on Learning Scale. ACM， 2016： 63-70.

[20] Pang Y， Wang T， Wang N. MOOC Data from Providers[A]. Enterprise Systems Conference （ES）， 2014. IEEE， 2014： 87-90.

[21] Williams J J， Kim J， Rafferty A， et al. Axis：Generating explanations at scale with learnersourcing and machine learning[A]. Proceedings of the Third （2016） ACM Conference on Learning Scale. ACM， 2016： 379-388.

[22] McBride E， Vitale J M， Gogel H， et al. Predicting Student Learning using Log Data from Interactive Simulations on Climate Change[A]. Proceedings of the Third （2016） ACM Conference on Learning Scale. ACM， 2016：185-188.

[23] Kizilcec R， Halawa S. Attrition and Achievement Gaps in Online Learning[A]. Proceedings of the Second （2015） ACM Conference on Learning Scale. ACM， 2015：57-66.

大数据分析平台技术要求

大数据平台技术要求 1.技术构架需求 采用平台化策略，全面建立先进、安全、可靠、灵活、方便扩展、便于部署、操作简单、易于维护、互联互通、信息共享的软件。 技术构架的基本要求： ?采用多层体系结构，应用软件系统具有相对的独立性，不依赖任何特定的操作系统、特定的数据库系统、特定的中间件应用服务器和特定的硬 件环境，便于系统今后的在不同的系统平台、不同的硬件环境下安装、 部署、升级移植，保证系统具有一定的可伸缩性和可扩展性。 ?实现B（浏览器）/A（应用服务器）/D（数据库服务器）应用模式。 ?采用平台化和构件化技术，实现系统能够根据需要方便地进行扩展。2. 功能指标需求 2.1基础平台 本项目的基础平台包括：元数据管理平台、数据交换平台、应用支撑平台。按照SOA的体系架构，实现对我校数据资源中心的服务化、构件化、定制化管理。 2.1.1元数据管理平台 根据我校的业务需求，制定统一的技术元数据和业务元数据标准，覆盖多种来源统计数据采集、加工、清洗、加载、多维生成、分析利用、发布、归档等各个环节，建立相应的管理维护机制，梳理并加载各种元数据。 具体实施内容包括： ●根据业务特点，制定元数据标准，要满足元数据在口径、分类等方面的 历史变化。 ●支持对元数据的管理，包括：定义、添加、删除、查询和修改等操作，

支持对派生元数据的管理，如派生指标、代码重新组合等，对元数据管 理实行权限控制。 ●通过元数据，实现对各类业务数据的统一管理和利用，包括： ?基础数据管理：建立各类业务数据与元数据的映射关系，实现统一的 数据查询、处理、报表管理。 ?ETL：通过元数据获取ETL规则的描述信息，包括字段映射、数据转 换、数据转换、数据清洗、数据加载规则以及错误处理等。 ?数据仓库：利用元数据实现对数据仓库结构的描述，包括仓库模式、 视图、维、层次结构维度描述、多维查询的描述、立方体（CUBE）的 结构等。 ●元数据版本控制及追溯、操作日志管理。 2.1.2数据交换平台 结合元数据管理模块并完成二次开发，构建统一的数据交换平台。实现统计数据从一套表采集平台，通过数据抽取、清洗和转换等操作，最终加载到数据仓库中，完成整个数据交换过程的配置、管理和监控功能。 具体要求包括： ●支持多种数据格式的数据交换，如关系型数据库：MS-SQLServer、MYSQL、 Oracle、DB2等；文件格式：DBF、Excel、Txt、Cvs等。 ●支持数据交换规则的描述，包括字段映射、数据转换、数据转换、数据 清洗、数据加载规则以及错误处理等。 ●支持数据交换任务的发布与执行监控，如任务的执行计划制定、定期执 行、人工执行、结果反馈、异常监控。 ●支持增量抽取的处理方式，增量加载的处理方式； ●支持元数据的管理，能提供动态的影响分析，能与前端报表系统结合， 分析报表到业务系统的血缘分析关系； ●具有灵活的可编程性、模块化的设计能力，数据处理流程，客户自定义 脚本和函数等具备可重用性； ●支持断点续传及异常数据审核、回滚等交换机制。

基于大数据的学习行为分析

基于大数据的学习行为分析 斯坦福大学于2016 年发布了《2030 年的人工智能与生活》报告，该报告指出：新一代人工智能技术将深刻地影响教育领域，支撑智慧教育的实现。随后，美国白宫发表的Artificial Intelligence, Automation，and the Economy 报告也着重指出：人工智能技术未来会在学校广泛应用，基于人工智能的自动辅助教学工具会渗透到教学的方方面面，实现真正意义的个性化教育。面对当今势头强劲的在线教育，人工智能技术正在对其产生多方面的影响。 面向教育的大数据分析实例 大数据的发展为教学管理提供了更多的管理手段，基于大数据预测、分析基础上的教学管理方法和决策模型，在传统的教学模型上有了很多的改变，大数据技术和互联网思维将影响教育发展规划，加快推进教学活动与现代科技的融合。 以大数据为基础的教学管理主要体现在三个方面： （1）评价日常教学的质量：主要是分析学生的成绩，了解学生知识掌握 情况，对不同班级的教学效果进行横向比较。 （2）改进和提高教学方法：通过分析学习轨迹数据，查找教学的薄弱环节，提供改进意见。 （3）支持教学的运行决策：分析学校师资、资源、管理等方面的状况，优化学校的教学资源配置，正确运用评价结果，全面诊断学校的教育教学水平， 发现其中的薄弱领域和环节，从而为下一步改进提供依据。 以下通过两个实例，分别从两个方面介绍大数据在教学中的应用。

1普渡大学Signal 学业预警系统 学业预警是指学校针对学生在求学过程中出现的学业不佳、违规违纪等现象，对学生本人及家长作出及时提示，并采取相关措施以帮助学生顺利完成学业的一种监督管理制度。 随着我国高等教育步入大众化阶段，各类高等院校在面临诸多发展机遇的同时迎来了巨大的挑战，在校大学生数量急剧增加，许多学生由于自身学习目标迷茫、学习态度不端正、自主学习能力和自控能力较差和受到如网络世界、交友不慎、家庭条件等外界因素影响，导致学业状况不佳，从而无法按时顺利毕业。 因此利用学业预警机制对学生学业进行实时动态监控、成绩预测和预警，不仅能帮助学生有效规避学业危机，引导和督促学生科学学习，还可以保障学校教育教学质量，促进建设和谐高校。 国内的学业预警系统形式单一、功能有限，学业预警机制难以落实到位，缺乏时效性。美国一些高校通过对学生的SAT 成绩、家庭经济情况、宿舍停留时间长短以及食堂用餐情况的分析，了解他们退学的可能性，以便帮助那些在学业以及大学生活适应性上出现问题的学生。 普渡大学的退学预警系统是基于对学生学业变量，如课程GPA 成绩、等级考试成绩以及学生登录课程网站频率的分析。在这些方面综合表现不好的学生会被亮黄灯甚至红灯，然后收到一封学业失败危险预警邮件。 邮件建议他们尽快与导师联系，或者寻求外界帮助。普渡大学的研究者发现，那些曾经被亮黄灯，即处在中度学业失败危险的学生，收到预警邮件后会在课堂上表现得更好。而那些直接被亮红灯，即处于高危群体的学生，

大数据分析平台的需求报告模板

大数据分析平台的需求报告 提供统一的数据导入工具，数据可视化工具、数据校验工具、数据导出工具和公共的数据查询接口服务管理工具是建立大数据分析平台的方向。 一、项目范围的界定 没有明确项目边界的项目是一个不可控的项目。基于大数据分析平台的需求，需要考虑的问题主要包括下面几个方面： （1）业务边界：有哪些业务系统的数据需要接入到大数据分析平台。 （2）数据边界：有哪些业务数据需要接入大数据分析平台，具体的包括哪些表，表结构如何，表间关系如何（区别于传统模式）。 （3）功能边界：提供哪些功能，不提供哪些功能，必须明确界定，该部分详见需求分析； 二、关键业务流程分析 业务流程主要考虑包括系统间数据交互的流程、传输模式和针对大数据平台本身涉及相关数据处理的流程两大部分。系统间的数据交互流程和模式，决定了大数据平台的架构和设计，因此必须进行专项分析。大数据平台本身需要考虑的问题包括以下几个方面： 2.1 历史数据导入流程 2.2 增量数据导入流程 2.3 数据完整性校验流程

2.4 数据批量导出流程 2.5 数据批量查询流程 三、功能性需求分析 3.1.历史数据导入3.1.1 XX系统数据3.1.1.1 数据清单 (3) 3.1.1.2 关联规则 (3) 3.1.1.3 界面 (3) 3.1.1.4 输入输出 (3) 3.1.1.5 处理逻辑 (3) 3.1.1.6 异常处理 (3) 3.2 增量数据导入3.3 数据校验 3.4 数据导出 3.5 数据查询 四、非功能性需求 4.1 性能

4.2 安全性 4.3 可用性 … 五、接口需求 5.1 数据查询接口 5.2 批量任务管理接口 5.3 数据导出接口 六、集群需求 大数据平台的技术特点，决定项目的实施必须考虑单独的开发环境和生产环境，否则在后续的项目实施过程中，必将面临测试不充分和性能无法测试的窘境，因此前期需求分析阶段，必须根据数据规模和性能需求，构建单独的开发环境和生产环境。 6.1开发环境 6.1.1 查询服务器 6.1.2 命名服务器 6.1.3 数据服务器 6.2 生产环境 6.2.1 查询服务器

大数据处理技术的总结与分析

数据分析处理需求分类 1 事务型处理 在我们实际生活中,事务型数据处理需求非常常见,例如：淘宝网站交易系统、1２306网站火车票交易系统、超市ＰOＳ系统等都属于事务型数据处理系统。这类系统数据处理特点包括以下几点: 一就是事务处理型操作都就是细粒度操作,每次事务处理涉及数据量都很小。 二就是计算相对简单，一般只有少数几步操作组成，比如修改某行得某列; 三就是事务型处理操作涉及数据得增、删、改、查,对事务完整性与数据一致性要求非常高。 四就是事务性操作都就是实时交互式操作,至少能在几秒内执行完成； 五就是基于以上特点,索引就是支撑事务型处理一个非常重要得技术. 在数据量与并发交易量不大情况下,一般依托单机版关系型数据库,例如OＲＡＣLＥ、MＹSQL、SQＬSERVER,再加数据复制（DataGurａd、RＭAＮ、ＭｙSQＬ数据复制等)等高可用措施即可满足业务需求。 在数据量与并发交易量增加情况下，一般可以采用ORＡLＣＥRAC集群方式或者就是通过硬件升级（采用小型机、大型机等，如银行系统、运营商计费系统、证卷系统)来支撑. 事务型操作在淘宝、1230６等互联网企业中,由于数据量大、访问并发量高，必然采用分布式技术来应对,这样就带来了分布式事务处理问题，而分布式事务处理很难做到高效，因此一般采用根据业务应用特点来开发专用得系统来解决本问题。

２数据统计分析 数据统计主要就是被各类企业通过分析自己得销售记录等企业日常得运营数据,以辅助企业管理层来进行运营决策。典型得使用场景有:周报表、月报表等固定时间提供给领导得各类统计报表;市场营销部门,通过各种维度组合进行统计分析,以制定相应得营销策略等． 数据统计分析特点包括以下几点: 一就是数据统计一般涉及大量数据得聚合运算，每次统计涉及数据量会比较大。二就是数据统计分析计算相对复杂，例如会涉及大量goｕpbｙ、子查询、嵌套查询、窗口函数、聚合函数、排序等；有些复杂统计可能需要编写ＳQＬ脚本才能实现． 三就是数据统计分析实时性相对没有事务型操作要求高。但除固定报表外,目前越来越多得用户希望能做做到交互式实时统计； 传统得数据统计分析主要采用基于ＭＰP并行数据库得数据仓库技术.主要采用维度模型,通过预计算等方法，把数据整理成适合统计分析得结构来实现高性能得数据统计分析，以支持可以通过下钻与上卷操作,实现各种维度组合以及各种粒度得统计分析。 另外目前在数据统计分析领域,为了满足交互式统计分析需求，基于内存计算得数据库仓库系统也成为一个发展趋势,例如SAP得HANA平台。 3 数据挖掘 数据挖掘主要就是根据商业目标，采用数据挖掘算法自动从海量数据中发现隐含在海量数据中得规律与知识。

工程大数据分析平台

工程大数据分析平台 随着大数据时代来临、无人驾驶和车联网的快速发展，汽车研发部门需要处理的数据量激增、数据类型不断扩展。相关数据涵盖车内高频CAN 数据和车外ADAS 视频非结构化数据、位置地理空间数据、车辆运营数据、用户CRM 数据、WEB 数据、APP 数据、和MES 数据等。 在此背景下，整车厂研发部门关心的是：如何将企业内部的研发、实验、测试、生产数据，社会用户的用车数据，互联网第三方数据等结合起来，将异构数据和同构数据整合到一起，并在此基础上，实现业务系统、分析系统和服务系统的一体化；怎样利用深度的驾驶员行为感知、智能的车辆预防性维护、与实时的环境状态交互，通过大数据与机器学习技术，建立面向业务服务与产品持续优化的车联网智能分析；最终利用数据来为产品研发、生产、销售、售后提供精准的智能决策支撑。这些都是整车厂在大数据时代下亟待解决的问题。 针对这一需求，恒润科技探索出以EXCEEDDATA 大数据分析平台为核心的汽车工程大数据整体解决方案。借助EXCEEDDATA 大数据分析平台，企业可以集成、处理、分析、以及可视化海量级别的数据，可实现对原始数据的高效利用，并将原始数据转化成产品所需的智能，从而改进业务流程、实现智慧决策的产业升级。 产品介绍: ●先进的技术架构 EXCEEDDATA 采用分布式架构、包含集成处理（ETL）与分析挖掘两大产品功能体系，共支持超过20 多个企业常见传统数据库和大数据源系统，超过50 多个分析处理算法、以及超过丰富的可视化智能展现库。用户可以自主的、灵活的将各种来源的原始数据与分析处

理串联应用，建立科学的数据模型，得出预测结果并配以互动的可视化智能，快速高效的将大数据智能实现至业务应用中。 平台包括分布式大数据分析引擎、智能终端展示、以及API。大数据分析引擎为MPP 架构，建立在开源的Apache Hadoop 与Apache Spark 之上，可简易的scale-out 扩展。在分析引擎的基础上包含数据源库、数据转换匹配器、数据处理操作库、机器学习算法库、可视化图形库等子模块。智能终端展示为行业通用的B/S 架构，用户通过支持跨操作系统和浏览器的HTML5/JS 界面与API 来与平台互动。

教育大数据分析：方法与探索-最新教育资料

教育大数据分析：方法与探索 一、大数据与大数据分析概述 随着数据获取、存储等技术的不断发展，以及人们对数据的重视程度不断提高，大数据得到了广泛的重视，不仅仅在IT领域，包括经济学领域、医疗领域、营销领域等等。例如，在移动社交网络中，用户拍照片、上网、评论、点赞等信息积累起来都构成大数据；医疗系统中的病例、医学影像等积累起来也构成大数据；在商务系统中，顾客购买东西的行为被记录下来，也形成了大数据。 时至今日，大数据并没有特别公认的定义。有三个不同角度的定义：（1）“大数据”指的是所涉及的数据量规模巨大到无法通过人工在合理时间内达到截取、管理、处理并整理成为人类所能解读的信息[1]。（2）“大数据”指不用随机分析法（抽样调查）这样的捷径，而采用所有数据进行分析处理的方法的数据[2]。（3）“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 通常把大数据的特点归纳为4个V，即数据量大（Volume）、数据类型多（Varity）、数据的价值密度低（Value）以及数据产生和处理的速度非常快（Velocity）。 对大数据进行分析可以产生新的价值。数据分析的概念诞生

于大数据时代之前，但传统的数据分析和大数据分析是不同的。传统的数据分析往往是由客户提出一个问题，分析者围绕该问题建立一个系统，进而基于该系统解释这个问题；而大数据分析有时候并没有明确的问题，而是通过搜集数据，浏览数据来提出问题。 另一方面，传统的数据分析是在可用的信息上进行抽样，大数据分析则是对数据进行不断的探索，通过全局分析连接数据，达到数据分析的目的。 传统的数据分析的方法，往往是大胆假设小心求证，先做出假设，再对数据进行分析，从而验证先前的假设；而大数据分析则是对大数据进行探索来发现结果，甚至发现错误的结果，之后再通过数据验证结果是否正确。 因此，传统的数据分析可以看成一种静态的分析，大数据分析可以看成一种动态的分析。尽管如此，大数据分析和传统数据分析也并非是泾渭分明的，传统数据分析的方法是大数据分析的基础，在很多大数据分析的工作中仍沿用了传统数据分析的方法。 基于上述讨论，我们给出“大数据分析”的定义：用适当的统计分析方法对大数据进行分析，提取有用信息并形成结论，从而对数据加以详细研究和概括总结的过程。 大数据分析分为三个层次[3]，即描述分析、预测分析和规范分析。描述分析是探索历史数据并描述发生了什么（分析已经

教育大数据平台建设方案

教育大数据平台建设方案 2016年7月14日

1. 教育大数据平台建设 (3) 1.1数据采集与治理系统建设 (3) 1.2日志管理中心建设 (4) 1.3元数据管理系统建设 (5) 1.4数据建模系统建设 (6) 1.5数据可视化系统建设 (7) 2. 大数据平台建设 (8) 2.1权限管理中心建设 (8) 2.2仪表板系统建设 (9) 2.3分析报告系统建设 (9) 2.4用户画像系统建设 (10) 2.5智能预警系统建设 (10) 2.6学生/教师发展中心系统建设 (11) 2.7统一门户系统建设 (11) 3、功能参数列表 (12)

1.教育大数据平台建设 教育大数据平台的建设，无需学校现使用的各种软件系统的开发商，通过开发接口的方式进行数据采集或对接，从而实现学校各系统之间数据无感知采集。并完成数据治理，最终实现数据融合，解决数据孤岛问题，为各个平台提供自动化数据支撑。 通过对数据进行采集和治理，包含学校结构化数据、半结构化数据和非结构化数据，保证数据的完整性和全面性，实现数据融合。根据分析的目标和需要解决的问题结合全面的数据，才能完成全面的数据挖掘与分析，从而实现数据多维度、有深度的应用，让数据不仅仅是作为结果输出，而是形成业务流程闭环，全方位应用于学生培养和学校日常工作，为学校建设提供重要的依据。将学校各应用系统的数据进行采集和整合，打破数据孤岛，实现数据的共享和应用，为大数据分析打好基础。 1.1数据采集与治理系统建设 提供可视化界面进行数据源接入的配置操作；采集方式不影响数据源所属服务器/设备/数据库/Web服务的正常运行。支持不同网络之间的数据同步功能；支持不同类型数据源之间的数据同步功能；提供可视化的数据集成功能，实现自动化的任务调度，并智能化监控数据集成的过程。 在满足数据库的数据采集同时，学校老师也可自行导入数据。本数据采集工具优于一般数据仓库或非大数据厂家的采集方式，可以让学校各系统在正常运行的情况下，进行无感知全量或增量采集。 一般当前数据包含结构化数据、半结构化数据和非结构数据，且学校数据在使用不同的系统时，数据多存储在不同的数据库，无法将数据进行集合处理为学校管理做出数据支撑，也无法有效追溯数据问题。教育大数据平台的数据采集功

大数据分析平台技术要求

大数据平台技术要求 1. 技术构架需求 采用平台化策略，全面建立先进、安全、可靠、灵活、方便扩展、便于部署、操作简单、易于维护、互联互通、信息共享的软件。 技术构架的基本要求： 采用多层体系结构，应用软件系统具有相对的独立性，不依赖任何特定的操作系统、特定的数据库系统、特定的中间件应用服务器和特定的硬 件环境，便于系统今后的在不同的系统平台、不同的硬件环境下安装、 部署、升级移植，保证系统具有一定的可伸缩性和可扩展性。 实现B（浏览器）/A（应用服务器）/D（数据库服务器）应用模式。 采用平台化和构件化技术，实现系统能够根据需要方便地进行扩展。2. 功能指标需求 2.1基础平台 本项目的基础平台包括：元数据管理平台、数据交换平台、应用支撑平台。按照SOA的体系架构，实现对我校数据资源中心的服务化、构件化、定制化管理。 2.1.1元数据管理平台 根据我校的业务需求，制定统一的技术元数据和业务元数据标准，覆盖多种来源统计数据采集、加工、清洗、加载、多维生成、分析利用、发布、归档等各个环节，建立相应的管理维护机制，梳理并加载各种元数据。 具体实施内容包括： ●根据业务特点，制定元数据标准，要满足元数据在口径、分类等方面的 历史变化。 ●支持对元数据的管理，包括：定义、添加、删除、查询和修改等操作，

支持对派生元数据的管理，如派生指标、代码重新组合等，对元数据管 理实行权限控制。 ●通过元数据，实现对各类业务数据的统一管理和利用，包括： ?基础数据管理：建立各类业务数据与元数据的映射关系，实现统一 的数据查询、处理、报表管理。 ?ETL：通过元数据获取ETL规则的描述信息，包括字段映射、数据转 换、数据转换、数据清洗、数据加载规则以及错误处理等。 ?数据仓库：利用元数据实现对数据仓库结构的描述，包括仓库模式、 视图、维、层次结构维度描述、多维查询的描述、立方体（CUBE） 的结构等。 ●元数据版本控制及追溯、操作日志管理。 2.1.2数据交换平台 结合元数据管理模块并完成二次开发，构建统一的数据交换平台。实现统计数据从一套表采集平台，通过数据抽取、清洗和转换等操作，最终加载到数据仓库中，完成整个数据交换过程的配置、管理和监控功能。 具体要求包括： ●支持多种数据格式的数据交换，如关系型数据库：MS-SQLServer、MYSQL、 Oracle、DB2等；文件格式：DBF、Excel、Txt、Cvs等。 ●支持数据交换规则的描述，包括字段映射、数据转换、数据转换、数据 清洗、数据加载规则以及错误处理等。 ●支持数据交换任务的发布与执行监控，如任务的执行计划制定、定期执 行、人工执行、结果反馈、异常监控。 ●支持增量抽取的处理方式，增量加载的处理方式； ●支持元数据的管理，能提供动态的影响分析，能与前端报表系统结合， 分析报表到业务系统的血缘分析关系； ●具有灵活的可编程性、模块化的设计能力，数据处理流程，客户自定义 脚本和函数等具备可重用性； ●支持断点续传及异常数据审核、回滚等交换机制。

大数据处理平台构架设计说明书

大数据处理平台及可视化架构设计说明书 版本：1.0 变更记录

目录 1 1. 文档介绍 (3) 1.1文档目的 (3) 1.2文档范围 (3) 1.3读者对象 (3) 1.4参考文献 (3) 1.5术语与缩写解释 (3) 2系统概述 (4) 3设计约束 (5) 4设计策略 (6) 5系统总体结构 (7) 5.1大数据集成分析平台系统架构设计 (7) 5.2可视化平台系统架构设计 (11) 6其它 (14) 6.1数据库设计 (14) 6.2系统管理 (14) 6.3日志管理 (14)

1 1. 文档介绍 1.1 文档目的 设计大数据集成分析平台，主要功能是多种数据库及文件数据；访问；采集；解析，清洗，ETL，同时可以编写模型支持后台统计分析算法。 设计数据可视化平台，应用于大数据的可视化和互动操作。 为此，根据“先进实用、稳定可靠”的原则设计本大数据处理平台及可视化平台。 1.2 文档范围 大数据的处理，包括ETL、分析、可视化、使用。 1.3 读者对象 管理人员、开发人员 1.4 参考文献 1.5 术语与缩写解释

2 系统概述 大数据集成分析平台,分为9个层次，主要功能是对多种数据库及网页等数据进行访采集、解析，清洗，整合、ETL，同时编写模型支持后台统计分析算法，提供可信的数据。 设计数据可视化平台 ,分为3个层次，在大数据集成分析平台的基础上实现大实现数据的可视化和互动操作。

3 设计约束 1.系统必须遵循国家软件开发的标准。 2.系统用java开发，采用开源的中间件。 3.系统必须稳定可靠，性能高，满足每天千万次的访问。 4.保证数据的成功抽取、转换、分析，实现高可信和高可用。

教育大数据分析领域竞品分析

互联网教育大数据分析领域竞争产品分析报告 中国的教育永远没有解决学生如何独立思考、自由精神和人格平等的问题，永远没有让学生提出疑问、不找标准答案，没有解决如何锻炼他们的创造能力的问题。——俞敏洪 【中国互联网教育整体趋势】 纵观中国教育互联网产业，截止到2015年11月31日，通过数据显示，记录在案的互联网教育公司共有1487家，在整体互联网企业中占比约7%，比例在其他诸行业中较为靠前。在细分方向上，在线教育创业的四大龙头分别K12、儿童早教、职业教育、语言学习，它们总共囊括65%互联网教育市场份额。这个行业的创业在产品模式和参与者背景上都出现了一些新变

化，家教O2O在创业项目中变着越来越频繁。数据显示教育 +O2O项目中，有超过60%的产品都2014年之后才成立的，而且在2015年的上半年又一波较为集中的获投热潮。越来越多传统教育的从业者甚至是传统教育机构的创办者，也出现在了互联网教育的创业市场中，比较典型的有疯狂老师、轻轻家教、跟谁学等。其中很多公司都获得了投融资的支持： 对于互联网教育，BAT在2015年都有不同程度的加码布局。 百度在今年上半年最主要的动作，是在今年6月时拆分旗下的作业帮，成立独立新公司——小船出海教育科技（），并且在9月时引入红杉和君联资本的投资。这是百度对自身业务的又一次“精兵简政”，也是百度“航母计划”的试水和实践，有助于进一步提升和完善百度在O2O和K12教育上的市场布局。阿里巴巴在今年5月份把淘宝同学升级为淘宝教育，并表示将展开更多与线下教育机构的合作，帮助优质的线下机构向线上机构转型。而在就在刚刚过去的一周，阿里还推出了在线直播客产品，并针对农村等教育资源匮乏地区，联合第三方服务商

基于大数据的教学模式探析

48 B 12/2017 课程　教法／专业视点 ◆扬州大学商学院　李焕彰 基于大数据的教学模式探析 所谓大数据，顾名思义，指的是海量的资料，它是结构庞大、数量繁多的信息集合，通过使用特定的软件工具，对这些信息资料进行分析、整合，从而为科学的决策提供充足依据和保障。现阶段，我们正处于大数据时代，大量的电子信息数据在不断影响和改变我们的生产、生活方式，同时也给科、教、文、卫等各方各面带来巨大的影响。 作为传播先进文化、技术的教育界而言，更应当率先意识到大数据给自身带来的影响与挑战，充分利用其给传统教育模式带来的巨大发展空间，积极进行自我革新、自我优化与自我完善，进而促进自身不断发展与进步。 一、 概述 大数据是继“互联网”“云计算”之后IT 行业出现的又一里程碑式的技术创新和突破,巨量的数据正不断朝我们袭来，将我们带入大数据时代。 在大数据时代，通过已有的软件，对巨量的数据资料进行分析、整合，进而为人类生产、生活、学习以及其他社会活动提供科学化的信息依据和资讯保障。 与此同时，大数据也正不断改变着人类的生产、生活、学习等方式，基于现代信息技术处理与应用数据模式，通过整合和共享大数据，从而获得优质的知识服务与智力资源，给人类社会带来巨大变革，且变革覆盖文化、经济、教育、卫生等方方面面，尤其在教育领域，受大数据观念的渗透与影响，当今教育界正历经一场变革，一场对于传统教学模式的变革。教育界只有不断挖掘大数据的发展潜力，充分把握大数据给教育界带来的重大机遇和发展空间，才能真正实现教育模式的革新与发展。 二、传统教学模式的特点分析 现阶段，我国教育普遍沿袭传统教学模式，在对我国教育教学模式整体状况进行分析后归纳总结，其大致具有以下几个特点。 （一） 教学模式相对固定，易于接受与运用 采取传统教学模式开展教学，一方面，教师可以通过广泛查阅资料进行提前备课，从而确保课程教学设计的优化和过程的准确；另一方面，学生也可以根据自身学习进度来提前进行预习或复习，使得学习更具有针对性，同时还能做到典型案例分析与教师基础理论教学有机结合，从而建立起一套相对完整的知识学习体系。（二）教学成效快速且明显 在传统模式主导下的教学课堂，学生能够较为自主地完 成教师所布置的课堂作业，同时接受、理解教师传授的系统知识，并在生活实践中，做到理论联系实践、理论指导实践，运用课堂教学典型案例的思路来指导生活实践所观察到的案例，并且创造性地分析和整合现有数据，来帮助完成学习任务，进一步强化自身对基础知识的理解、掌握与运用。由此可见，传统教学模式具有教学成效快速且明显的特点，基本上能够实现学生按时按量地完成课业。（三）教学评价呈现出标准化、模式化特点 此外，在传统模式教学过程中，教师按照自身备课情况，已经在心中构建起一个模式化的教学评价标准，并用此来评价学生的作业完成情况和学习情况，再根据评价结果，督促学生进行反思。 三、大数据给传统教育模式带来的挑战 尽管传统教学模式具备以上几项优点，但在面对信息日趋多元的大数据时代，这种传统的填鸭式教学模式和通过统计分析典型案例式的教学方法，难以适应和满足时代发展的根本需要。不可否认，传统教学模式正面临着严峻挑战。大数据时代给传统教育模式带来的挑战集中体现在以下几个方面。 （一） 大数据时代要求教育实现开放化发展 在促进社会实现公平化发展过程中，首先要确保教育公平。在大数据时代，这一要求更为凸显。大数据时代要求教育应当不断朝着公平化的方向发展，而实现教育公平的基础是首先实现教育的开放化发展。在现今的网络上，许多高校都开放一些公开、免费的教学视频，个体获取和传播视频中的知识所需要的成本极低。此类优质教育资源正是大数据发展给教育带来的福利。只有确保每一位学习者都能获得这些教育资源，才能真正实现教育的公平化发展。（二） 大数据时代要求教育方式不断进行革新 在互联网不断发展延伸过程中，通过对大数据的充分分析与挖掘，来确定教育未来发展的重要趋势与方向。这就要求教育方式要不断进行革新，使其朝着更易于数据整合的方向发展，从而使人们学习和获取知识的途径变得不仅仅局限于课堂学习，而能从更为广阔的网络空间通过在线学习或数据分析等方法获得。 （三）大数据时代要求人才培养实现个性化发展大量信息、形式多样、价值多元、实时性强等是大数据时代的典型特点，要求传统教育理念和教育模式需不断进行革新，使其更多地关注个体的个性化、多样化发展，才能培 摘　要：在大数据时代，传统教育正面临严峻挑战，倒逼传统教育模式进行变革与优化，从而实现教育开放化、方式革新化、人才个性化等发展目标。文章基于大数据角度，探讨大数据时代给传统教育带来的挑战，同时提出在大数据时代下教学模式革新的具体路径。 关键词：大数据；传统教育；教学模式；革新 【中图分类号】G 【文献标识码】B 【文章编号】1008-1216（2017）12B-0048-02

大数据“革命”教育 让考试变得更科学

大数据“革命”教育让考试变得更科学 2013-10-19 02:28 来源：光明网-《光明日报》我有话说有8人参与 资料图片 数据（data），一般而言是指通过科学实验、检验、统计等方式所获得的，用于科学研究、技术设计、查证、决策等目的的数值。通过全面、准确、系统地测量、收集、记录、分类、存储这些数据，再经过严格地统计、分析、检验这些数据，就能得出一些很有说服力的结论。大规模、长期地测量、记录、存储、统计、分析这些数据，所获得的海量数据就是大数据（big data）。在制作大数据时，需要严格的方案设计、变量控制和统计检验等，不然所获得的大数据就是不全面、不准确、无价值或价值不大的。 在教育特别是在学校教育中，数据成为教学改进最为显著的指标。通常，这些数据主要是指考试成绩。当然，也可以包括入学率、出勤率、辍学率、升学率等。对于具体的课堂教学来说，数据应该是能说明教学效果的，比如学生识字的准确率、作业的正确率、多方面

发展的表现率——积极参与课堂科学的举手次数，回答问题的次数、时长与正确率，师生互动的频率与时长。进一步具体来说，例如每个学生回答一个问题所用的时间是多长，不同学生在同一问题上所用时长的区别有多大，整体回答的正确率是多少，这些具体的数据经过专门的收集、分类、整理、统计、分析就成为大数据。 分析大数据助力教学改革 近年来，随着大数据成为互联网信息技术行业的流行词汇，教育逐渐被认为是大数据可以大有作为的一个重要应用领域，有人大胆地预测大数据将给教育带来革命性的变化。 大数据技术允许中小学和大学分析从学生的学习行为、考试分数到职业规划等所有重要的信息。许多这样的数据已经被诸如美国国家教育统计中心之类的政府机构储存起来用于统计和分析。 而近年来越来越多的网络在线教育和大规模开放式网络课程横空出世，也使教育领域中的大数据获得了更为广阔的应用空间。专家指出，大数据将掀起新的教育革命，比如革新学生的学习、教师的教学、教育政策制定的方式与方法。 教育领域中的大数据分析最终目的是为了改善学生的学习成绩。成绩优异的学生对学校、对社会、以及对国家来说都是好事。学生的作业和考试中有一系列重要的信息往往被我们常规的研究所忽视。而通过分析大数据，我们就能发现这些重要信息，并利用它们为改善学生的成绩提供个性化的服务。与此同时，它还能改善学生期末考试的成绩、平时的出勤率、辍学率、升学率等。

区域教育大数据统计与分析系统的构建研究-2019年精选文档

区域教育大数据统计与分析系统的构建研究 【论文编号】1671-7384（2018）010-025-08 问题的提出 1.区域教育大数据统计分析现状 对于区域来讲，如果使用的教育大数据统计软件是单机版本，没有建设自身的教育大数据采集网络，那样会造成数据无法共建共享，形成数据孤岛，也会造成数据无法在线实时收集，不能有效办公。区域教育相关的数据都有一定的规模，但数据处于异构且分散在不同部门不同系统中，没有形成区域的教育大数据，对于教育大数据的分析挖掘与可视化展示方面的应用也无法开展。 2.区域教育大数据统计与分析系统构建需求 区教委层面：系统能够提高区级教育管理单位的统计管理水平，增强科学决策能力。 随着教育事业的发展，区级教育管理单位对教育统计的管理日益精细化，需应用现代化的信息技术手段完成现有工作，并建立全区的教育大数据为教育教学以及教育管理提供决策支持服务。 如根据工作需要，快速的发布统计报表采集任务，在整个统计填报周期可全程监控统计数据填报的进度与质量，达到实时评价、实时指导、实时核查的目的从而进一步保障数据的质量；再

如通过大数据分析，区级教育管理单位可以及时了解区域在教育综合改革中相关决策实施的效果，全面掌握全区智慧教育建设的进度和水平，准确把握各级学校在教学活动中的相关情况等。 基层学校层面：区域教育大数据统计与分析系统能够为基层学校统计工作减负，提高教育服务能力。在教育事业统计方面，单机版教育大数据统计系统需要在每个学校独立安装，由于统计人员变动大、信息化水平不高、系统安装步骤繁琐、没有固定用于统计用的电脑等因素导致的学校每年在系统安装上的工作难度较大。 在大数据分析方面，学校需要通过对教师、学生在教学活动中各方面数据的收集、分析，挖掘出有利于提高学校管理效率、提升教学质量、辅助学生健康成长等多方面的决策服务数据，真正意义上实现智慧教育下教育质量的跃升。 系统构建原则 实用性原则。首先应该保证在系统生命周期内系统的实用性，选用成熟的技术，确保满足实际业务需求。 先进性原则。在技术选择上，应充分考虑技术先进性和成熟性之间的平衡，一方面保证整体信息体系的先进性，同时有效避免尖端技术给信息系统带来的不确定性和潜在风险。 业务性原则。紧密围绕区域教育大数据统计业务，系统应能适应目标的多重性，环境的多变性，方法的多样性。 可靠性原则从系统结构、技术措施、系统管理等方面着手，

大数据处理综合处理服务平台的设计实现分析范文

大数据处理综合处理服务平台的设计与实现 （广州城市职业学院广东广州510405） 摘要：在信息技术高速发展的今天，金融业面临的竞争日趋激烈，信息的高度共享和数据的安全可靠是系统建设中优先考虑的问题。大数据综合处理服务平台支持灵活构建面向数据仓库、实现批量作业的原子化、参数化、操作简单化、流程可控化，并提供灵活、可自定义的程序接口，具有良好的可扩展性。该服务平台以SOA为基础，采用云计算的体系架构，整合多种ETL技术和不同的ETL工具，具有统一、高效、可拓展性。该系统整合金融机构的客户、合约、交易、财务、产品等主要业务数据，提供客户视图、客户关系管理、营销管理、财务分析、质量监控、风险预警、业务流程等功能模块。该研究与设计打破跨国厂商在金融软件方面的垄断地位，促进传统优势企业走新型信息化道路，充分实现了“资源共享、低投入、低消耗、低排放和高效率”，值得大力发展和推广。 关键词：面向金融，大数据，综合处理服务平台。 一、研究的意义 目前，全球IT行业讨论最多的两个议题，一个是大数据分析“Big Data”，一个是云计算“Cloud Computing”。中

国五大国有商业银行发展至今，积累了海量的业务数据，同时还不断的从外界收集数据。据IDC（国际数据公司）预测，用于云计算服务上的支出在接下来的5 年间可能会出现3 倍的增长，占据IT支出增长总量中25%的份额。目前企业的各种业务系统中数据从GB、TB到PB量级呈海量急速增长，相应的存储方式也从单机存储转变为网络存储。传统的信息处理技术和手段，如数据库技术往往只能单纯实现数据的录入、查询、统计等较低层次的功能，无法充分利用和及时更新海量数据，更难以进行综合研究，中国的金融行业也不例外。中国五大国有商业银行发展至今，积累了海量的业务数据，同时还不断的从外界收集数据。通过对不同来源，不同历史阶段的数据进行分析，银行可以甄别有价值潜力的客户群和发现未来金融市场的发展趋势，针对目标客户群的特点和金融市场的需求来研发有竞争力的理财产品。所以，银行对海量数据分析的需求是尤为迫切的。再有，在信息技术高速发展的今天，金融业面临的竞争日趋激烈，信息的高度共享和数据的安全可靠是系统建设中优先考虑的问题。随着国内银行业竞争的加剧，五大国有商业银行不断深化以客户为中心，以优质业务为核心的经营理念，这对银行自身系统的不断完善提出了更高的要求。而“云计算”技术的推出，将成为银行增强数据的安全性和加快信息共享的速度，提高服务质量、降低成本和赢得竞争优势的一大选择。

大数据分析平台

一、数据分析平台层次解析 大数据分析处理架构图 数据源：除该种方法之外，还可以分为离线数据、近似实时数据和实时数据。按照图中的分类其实就是说明了数据存储的结构，而特别要说的是流数据，它的核心就是数据的连续性和快速分析性； 计算层：内存计算中的Spark是UC Berkeley的最新作品，思路是利用集群中的所有内存将要处理的数据加载其中，省掉很多I/O开销和硬盘拖累，从而加快计算。而Impala思想来源于Google Dremel，充分利用分布式的集群和高效存储方式来加快大数据集上的查询速度，这也就是我上面说到的近似实时查询；底层的文件系统当然是HDFS独大，也就是Hadoop的底层存储，现在大数据的技术除了微软系的意外，基本都是HDFS作为底层的存储技术。上层的YARN就是MapReduce的第二版，和在一起就是Hadoop最新版本。基于之上的应用有Hive，Pig Latin，这两个是利用了SQL的思想来查询Hadoop上的数据。 关键：利用大数据做决策支持。R可以帮你在大数据上做统计分析，利用R语言和框架可以实现很专业的统计分析功能，并且能利用图形的方式展现；而Mahout就是一个集数据挖掘、决策支持等算法于一身的工具，其中包含的都是

基于Hadoop来实现的经典算法，拿这个作为数据分析的核心算法集来参考还是很好的。 如此一个决策支持系统要怎么展现呢？其实这个和数据挖掘过程中的展现一样，无非就是通过表格和图标图形来进行展示，其实一份分类详细、颜色艳丽、数据权威的数据图标报告就是呈现给客户的最好方式！至于用什么工具来实现，有两个是最好的数据展现工具，Tableau和Pentaho，利用他们最为数据展现层绝对是最好的选择。 二、规划的数据平台产品AE(Accelerate Engine) 支持下一代企业计算关键技术的大数据处理平台：包括计算引擎、开发工具、管理工具及数据服务。计算引擎是AE的核心部分，提供支持从多数据源的异构数据进行实时数据集成、提供分布式环境下的消息总线、通过Service Gateway能够与第三方系统进行服务整合访问；设计了一个分布式计算框架，可以处理结构化和非结构化数据，并提供内存计算、规划计算、数据挖掘、流计算等各种企业计算服务。Data Studio包括了数据建模、开发、测试等集成开发环境。管理工具包括了实施、客户化及系统管理类工具。AE平台还可以通过UAP开发者社区提供丰富的数据服务。 AE架构图

基于大数据分析的计算材料科学教学研究

Technology Analysis 技术分析 DCW 83 数字通信世界 2019.09 1 引言 大数据这个词是伴随着全球数据爆炸式增长而提出的，它主要用于描述巨大的数据库。与传统数据库相比，大数据通常包括很多非结构化数据，并且需要更多实时性的分析。同时，大数据也带给我们来了新的挑战，如何有效的组织和管理数据成为目前急需解决的难题。大数据具有大量、多样、快速、有价值等特征，这为我们的学习科研带来了极大的帮助。 通过用大数据方法对材料进行研究属于计算材料学的范畴，计算材料科学是将材料科学与量子物理，力学，数学等学科相结合而形成的学科。材料的微观组织以及原子的排列顺序，晶格结构决定了材料的性能，通过了解材料从原子的排列到相的形成过程，微观组织的变化过程以及材料宏观性能与有效服役时间之间的相互关系，就可以更好的发现和制造新型材料。材料基因组计划主要通过将高效的材料理论计算与模拟工具、高通量快速的试验方法、材料性能数据库和信息学等相结合，建立高效的材料数据库。基于大数据方法的材料计算的方法主要包括第一性原理、分子动力学计算、CALPHAD 方法、蒙特卡罗法、元胞自动机法和有限元分析法等。通过基于大数据分析的计算材料科学的计算模拟，可以获得材料的热力学性能、力学性能、物理化学性能、材料的结构、点缺陷和位错迁移率、晶界能和晶界移动性、析出相尺寸等性质，从而更好的了解材料。 2 材料学大数据处理基础理论 基于大数据处理的计算材料学包括许多种方法，主要有第一 原理、分子动力学、蒙特卡洛、元胞自动机、相场法、有限元分析等。由于学生基础知识欠缺较多且授课时间有限，以上方法不能全部应用到教学实践中。因此，根据教学课程的实际情况以及不同的计算材料方法的不同特点，本文主要研究应用广泛的第一性原理和分子动力学的教学，使学生从原子，分子角度更好的理解材料学。 2.1 基于大数据分析的第一性原理方法 第一性原理计算又称为从头算法，是基于量子力学原理的大数据计算方法。第一性原理计算通常不使用经验参数，不依赖实验结果，通过空间群，电子质量，光速，质子中子质量等少数实验数据去做量子计算，通过求解薛定谔方程，从而推导出材料的热力学，电学及磁学等物理性质的方法。第一性原理方法的计算量非常大，因此很难在短时间内求解出精确解，只能借助一些近似的手段求解近似解。由于计算量的局限性，目前第一性原理计算仅适用于材料的微观尺度的计算，但第一性原理具有精确性和普适性的特点而成为目前材料学计算不可或缺的一种方法。 第一性原理方法结合高通量数据和高通量性能的计算方法可以很大程度降低模拟时间，模拟过程包括动力学、结构稳定性和表面稳定性等物性特点，结合密度泛函理论的第一性原理计算方法，可以同时描绘新材料数据迁移变化，进一步获得新材料的态密度、电子能态、电荷密度等信息。根据物理性能和化学性能参 数之间的联系，从理论上可以获得材料的热力参数、机械性能、光学性能、电磁性等基本物理化学参数。2.2 基于大数据分析的分子动力学 分子动力学是指将不同体系下特定的势能函数作用于由众多粒子构成的系统中，同时通过附加外界条件，如温度，压力等，对体系中的所有粒子求解牛顿方程，然后通过统计物理学的方法来得到宏观材料性质的过程。分子动力是学基于牛顿经典力学进行计算的，是一种确定的方法，通过给定粒子的初始坐标和初始速度，利用方程可以计算粒子后续每一时刻的状态。在实际计算过程中，计算机首先读取自行创建的初始体系结构，然后通过势能函数给体系中粒子施加作用力，从而计算出粒子的加速度，不断计算粒子的坐标以，速度等参量，最后通过选择不同的统计系综方法得到材料相关的热力学性质。目前，分子动力学广泛应用于固体材料的性质研究，如材料的弹性模量，热导率等计算。 分子动力中分子力场优化问题是建设材料分子动力学计算平台的关键问题，解决这一问题的方法包括遗传算法和粒子群算法。遗传算法的出现成为了科学研究领域常用的优化工具，近年来，随着大数据计算的兴起，使得遗传算法在数据处理方面也得到了有效的应用。遗传算法主要包括数学基础研究，算法结构研究，基因操作研究，参数选择研究等。。 3 基于大数据分析的计算材料学与教学实践的结合 基于大数据分析的计算材料学课程具有极强的实践性，能够将基础知识与材料模拟的具体模型联系在一起，从而使学生对计算材料科学产生浓厚的兴趣。通过将教学和计算材料结合，实现理论与模拟相结合的教学。在教学过程中通过设定具体的教学目标来培养学生的能力，同时与数据库筛选，结构优化，结果优化相结合，实现教学与科研的同步进行。使得学生积极融入课堂，最终取得更好的效果。 3.1 基于大数据分析的第一性原理与教学实践的结合 第一性原理作为基于大数据分析的计算材料科学的一种典型方法，人们开发了许多模拟平台，如Materials Studio ，Vasp 等。通过高通量方法筛选优化计算模型，解决了材料计算过程中计算耗时的部分问题，并通过高通量的原子结构优化、电子结构优化、弹性性能算法设计，能够更加准确快速的得到模拟结果。在教学过程中通过晶胞模型的建立、晶胞与原胞的转换、电子密度、能量曲线、态密度及能带结构等，使学生快速掌握原子结构模型的建立，并与材料的基础理论相结合，取得更好的效果。3.2 基于大数据分析的分子动力学与教学实践的结合 分子动力学是材料大数据处理中又一典型方法。针对分子动力学，科学研究者们开发了很多并行化计算平台，如Lammps ，Gaussian ，Amber 等。通过遗传算法进行分子力场优化之后进行计算，更加快速准确的得到模拟结果，然后通过可视化界面，可以直观地给学生展示温度变化过程中，分子的移动、（下转第94页） 基于大数据分析的计算材料科学教学研究 赵宇宏，杨文奎 （中北大学材料科学与工程学院，太原 030051） 摘要：以大数据分析为基础的计算材料学教学是材料教学中的重要组成部分。由于其具有数据库庞大、理论知识繁杂、模拟范围广等特点，使得基于大数据分析的计算材料学教学的开展与实施存在较大的困难。本文通过将基于大数据分析的第一性原理，分子动力学与教学实践相结合，使学生能够更加直观的从原子，分子的角度了解材料的变化。帮助学生筛选优化数据，学会理论分析的方法，掌握运用专业知识的能力，从而培养学生的科研能力和综合素质。 关键词：大数据分析；计算材料科学；第一性原理；分子动力学doi ：10.3969/J.ISSN.1672-7274.2019.09.060中图分类号：TP391 文献标示码：A 文章编码：1672-7274（2019）09-0083-02