P_集合与数据挖掘_还原
第38卷 第5期2010年9月河南师范大学学报(自然科学版)J ournal of Henan N ormal Universit y (N atural Science ) V ol.38 N o.5 Se pt.2010
文章编号:1000-2367(2010)05-0052-04P 2集合与数据挖掘2还原
于秀清1,2
(1.德州学院数学系,山东德州253000;2.山东大学数学学院,济南250100)
摘 要:在P 2集合的基础上给出了数据w 的( F ,F )2挖掘、挖掘尺度和挖掘还原系数的概念,讨论了数据w 的
属性特征,得到数据w 挖掘的可分辨定理、数据的外还原与数据的内还原定理.为数据处理提供了一个新的数学工具.
关键词:P 2集合;数据
w 的( F ,F )2挖掘;挖掘尺度;还原系数中图分类号:O144文献标志码:A
本文在P 2集合[1]的基础上讨论了从已知数据之内(或之外)如何发现未知数据、如何将现有数据进行
还原.事实上,设α={α1,α2,…,
αλ}是数据w ={w 1,w 2,…,w m }的属性集,若存在元素迁移 f ,将α内的部分属性迁出α,α变成α f =α-{αi |αi ∈α, f (αi ) α
},数据w 变成数据w f ,根据文献[1-2]知w f Βw ,隐藏在数据w 之外的数据w f 被挖掘出来;若存在元素迁移f ,将α外的新属性迁入α内,α变成αf =α∪{α′i |
α′i α,f (α′i )=βi ∈
α},数据w 变成w f ,则w f Αw ,隐藏在w 之内的w f 数据被挖掘出来.P 2集合(packet set s )的双向动态特征与数据挖掘之间存在着密切的联系,将P 2集合作为一个新的数学工具,给出数据挖掘的讨论与应用.为了便于理解在第1部分给出P 2集合的简单介绍.
1 P 2集合
约定:X
集合X ={x 1,x 2,…,x m }
α} X F =X =X -,(1) 称X -是X 的 F 2元素删除集合,且X - ={x |x ∈X , f (x )=u X , f ∈ F }.(2)集合X ={x 1,x 2,…,x m } X F =X ∪X +,(3) 称X +是的F 2元素补充集合,且X +={x ′|u ∈U ,u X ,f (u )=x ′∈X}.(4) 称内p 2集合X F 与外P 2集合X F 构成的集合对是普通集合X 的P 2集合(包集合,packet set s ),且(X F ,X F ). (5)简称(X F ,X F )是P 2集合,称X 是(X F ,X F )的基集(基础集,ground set s ). 收稿时间:2009212203 基金项目:山东省自然科学基金(Y2007H02) 作者简介:于秀清(1968-),女,山东德州人,德州学院副教授,主要从事信息系统理论与应用研究. 定理1 若(X F ,X F )是X 生成的P 2集合,则 X F ΑX ΑX F .(6) 2 数据的属性特征 设W 是一个数据论域,数据w ∈W 具有m 个子数据w 1,w 2,…,w m ,子数据w i (i =1,2,…,m )由若干 个数据元构成,或w i ={x i 1,x i 2,…,x is i },α1,α2,…,αm 分别是w 1,w 2,…,w m 的属性集,且αi ={αil ,αi 2,…, αi λi },则α={α1,α2,…,αm }是w ={w 1,w 2,…,w m }的属性集,或w i 可以看作是关于αi 的等价类[w i ],w =∪[w i ].利用P 2集合的双向动态特性以及文献[2-3]知下列定理与推论成立. 定理2 若存在属性迁移f ∈F ,属性αij αi ,f (αij )∈αi ,有αf i =αi ∪{αij |αij αi ,f (αij )∈αi ,f ∈ F},则 w f i Αw i , (7)这里,w i ,w f i 分别是具有属性集αi ,αf i 的子数据. 推论1 在定理2的条件下,有 w F Αw ,(8) 这里,w =∪m i =1[w i ],w F =∪m i =1[w f i ].定理3 若存在属性迁移 f ∈ F ,属性αij ∈αi , f (αij ) αi ,有α f i =αi -{αij |αij ∈αi , f (αij ) αi , f ∈ F },则 w i Αw f i , (9)这里,w i ,w f i 分别是具有属性集αi ,α f i 的子数据. 推论2在定理3的条件下,有 w Αw f ,(10) 这里,w =∪m i =1[w i ],w F =∪m i =1[w f i ].3 数据的( F ,F )2挖掘2还原 根据第2部分的讨论,如果利用属性迁移f ∈F ,对数据w i 的属性集αi 进行属性补充,由(7)与(8)式 知,潜藏在数据w =∪[w i ]内的、具有属性集αF ={αf i |i =1,2,…,m}的数据w F 被挖掘出来.如果利用属性迁移 f ∈ F ,对数据w i 的属性集αi 内的属性进行部分删除,由(9)与(10)式知,潜藏在数据w =∪[w i ] 之外的、具有属性集α F ={α f i |i =1,2,…,m}的数据w F 被挖掘出来,在此基础上给出下列定义.定义1 称数据w F 是数据w 的内挖掘,如果w F 与w 的属性集满足αΑαF . 定义2 称数据w F 是数据w 的外挖掘,如果w F 与w 的属性集满足α F Αα. 在定义1与定义2中,α,αF ,α F 分别是w ,w F ,w F 的属性集. 定义3 称由数据w F 与w F 构成的数据对是数据w 的( F ,F )2挖掘.且(w F ,w F ). 定义4 称数对(μ F ,μF )是数据w 的( F ,F )2挖掘尺度,且μ F =1-η F ,μF =ηF -1,称μ F ,μF 分别是数 据w 的内挖掘尺度与外挖掘尺度.其中η F ,ηF 分别是数据的内包度与外包度,且η F =card (w F )/card (w ), ηF =card (w F )/card (w ). 定义5 称σF 是数据w 的内挖掘w F 还原系数,且σ F =card (αF )/card (α )-1.定义6 称σ F 是数据w 的外挖掘w F 的还原系数,且σF =card (αF )/card (α ).定义7 称(σF ,σ F )是数据w 的( F ,F )2挖掘(w F ,w F )的还原系数. 根据定义1-3得到 定理4 对于数据w 的( F ,F )2挖掘(w F ,w F ),有 w F Αw Αw F . (11) 推论3在定理4的条件下,有 35第5期 于秀清:P 2集合与数据挖掘2还原 α FΑαΑαF,(12)这里,α F,α,αF分别是w F,w,w F的属性集. 根据定义4与定理4可得 命题1 数据w的挖掘尺度满足:0Φμ FΦ1;μFΕ0. 命题2 数据w的内包度η F越大,其内挖掘尺度μ F越小;外包度ηF越大,其外挖掘尺度μF越大.反之亦真. 定理5 (内挖掘数据可分辨定理)(w F,w F)是数据w的( F,F)2挖掘,DIS{w F,w}的充要条件是 μ F>0或σF>0.(13)定理6 (外挖掘数据可分辨定理)(w F,w F)是数据w的( F,F)2挖掘,DIS{w F,w}的充要条件是 μF>0或σ F>0.(14)定理7 (数据w F的内还原定理)数据w的外挖掘w F被还原成数据w,即w F=w,如果 σ F=0(15)证明 当σ F=0时,由数据w的外挖掘w F的还原系数定义知card(α F)/card(α)=1,即card(α F)= card(α),因为αFΑα,所以αF=α,故,分别具有属性集αF,α的数据w F,w满足w F=w,即w F被还原成w. 定理8 (数据w F的外还原定理)数据w的内挖掘w F被还原成数据w,即w F=w如果 σF=0.(16)下面给出一个数据还原的实例,该实例取自某案件W的侦破系统.案件W的现场取得的证据分成三类α F1 1, α F22,α F33,他们构成证据集(属性集)α F={α F11,α F22,α F33},据此得到罪犯X应具备的一系列数据,这些数据 构成数据w F={w f11,w f22,w f33},其中w f i={w i1,w i2,…,w iλ i }满足属性集α f i i={αi1,αi2,…,αit i },i=1,2,3. 符合w F的目标嫌疑人构成目标集X′={x1,x2,x3,x4,x5}.随着案件调查的深入,新的证据不断被发现,证 据集α f i1={αi1,αi2,…,αit i }不断被补充,变为αi={αi1,αi2,…,αiλ i ,αiλ i +1,…,αiλi+k i},数据集w f i={w il, w i2,…,w iλ i },w F=∪[w f i]={w f11,w f22,w f33}不断减少,被还原成具备属性集α的数据w,目标集也相应减少,X′={x1,x2,x3,x4,x5}变为X={x3,x5},从而锁定罪犯,案件W得以侦破. 4 数据挖掘2还原性质定理 约定:(w F1,w F1),(w F2,w F2)分别是对数据w的( F,F1),( F2,F2)2挖掘,(μ F1,μF1),(μ F2,μF2)分别是数据w的( F,F1),( F2,F2)2挖掘(w F1,w F1),(w F2,w F2)的挖掘尺度,(σF1,σ F1),(σF2,σ F2)分别是(w F1,w F1), (w F2,w F2)的还原系数. 定义8 称(w F1,w F1)对数据w的挖掘程度比(w F2,w F2)的程度深,如果 (μ F1,μF1)Ε(μ F2,μF2),即μ F1Εμ F2,μF1Εμw F2.(17)定理9 若w F1Αw F2,(w F1Βw F2,则(w F1,w F1)对数据w的挖掘程度比(w F2,w F2)的程度深. 定理10 若w F1Αw F2,w F1Βw F2,则 (σF1,σ F1Ε(σF2,σ F2).(18)证明 由w F1Αw F2知αF1ΒαF2,从而有card(αF1)Εcard(αF2),即card(αF2)/card(α)-1Εcard(αF2)/card(α)-1,或者σF1ΕσF2;同理可证σ F1Εσ F2,有(18)式. 定理11 若元素迁移族F1与F2满足F1ΑF2,则 μF1ΦμF2或σ F1Φσ F2.(19)定理12 若元素迁移族 F1与 F2满足 F1Β F2,则 μ F1Εμ F2或σF1ΕσF2.,(20)定理9-10的证明与定理8类似,略. 定理13 (数据挖掘的可分辨定理1)若DIS{(μ F1,μF1),(μ F2,μF2)}.,则 DIS{(w F1,w F1),(w F2,w F2)},(21)证明 由DIS{(μ F1,μF1),(μ F2,μF2)}知,μ F1=w F2与μF1=w F2不会同时成立,不妨设μ F1≠μ F2,则45河南师范大学学报(自然科学版) 2010年 数据w 的内挖掘w F 1≠w F 2,从而DIS {(w F 1,w F 1),(w F 2,w F 2)}成立. 定理14 (数据挖掘的可分辨定理2)若DIS {(σF 1,σ F 1),(σF 2,σ F 2)},则 DIS {w F 1,w F 1),(σ F 2,w F 2)}. (22) 定理14的证明与定理13类似,略.5 讨 论 数据的挖掘与还原在信息科学、系统科学以及控制系统领域已被用来解决了许多问题,但在这之前,基于P 2集合基础上的动态数据挖掘与还原还没有系统的研究,本文为信息系统中的数据的挖掘、控制工程中的原系统稳定状态的还原以及在材料科学中新材料的发现提供了数学依据. 参 考 文 献 [1] SHI Kai 2quan.P 2set s and it s applications[J ].An International Journal Advances in Systems Science and Applications ,2009,9(2):2092 219. [2] 史开泉.P 2集合[J ].山东大学学报:理学版,2008,43(11):75284. [3] 史开泉,张 丽.内P 2集合与数据外2恢复[J ].山东大学学报:理学版,2009,44(4):8214. [4] 汤积华,陈保会,史开泉.P 2集合与2数据生成2辨识[J ].山东大学学报:理学版,2009,44(11):19225 [5] 于秀清.P 2集合的识别与筛选[J ].山东大学学报:理学版,2010,45(1):94298. [6] 张 飞,陈 萍,张丽.P 2集合的P 2分离与应用[J ].山东大学学报:理学版,2010,45(3):18222. [7] 于秀清.P 2集合的动态特性[J ].计算机工程与应用,2010,46(18):45248. P 2sets and Data Mining 2data R ecovery YU Xiu 2qing 1,2 (1.Department of Mathematics ,Dezhou University ,Dezhou 253000,China ;2.School of Mathematics ,Shandong University ,Jinan 250100,China ) Abstract :Based on P 2sets ,the concepts of ( F ,F )2mining ,mining measurement and mining recovery coefficient about data are proposed.Moreover ,the attribute characteristics of the data are discussed.The data mining discernibility theorems ,the outer recovery theorem of the data ,and the internal recovery theorem of the data are presented.A new mathematics tool is got. K ey w ords :P 2sets ;( F ,F )2mining of data ;mining measurement ;recovery coefficient 55第5期 于秀清:P 2集合与数据挖掘2还原 昆明理工大学信息工程与自动化学院学生实验报告 （2012 —2013 学年第 1 学期） 课程名称：数据库仓库与数据挖掘开课实验室： 2012 年10月 30日 一、上机目的 1．理解数据库与数据仓库之间的区别与联系； 2．掌握典型的关系型数据库及其数据仓库系统的工作原理以及应用方法； 3．掌握数据仓库建立的基本方法及其相关工具的使用。 二、上机内容 内容：以SQL Server为系统平台，设计、建立数据库，并以此为基础创建数据仓库。 要求：利用实验室和指导教师提供的实验软件，认真完成规定的实验项目，真实地记录实验中遇到的各种问题和解决的方法与过程，并绘出模拟实验案例的数据仓库模型。实验完成后，应根据实验情况写出实验报告。 三、所用仪器、材料（设备名称、型号、规格等或使用软件） 1台PC及SQL 2008软件 四、实验方法、步骤和截图（或：程序代码或操作过程） 采用SQL语句创建数据库，数据库命名为：DW。如图所示： DW数据库中包含7张维表和一张事实表。7张维表分别为：订单方式维表、销售人员及销售地区维表、发货方式维表、订单日期维表、客户维表、订单状态维表、客户价值维表。建立7张维表语句和建立7张维表的ETL如下： 语句执行成功的结果如图所示： DW数据库包含的事实表为FACT_SALEORDER。建立1张事实表语句和建立1张事实表的ETL如下： 三、建事实表 CREATE TABLE FACT_SALEORDER( SALEORDERID INT, TIME_CD V ARCHAR(8), STATUS INT, ONLINEORDERFLAG INT, CUSTOMERID INT, SALESPERSONID INT, SHIPMETHOD INT, ORDER_V ALUES INT, SUBTOTAL DECIMAL(10,2), TAXAMT DECIMAL(10,2), FREIGHT DECIMAL(10,2)) ----------------------------------- 四、事实表的ETL /* FACT_SALEORDER的ETL*/ TRUNCATE TABLE FACT_SALEORDER INSERT INTO FACT_SALEORDER SELECT SalesOrderID,CONVERT(CHAR(8),,112) , ,,ISNULL,0),ISNULL,0),,,,, FROM A, V_SUBTOTAL_V ALUES B WHERE >= AND < 《海量数据挖掘技术及工程实践》题目 一、单选题（共80题） 1)( D )的目的缩小数据的取值范围，使其更适合于数据挖掘算法的需要，并且能够得到 和原始数据相同的分析结果。 A.数据清洗 B.数据集成 C.数据变换 D.数据归约 2)某超市研究销售纪录数据后发现，买啤酒的人很大概率也会购买尿布，这种属于数据挖 掘的哪类问题？(A) A. 关联规则发现 B. 聚类 C. 分类 D. 自然语言处理 3)以下两种描述分别对应哪两种对分类算法的评价标准？ (A) (a)警察抓小偷，描述警察抓的人中有多少个是小偷的标准。 (b)描述有多少比例的小偷给警察抓了的标准。 A. Precision,Recall B. Recall,Precision A. Precision,ROC D. Recall,ROC 4)将原始数据进行集成、变换、维度规约、数值规约是在以下哪个步骤的任务？(C) A. 频繁模式挖掘 B. 分类和预测 C. 数据预处理 D. 数据流挖掘 5)当不知道数据所带标签时，可以使用哪种技术促使带同类标签的数据与带其他标签的数 据相分离？(B) A. 分类 B. 聚类 C. 关联分析 D. 隐马尔可夫链 6)建立一个模型，通过这个模型根据已知的变量值来预测其他某个变量值属于数据挖掘的 哪一类任务？(C) A. 根据内容检索 B. 建模描述 C. 预测建模 D. 寻找模式和规则 7)下面哪种不属于数据预处理的方法？ (D) A.变量代换 B.离散化 C.聚集 D.估计遗漏值 8)假设12个销售价格记录组已经排序如下：5, 10, 11, 13, 15, 35, 50, 55, 72, 92, 204, 215 使用如下每种方法将它们划分成四个箱。等频（等深）划分时，15在第几个箱子内？ (B) A.第一个 B.第二个 C.第三个 D.第四个 9)下面哪个不属于数据的属性类型：(D) A.标称 B.序数 C.区间 D.相异 10)只有非零值才重要的二元属性被称作：( C ) A.计数属性 B.离散属性 C.非对称的二元属性 D.对称属性 11)以下哪种方法不属于特征选择的标准方法： (D) A.嵌入 B.过滤 C.包装 D.抽样 12)下面不属于创建新属性的相关方法的是： (B) A.特征提取 B.特征修改 C.映射数据到新的空间 D.特征构造 13)下面哪个属于映射数据到新的空间的方法？ (A) A.傅立叶变换 B.特征加权 C.渐进抽样 D.维归约 14)假设属性income的最大最小值分别是12000元和98000元。利用最大最小规范化的方 法将属性的值映射到0至1的范围内。对属性income的73600元将被转化为：(D) A.0.821 B.1.224 C.1.458 D.0.716 15)一所大学内的各年纪人数分别为：一年级200人，二年级160人，三年级130人，四年 级110人。则年级属性的众数是： (A) A.一年级 B.二年级 C.三年级 D.四年级 数据挖掘复习题 单选题 1. 某超市研究销售纪录数据后发现，买啤酒的人很大概率也会购买尿布，这种属于数据挖掘的哪类问题？(A) A. 关联规则发现 B. 聚类 C. 分类 D. 自然语言处理 2. 以下两种描述分别对应哪两种对分类算法的评价标准？ (A) (a)警察抓小偷，描述警察抓的人中有多少个是小偷的标准。 (b)描述有多少比例的小偷给警察抓了的标准。 A. Precision, Recall B. Recall, Precision A. Precision, ROC D. Recall, ROC 3. 将原始数据进行集成、变换、维度规约、数值规约是在以下哪个步骤的任务？(C) A. 频繁模式挖掘 B. 分类和预测 C. 数据预处理 D. 数据流挖掘 4. 当不知道数据所带标签时，可以使用哪种技术促使带同类标签的数据与带其他标签的数据相分离？(B) A. 分类 B. 聚类 C. 关联分析 D. 隐马尔可夫链 5. 什么是KDD？ (A) A. 数据挖掘与知识发现 B. 领域知识发现 C. 文档知识发现 D. 动态知识发现 6. 使用交互式的和可视化的技术，对数据进行探索属于数据挖掘的哪一类任务？（A） A. 探索性数据分析 B. 建模描述 C. 预测建模 D. 寻找模式和规则 7. 为数据的总体分布建模；把多维空间划分成组等问题属于数据挖掘的哪一类任务？(B) A. 探索性数据分析 B. 建模描述 C. 预测建模 D. 寻找模式和规则 8. 建立一个模型，通过这个模型根据已知的变量值来预测其他某个变量值属于数据挖掘的哪一类任务？(C) A. 根据内容检索 B. 建模描述 C. 预测建模 D. 寻找模式和规则 9. 用户有一种感兴趣的模式并且希望在数据集中找到相似的模式，属于数据挖掘哪一类任务？(A) A. 根据内容检索 B. 建模描述 C. 预测建模 D. 寻找模式和规则 11.下面哪种不属于数据预处理的方法？ (D) A变量代换 B离散化 C 聚集 D 估计遗漏值 12. 假设12个销售价格记录组已经排序如下：5, 10, 11, 13, 15, 35, 50, 55, 72, 92, 204, 数据挖掘期末大作业 1.数据挖掘的发展趋势是什么？大数据环境下如何进行数据挖掘。 对于数据挖掘的发展趋势，可以从以下几个方面进行阐述： (1)数据挖掘语言的标准化描述:标准的数据 挖掘语言将有助于数据挖掘的系统化开发。改进多个数据挖掘系统和功能间的互操作,促进其在企业和社会中的使用。 (2)寻求数据挖掘过程中的可视化方法:可视 化要求已经成为数据挖掘系统中必不可少的技术。可以在发现知识的过程中进行很好的人机交互。数据的可视化起到了推动人们主动进行知识发现的作用。 (3)与特定数据存储类型的适应问题:根据不 同的数据存储类型的特点,进行针对性的研究是目前流行以及将来一段时间必须面对的问题。 (4)网络与分布式环境下的KDD问题:随着 Internet的不断发展,网络资源日渐丰富,这就需要分散的技术人员各自独立地处理分离数据库的工作方式应是可协作的。因此,考虑适应分布式与网络环境的工具、技术及系统将是数据挖掘中一个最为重要和繁荣的子领域。 (5)应用的探索:随着数据挖掘的日益普遍,其应用范围也日益扩大,如生物医学、电信业、零售业等 领域。由于数据挖掘在处理特定应用问题时存在局限性,因此,目前的研究趋势是开发针对于特定应用的数据挖掘系统。 (6)数据挖掘与数据库系统和Web数据库系统的集成:数据库系统和Web数据库已经成为信息处 理系统的主流。 2. 从一个3输入、2输出的系统中获取了10条历史数据，另外，最后条数据是系统的输 入，不知道其对应的输出。请使用SQL SERVER 2005的神经网络功能预测最后两条数据的输出。 首先，打开SQL SERVER 2005数据库软件，然后在界面上右键单击树形图中的“数据库”标签，在弹出的快捷菜单中选择“新建数据库”命令，并命名数据库的名称为YxqDatabase，单击确定，如下图所示。 然后，在新建的数据库YxqDatabas中，根据题目要求新建表，相应的表属性见下图所示。 大数据时代的数据挖掘 大数据是2012的时髦词汇，正受到越来越多人的关注和谈论。大数据之所以受到人们的关注和谈论，是因为隐藏在大数据后面超千亿美元的市场机会。 大数据时代，数据挖掘是最关键的工作。以下内容供个人学习用，感兴趣的朋友可以看一下。 智库百科是这样描述数据挖掘的“数据挖掘又称数据库中的知识发现，是目前人工智能和数据库领域研究的热点问题，所谓数据挖掘是指从数据库的大量数据中揭示出隐含的、先前未知的并有潜在价值的信息的非平凡过程。数据挖掘是一种决策支持过程，它主要基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等，高度自动化地分析企业的数据，做出归纳性的推理，从中挖掘出潜在的模式，帮助决策者调整市场策略，减少风险，做出正确的决策。 数据挖掘的定义 技术上的定义及含义 数据挖掘（Data Mining ）就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。这个定义包括好几层含义：数据源必须是真实的、大量的、含噪声的；发现的是用户感兴趣的知识；发现的知识要可接受、可理解、可运用；并不要求发现放之四海皆准的知识，仅支持特定的发现问题。 与数据挖掘相近的同义词有数据融合、人工智能、商务智能、模式识别、机器学习、知识发现、数据分析和决策支持等。 ----何为知识从广义上理解，数据、信息也是知识的表现形式，但是人们更把概念、规则、模式、规律和约束等看作知识。人们把数据看作是形成知识的源泉，好像从矿石中采矿或淘金一样。原始数据可以是结构化的，如关系数据库中的数据；也可以是半结构化的，如文本、图形和图像数据；甚至是分布在网络上的异构型数据。发现知识的方法可以是数学的，也可以是非数学的；可以是演绎的，也可以是归纳的。发现的知识可以被用于信息管理，查询优化，决策支持和过程控制等，还可以用于数据自身的维护。因此，数据挖掘是一门交叉学科，它把人们对数据的应用从低层次的简单查询，提升到从数据中挖掘知识，提供决策支持。在这种需求牵引下，汇聚了不同领域的研究者，尤其是数据库技术、人工智能技术、数理统计、可视化技术、并行计算等方面的学者和工程技术人员，投身到数据挖掘这一新兴的研究领域，形成新的技术热点。 这里所说的知识发现，不是要求发现放之四海而皆准的真理，也不是要去发现崭新的自然科学定理和纯数学公式，更不是什么机器定理证明。实际上，所有发现的知识都是相对的，是有特定前提和约束条件，面向特定领域的，同时还要能够易于被用户理解。最好能用自然语言表达所发现的结果。n x _s u x i a n g n i n g 第一章 数据挖掘定义 技术层面：数据挖掘就是从大量数据中，提取潜在有用的信息和知识的过程。 商业层面：数据挖掘就是一种商业信息处理技术，其主要特点是对大量业务数据进行抽取、转换、分析和建模处理，从中提取辅助商业决策的关键性数据。 数据挖掘任务 预测任务 根据其它属性的值预测特定属性的值，如分类、回归、离群点检测。 描述任务 寻找概括数据中潜在联系的模式，如聚类分析、关联分析、演化分析、序列模式挖掘。 (1) 分类(Classification)分析 分类分析，通过分析示例数据库中的数据为每个类别做出准确的描述或建立分析模型或挖掘出分类规则，然后用此分类规则对其它数据库中的记录进行分类。 分类分析广泛应用于用户行为分析(受众分析)、风险分析、生物科学等。 (2) 聚类(Clustering)分析 “物以类聚，人以群分”。聚类分析技术试图找出数据集中的共性和差异，并将具有共性的对象聚合在相应的类中。聚类可以帮助决定哪些组合更有意义，广泛应用于客户细分、定向营销、信息检索等等。 (3) 回归(Regression )分析 回归分析是确定两种或两种以上变数间相互依赖的定量关系的一种分析方法。其可应用于风险分析、作文自动评分等领域。 (4) 关联(Association)分析 关联分析，发现特征之间的相互依赖关系，通常是从给定的数据集中发现频繁出现的模式知识(又称为关联规则)。关联分析广泛用于市场营销、事务分析等领域。 聚类与分类的主要区别 聚类与分类是容易混淆的两个概念，聚类是一种无指导的观察式学习，没有预先定义的类。而分类问题是有指导的示例式学习，预先定义的类。 数据挖掘过程 数据挖掘和知识发现紧密相连。知识发现是从数据中发现有用知识的整个过程 ?知识发现的主要步骤： ?数据清洗。其作用是清除数据噪声和与挖掘主题明显无关的数据。 ?数据集成。其作用是将来自多数据源中的相关数据组合到一起。 ?数据转换。其作用是将数据转换为易于进行数据挖掘的数据存储形式。 ?数据挖掘。其作用是利用智能方法挖掘数据模式或规律知识。 ?模式评估。其作用是根据一定评估标准从挖掘结果筛选出有意义的相关知识。 ?知识表示。其作用是利用可视化和知识表达技术，向用户展示所挖掘的相关知识 1、给出K D D的定义和处理过程。 KDD的定义是：从大量数据中提取出可信的、新颖的、有用的且可以被人理解的模式的高级处理过程。因此，KDD是一个高级的处理过程，它从数据集中识别出以模式形式表示的知识。这里的“模式”可以看成知识的雏形，经过验证、完善后形成知识：“高级的处理过程”是指一个多步骤的处理过程，多步骤之间相互影响反复调整，形成一种螺旋式上升的过程。 KDD的全过程有五个步骤：1、数据选择：确定发现任务的操作对象，即目标数据，它是根据用户的需要从原始数据库中抽取的一组数据；2、数据预处理：一般可能包括消除噪声、推到技术却只数据、消除重复记录、完成数据类型转换等；3、数据转换：其主要目的是消减数据维数或降维，即从初始特征中找出真正有用的特征以减少数据开采时要考虑的特征或变量个数；4、数据挖掘：这一阶段包括确定挖掘任务/目的、选择挖掘方法、实施数据挖掘；5、模式解释/评价：数据挖掘阶段发现出来的模式，经过用户或机器的评价，可能存在冗余或无关的模式，需要剔除；也有可能模式不满足用户的要求，需要退回到整个发现阶段之前，重新进行KDD过程。 2、阐述数据挖掘产生的背景和意义。 ?数据挖掘产生的背景：随着信息科技的进步以及电子化时代的到来，人们以更快捷、更容易、更廉价的方式获取和存储数据，使得数据及信息量以指数方式增长。据粗略估计，一个中等规模企业每天要产生100MB以上的商业数据。而电信、银行、大型零售业每天产生的数据量以TB来计算。人们搜集的数据越来越多，剧增的数据背后隐藏着许多重要的信息，人们希望对其进行更高层次的分析，以便更好的利用这些数据。先前的数据库系统可以高效的实现数据的录入、查询、统计等功能，但无法发现数据中存在的关系与规则，无法根据现有的数据来预测未来的发展趋势。缺乏挖掘数据背后隐藏的知识的手段。导致了“数据爆炸但知识贫乏”的现象。于是人们开始提出“要学会选择、提取、抛弃信息”，并且开始考虑：如何才能不被信息淹没？如何从中及时发现有用的知识、提高信息利用率？如何从浩瀚如烟海的资料中选择性的搜集他们认为有用的信息？这给我们带来了另一些头头疼的问题：第一是信息过量，难以消化；第二是信息真假难以辨别；第三是信息安全难以保证；第四是信息形式不一致，难以统一处理? 《数据挖掘》作业 第一章引言 一、填空题 （1）数据库中的知识挖掘(KDD)包括以下七个步骤：、、、、、和 （2）数据挖掘的性能问题主要包括：、和 （3）当前的数据挖掘研究中，最主要的三个研究方向是：、和 （4）在万维网(WWW)上应用的数据挖掘技术常被称为： （5）孤立点是指： 二、单选题 （1）数据挖掘应用和一些常见的数据统计分析系统的最主要区别在于： A、所涉及的算法的复杂性； B、所涉及的数据量； C、计算结果的表现形式； D、是否使用了人工智能技术 （2）孤立点挖掘适用于下列哪种场合？ A、目标市场分析 B、购物篮分析 C、模式识别 D、信用卡欺诈检测（3）下列几种数据挖掘功能中，（）被广泛的应用于股票价格走势分析 A. 关联分析 B.分类和预测 C.聚类分析 D. 演变分析 （4）下面的数据挖掘的任务中，（）将决定所使用的数据挖掘功能 A、选择任务相关的数据 B、选择要挖掘的知识类型 C、模式的兴趣度度量 D、模式的可视化表示 （5）下列几种数据挖掘功能中，（）被广泛的用于购物篮分析 A、关联分析 B、分类和预测 C、聚类分析 D、演变分析 （6）根据顾客的收入和职业情况，预测他们在计算机设备上的花费，所使用的相应数据挖掘功能是（） A.关联分析 B.分类和预测 C. 演变分析 D. 概念描述（7）帮助市场分析人员从客户的基本信息库中发现不同的客户群，通常所使用的数据挖掘功能是（） A.关联分析 B.分类和预测 C.聚类分析 D. 孤立点分析 E. 演变分析（8）假设现在的数据挖掘任务是解析数据库中关于客户的一般特征的描述，通常所使用的数据挖掘功能是（） A.关联分析 B.分类和预测 C. 孤立点分析 D. 演变分析 E. 概念描述 三、简答题 （1）什么是数据挖掘？ （2）一个典型的数据挖掘系统应该包括哪些组成部分？ （3）请简述不同历史时代数据库技术的演化。 （4）请列举数据挖掘应用常见的数据源。（或者说，我们都在什么样的数据上进行数据挖掘）（5）什么是模式兴趣度的客观度量和主观度量？ （6）在哪些情况下，我们认为所挖掘出来的模式是有趣的？ （7）根据挖掘的知识类型，我们可以将数据挖掘系统分为哪些类别？ 一:用R语言编程实现P56页19题 以19(2)为例编写R语言程序，其他小题程序类似1.余弦相似度 > x=c(0,1,0,1) > y=c(1,0,1,0) > xy=sum(x*y) > x1=sqrt(sum(x^2)) > y1=sqrt(sum(y^2)) > c=xy/(x1*y1) > c [1] 0 2.相关性 > x=c(0,1,0,1) > y=c(1,0,1,0) > xbar=mean(x) > ybar=mean(y) > len=length(x) > sx=sqrt((1/(len-1))*sum((x-xbar)^2)) > sy=sqrt((1/(len-1))*sum((y-ybar)^2)) > sxy=(1/(len-1))*sum((x-xbar)*(y-ybar)) > corrxy=sxy/(sx*sy) > corrxy 3.欧几里得距离 > x=c(0,1,0,1) > y=c(1,0,1,0) > dxy=sqrt(sum((x-y)^2)) > dxy [1] 2 4.Jaccard系数 > x=c(0,1,0,1) > y=c(1,0,1,0) > f00=f01=f10=f11=0 > len=length(x) > j=1 > while(j 武汉大学计算机学院 2014级研究生“数据仓库和数据挖掘”课程期末考试试题 要求：所有的题目的解答均写在答题纸上，需写清楚题目的序号。每张答题纸都要写上姓名和学号。 一、单项选择题（每小题2分，共20分） 1. 下面列出的条目中，（）不是数据仓库的基本特征。B A.数据仓库是面向主题的 B.数据仓库是面向事务的 C.数据仓库的数据是相对稳定的 D.数据仓库的数据是反映历史变化的 2. 数据仓库是随着时间变化的，下面的描述不正确的是（）。 A.数据仓库随时间的变化不断增加新的数据内容 B.捕捉到的新数据会覆盖原来的快照 C.数据仓库随事件变化不断删去旧的数据内容C D.数据仓库中包含大量的综合数据，这些综合数据会随着时间的变化不断地进行重新综合 3. 以下关于数据仓库设计的说法中（）是错误的。A A.数据仓库项目的需求很难把握，所以不可能从用户的需求出发来进行数据仓库的设计，只能从数据出发进行设计 B.在进行数据仓库主题数据模型设计时，应该按面向部门业务应用的方式来设计数据模型 C.在进行数据仓库主题数据模型设计时要强调数据的集成性 D.在进行数据仓库概念模型设计时，需要设计实体关系图，给出数据表的划分，并给出每个属性的定义域 4. 以下关于OLAP的描述中（）是错误的。A A.一个多维数组可以表示为（维1，维2，…，维n） B.维的一个取值称为该维的一个维成员 C.OLAP是联机分析处理 D.OLAP是数据仓库进行分析决策的基础 5. 多维数据模型中，下列（）模式不属于多维模式。D A.星型模式 B.雪花模式 C.星座模式 D.网型模式 6. 通常频繁项集、频繁闭项集和最大频繁项集之间的关系是（）。C A.频繁项集?频繁闭项集?最大频繁项集 B.频繁项集?最大频繁项集?频繁闭项集 C.最大频繁项集?频繁闭项集?频繁项集 D.频繁闭项集?频繁项集?最大频繁项集 数据分析处理需求分类 1 事务型处理 在我们实际生活中,事务型数据处理需求非常常见,例如：淘宝网站交易系统、1２306网站火车票交易系统、超市ＰOＳ系统等都属于事务型数据处理系统。这类系统数据处理特点包括以下几点: 一就是事务处理型操作都就是细粒度操作,每次事务处理涉及数据量都很小。 二就是计算相对简单，一般只有少数几步操作组成，比如修改某行得某列; 三就是事务型处理操作涉及数据得增、删、改、查,对事务完整性与数据一致性要求非常高。 四就是事务性操作都就是实时交互式操作,至少能在几秒内执行完成； 五就是基于以上特点,索引就是支撑事务型处理一个非常重要得技术. 在数据量与并发交易量不大情况下,一般依托单机版关系型数据库,例如OＲＡＣLＥ、MＹSQL、SQＬSERVER,再加数据复制（DataGurａd、RＭAＮ、ＭｙSQＬ数据复制等)等高可用措施即可满足业务需求。 在数据量与并发交易量增加情况下，一般可以采用ORＡLＣＥRAC集群方式或者就是通过硬件升级（采用小型机、大型机等，如银行系统、运营商计费系统、证卷系统)来支撑. 事务型操作在淘宝、1230６等互联网企业中,由于数据量大、访问并发量高，必然采用分布式技术来应对,这样就带来了分布式事务处理问题，而分布式事务处理很难做到高效，因此一般采用根据业务应用特点来开发专用得系统来解决本问题。 ２数据统计分析 数据统计主要就是被各类企业通过分析自己得销售记录等企业日常得运营数据,以辅助企业管理层来进行运营决策。典型得使用场景有:周报表、月报表等固定时间提供给领导得各类统计报表;市场营销部门,通过各种维度组合进行统计分析,以制定相应得营销策略等． 数据统计分析特点包括以下几点: 一就是数据统计一般涉及大量数据得聚合运算，每次统计涉及数据量会比较大。二就是数据统计分析计算相对复杂，例如会涉及大量goｕpbｙ、子查询、嵌套查询、窗口函数、聚合函数、排序等；有些复杂统计可能需要编写ＳQＬ脚本才能实现． 三就是数据统计分析实时性相对没有事务型操作要求高。但除固定报表外,目前越来越多得用户希望能做做到交互式实时统计； 传统得数据统计分析主要采用基于ＭＰP并行数据库得数据仓库技术.主要采用维度模型,通过预计算等方法，把数据整理成适合统计分析得结构来实现高性能得数据统计分析，以支持可以通过下钻与上卷操作,实现各种维度组合以及各种粒度得统计分析。 另外目前在数据统计分析领域,为了满足交互式统计分析需求，基于内存计算得数据库仓库系统也成为一个发展趋势,例如SAP得HANA平台。 3 数据挖掘 数据挖掘主要就是根据商业目标，采用数据挖掘算法自动从海量数据中发现隐含在海量数据中得规律与知识。 2013教育部-IBM产学合作专业综合改革项目 厦门大学《数据挖掘原理及实践》课程习题 第4章数据仓库与数据的概念描述 1. 数据仓库的定义是什么? 数据仓库有哪些显著特征? 2. 请简述数据概化的过程和基本方法。 3. 假定数据仓库包含三维: time, doctor, patient, 和两个度量: count和charge, 其中charge是医生对病人一次诊治的收费。 (1) 列举三种流行的数据仓库建模模式。 (2) 使用(1) 列举的模式之一, 画出上面的数据仓库的模式图。 (3) 由基本方体[day, doctor, patient]开始, 为列出2004年每位医生的收费总数, 应当执行哪些OLAP操作。 4. 假定BigUniversity的数据仓库包含如下4维: student, course, semester和instructor；2个度量: count和avg_grade。在最低的概念层(例如: 对于给定的学生. 课程. 学期和教师的组合), 度量avg_grade存放学生的实际课程成绩。在较高的概念层, avg_grade存放给定组合的平均成绩。 (1) 该数据仓库画出雪花型模型图。 (2) 由基本方体[student, course, semester, instructor]开始, 为列出BigUniversity 每个学生的CS课程的平均成绩, 应当使用哪些特殊的OLAP操作。 (3) 如果每维有5层(包含all), 如“student 1.音乐分类的数据集 在这个题目中，使用了SVM分类器和贝叶斯分类器，并通过sklearn库中的GridSearchCV方法对SVM分类模型的参数进行调优，使最终的正确率提高了5个百分点左右。但仍没有文档中的论文达到的分类正确率高，因为论文中的分类器的设计使专一对音乐音调分类的，其中设计到神经网络和深度学习的一些方法。而我使用的分类器使对大部分分类问题都有效的方法。下面是对数据集的一个简单的介绍： 数据标签 第3-14列:YES or NO 第15列:共16个取值('D', 'G#', 'D#', 'Bb', 'Db', 'F#', 'Eb', 'F', 'C#', 'Ab', 'B', 'C', 'A#', 'A', 'G', 'E') 第16列:共5个取值(1,2,3,4,5) 第17列:共102个类别('C#M', 'F_m', 'D_m', 'D_d7', 'G#m', 'D_m6', 'C_m6', 'C_d7', 'F_M', 'D_M', 'BbM7', 'F#d', 'C#d', 'E_d', 'F_d7', 'F#d7', 'G_m', 'C#d7', 'AbM', 'EbM', 'D#d', 'Bbm6', 'G_M7', 'F#m6', 'Dbd', 'B_m6', 'G#M', 'D_m7', 'B_M', 'F#M7', 'Bbm', 'A#d', 'D#d7', 'Abd', 'G_M', 'F#M4', 'E_M', 'A_M4', 'E_m7', 'D#M', 'C_M7', 'A_m6', 'Dbm', 'A#d7', 'F#M', 'C#m7', 'F_m7', 'C_M', 'C#M4', 'F_M6', 'A_M', 'G_m6', 'D_M4', 'F_M7', 'B_M7', 'E_M4', 'E_m6', 'A_m4', 'G#d', 'C_m7', 'C_M6', 'Abm', 'F_m6', 'G_m7', 'F_d', 'Bbd', 'G_M4', 'B_d', 'A_M7', 'E_m', 'C#M7', 'DbM', 'EbM7', 'C#d6', 'F#m', 'G_M6', 'G_d', 'Dbd7', 'B_m7', 'DbM7', 'D_M6', 'D#d6', 'G#d7', 'A_m7', 'B_d7', 'B_M4', 'A_d', 'A_m', 'C_d6', 'D#m', 'C_M4', 'A_M6', 'BbM', 'C#m', 'D_M7', 'E_M7', 'F_M4', 'F#m7', 'Dbm7', 'B_m', 'C_m', 'Ebd') 这是一个多分类问题 1.1数据读取与训练集和测试集分离 一、填空题 1．OLAP服务器可以使用关系OLAP、或混合OLAP。 2．多维数据模型通常以三种形式存在，他们是星形模式、和事实星座形模式。3．聚类中每个训练元组的类标号是未知的，属于学习。 4．层次聚类方法可进一步分为：和分裂层次聚类。 5．数据挖掘的聚类方法中，典型的基于划分方法的聚类算法有和k中心点方法。6．关联规则的挖掘可以看作两步的过程：首先找出所有，然后生成强关联规则。7．多维数据模型通常以三种形式存在，他们是星形模式、雪花形模式和。 8．层次聚类方法可进一步分为：凝聚层次聚类和。 9．数据挖掘的聚类方法中，典型的基于划分方法的聚类算法有k均值方法和。10．强关联规则满足最小支持度和。 11．数据仓库是面向主题的、、时变的和非易失的有组织的数据集合，支持管理决策。12．OLAP服务器可以使用关系OLAP、多维OLAP或。 二、简答题： 1．什么是数据挖掘，简述数据挖掘功能。 2．数据预处理的主要任务有哪些？ 3．为什么不直接对操作数据库进行联机分析，而建立分离的数据仓库。 4．简述有哪些Apriori算法的变形方法可提高Apriori算法的效率？ 5．简述数据仓库的定义，并论述其关键特征。 6．为什么需要预处理数据。 7．操作数据库系统与数据仓库的区别？ 8．简述决策树分类方法的关键步骤。 三、计算题 1. 给定两个对象，分别用元组（26，10，23，8），（22，7，25，7）表示。 a)计算两个对象之间的欧几里德距离； b)计算两个对象之间的曼哈顿距离； 2．假设15个销售价格记录已经排列如下： 4，6，12，15，18，30，35，37，40，48，92，95，145，156，157 a) 使用等频（等深）划分方法将它们划分为三个箱； b) 分别用箱均值、箱边界光滑。 3. 给定两个对象，分别用元组（33，8，38，6），（28，6，35，8）表示。 c)计算两个对象之间的欧几里德距离； 习题参考答案 第1 章绪论 1.1 数据挖掘处理的对象有哪些？请从实际生活中举出至少三种。 答：数据挖掘处理的对象是某一专业领域中积累的数据，对象既可以来自社会科学,又可以来自自然科学产生的数据,还可以是卫星观测得到的数据。数据形式和结构也各不相同, 可以是传统的关系数据库,可以是面向对象的高级数据库系统,也可以是面向特殊应用的 数据库,如空间数据库、时序数据库、文本数据库和多媒体数据库等,还可以是Web 数据 信息。 实际生活的例子： ①电信行业中利用数据挖掘技术进行客户行为分析，包含客户通话记录、通话时间、所 开通的服务等，据此进行客户群体划分以及客户流失性分析。 ②天文领域中利用决策树等数据挖掘方法对上百万天体数据进行分类与分析，帮助天文 学家发现其他未知星体。 ③制造业中应用数据挖掘技术进行零部件故障诊断、资源优化、生产过程分析等。 ④市场业中应用数据挖掘技术进行市场定位、消费者分析、辅助制定市场营销策略等。 1.2 给出一个例子，说明数据挖掘对商务的成功是至关重要的。该商务需要什么样的数据挖掘功能？它们能够由数据查询处理或简单的统计分析来实现吗？ 答：例如，数据挖掘在电子商务中的客户关系管理起到了非常重要的作用。随着各个电子商务网站的建立，企业纷纷地从“产品导向”转向“客户导向”，如何在保持现有的客户 同时吸引更多的客户、如何在客户群中发现潜在价值，一直都是电子商务企业重要任务。但是，传统的数据分析处理，如数据查询处理或简单的统计分析，只能在数据库中进行 一些简单的数据查询和更新以及一些简单的数据计算操作，却无法从现有的大量数据中 挖掘潜在的价值。而数据挖掘技术却能使用如聚类、关联分析、决策树和神经网络等多 种方法，对数据库中庞大的数据进行挖掘分析，然后可以进行客户细分而提供个性化服务、可以利用挖掘到的历史流失客户的特征来防止客户流失、可以进行产品捆绑推荐等，从而使电子商务更好地进行客户关系管理，提高客户的忠诚度和满意度。 1.3 假定你是Big-University 的软件工程师，任务是设计一个数据挖掘系统，分析学校课程数据库。该数据库包括如下信息：每个学生的姓名、地址和状态(例如，本科生或研究生)、所修课程，以及他们的GPA。描述你要选取的结构，该结构的每个成分的作用是什么？答：任务目的是分析课程数据库，那么首先需要有包含信息的关系型数据库系统，以便查找、提取每个属性的值；在取得数据后，需要有特征选择模块，通过特征选择，找出要分析 的属性；接下来需要一个数据挖掘算法，或者数据挖掘软件，它应该包含像分类、聚类、关联分析这样的分析模块，对选择出来的特征值进行分析处理；在得到结果后，可以用 可视化软件进行显示。 1.4 假定你作为一个数据挖掘顾问，受雇于一家因特网搜索引擎公司。通过特定的例子说明，数据挖掘可以为公司提供哪些帮助，如何使用聚类、分类、关联规则挖掘和离群点检测 等技术为企业服务。 答： (1) 使用聚类发现互联网中的不同群体，用于网络社区发现； 第2 页共27 页 (2) 使用分类对客户进行等级划分，从而实施不同的服务； (3) 使用关联规则发现大型数据集中间存在的关系，用于推荐搜索。如大部分搜索了“广外”的人都会继续搜索“信息学院”，那么在搜索“广外”后会提示是否进进一步搜 索“信息学院”。 北京邮电大学 2015-2016学年第1学期实验报告 课程名称：数据仓库与数据挖掘 实验名称：文本的分类 实验完成人： 姓名：学号： 日期： 2015 年 12 月 实验一：文本的分类 1.实验目的 1. 了解一些数据挖掘的常用算法，掌握部分算法； 2. 掌握数据预处理的方法，对训练集数据进行预处理； 3. 利用学习的文本分类器，对未知文本进行分类判别； 4. 掌握评价分类器性能的评估方法。 2.实验分工 数据准备、预处理、LDA主题模型特征提取实现、SVM算法都由范树全独立完成。 3.实验环境 ●操作系统：win7 64bit 、Ubuntu-14.04-trusty ●开发环境：java IDE eclipse 、Python IDLE 4.主要设计思想 4.1实验工具介绍 1.Scrapy 0.25 所谓网络爬虫，就是一个抓取特定网站网页的HTML数据的程序。不过由于一个网站的网页很多，而我们又不可能事先知道所有网页的URL地址，所以，如何保证我们抓取到了网站的所有HTML页面就是一个有待考究的问题了。一般的方法是，定义一个入口页面，然后一般一个页面会有其他页面的URL，于是从当前页面获取到这些URL加入到爬虫的抓取队列中，然后进入到新页面后再递归的进行上述的操作，其实说来就跟深度遍历或广度遍历一样。 Scrapy是一个基于Twisted，纯Python实现的爬虫框架，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常之方便。Scrapy 使用Twisted这个异步网络库来处理网络通讯，架构清晰，并且包含了各种中间件接口，可以灵活的完成各种需求。 2.JGibbLDA-v.1.0 jGibbLDA是java版本的LDA实现，它使用Gibbs采样来进行快速参数估计和推断。LDA 是一种由基于概率模型的聚类算法。该算法能够对训练数据中的关键项集之于类簇的概率参数拟合模型，进而利用该参数模型实施聚类和分类等操作。 3.ICTCLAS50 中科院计算技术研究所在多年研究基础上，耗时一年研制出了基于多层隐码模型的汉语词法分析系统ICTCLAS，该系统有中文分词，词性标注，未登录次识别等功能。 4.libSVM-3.20 libSVM是台湾大学林智仁教授等开发设计的一个简单、易用和快速有效的SVM模式识 第1章数据仓库的概念与体系结构 1.数据仓库就是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合。 2.元数据是描述数据仓库内数据的结构和建立方法的数据，它为访问数据仓库提供了一个信息目录，根据元数据用途的不同可将数据仓库的元数据分为技术元数据和业务元数据两类。 3.数据处理通常分成两大类：联机事务处理OLTP和联机分析处理OLAP。 4.多维分析是指对以“维”形式组织起来的数据（多维数据集）采取切片（Slice）、切块（dice）、钻取（Drill-down 和Roll-up 等）和旋转（pivot）等各种分析动作，以求剖析数据，使用户能从不同角度、不同侧面观察数据仓库中的数据，从而深入理解多维数据集中的信息。 5. ROLAP是基于关系数据库的OLAP实现，而MOLAP是基于多维数据结构组织的OLAP实现。 6.数据仓库按照其开发过程，其关键环节包括数据抽取、数据存储与管理和数据表现等。 7.数据仓库系统的体系结构根据应用需求的不同，可以分为以下4种类型：两层架构、独立型数据集市、依赖型数据集市和操作型数据存储、逻辑型数据集市和实时数据仓库。 8.操作型数据存储实际上是一个集成的、面向主题的、可更新的、当前值的（但是可“挥发”的）、企业级的、详细的数据库，也叫运营数据存储。 9.“实时数据仓库”意味着源数据系统、决策支持服务和数据仓库之间以一个接近实时的速度交换数据和业务规则。 10.从应用的角度看，数据仓库的发展演变可以归纳为5个阶段：以报表为主、以分析为主、以预测模型为主、以营运导向为主、以实时数据仓库和自动决策为主。 11.什么是数据仓库？数据仓库的特点主要有哪些？ 答：数据仓库就是一个面向主题的（Subject Oriented）、集成的（Integrate）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，通常用于辅助决策支持。 数据仓库的特点包含以下几个方面：（1）面向主题。操作型数据库的数据组织是面向事务处理任务，各个业务系统之间各自分离；而数据仓库中的数据是按照一定的主题域进行组织。主题是一个抽象的概念，是指用户使用数据仓库进行决策时所关心的重点领域，一个主题通常与多个操作型业务系统或外部档案数据相关。（2）集成的。面向事务处理的操作型数据库通常与某些特定的应用相关，数据库之间相互独立，并且往往是异构的。而数据仓库中的数据是在对原有分散的数据库数据作抽取、清理的基础上经过系统加工、汇总和整理得到的，必须消除源数据中的不一致性，以保证数据仓库内的信息是关于整个企事业单位一致的全局信息。也就是说存放在数据仓库中的数据应使用一致的命名规则、格式、编码结构和相关特性来定义。（3）相对稳定的。操作型数据库中的数据通常实时更新，数据根据需要及时发生变化。数据仓库的数据主要供单位决策分析之用，对所涉及的数据操作主要是数据查询和加载，一旦某个数据加载到数据仓库以后，一般情况下将作为数据档案长期保存，几乎不再做修改和删除操作，也就是说针对数据仓库，通常有大量的查询操作及少量定期的加载（或刷新）操作。（4）反映历史变化。操作型数据库（OLTP）主要关心当前某一个时间段内的数据，而数据仓库中的数据通常包含较久远的历史数据，因此总是包括一个时间维，以便可以研究趋势和变化。数据仓库系统通常记录了一个单位从过去某一时点(如开始启用数据仓库系统的时点)到目前的所有时期的信息，通过这些信息，可以对单位的发展历程和未来趋势做出定量分析和预测。 12. 简述数据仓库4种体系结构的异同点及其适用性。 答：（1）两层架构（Generic Two-Level Architecture）。 （2）独立型数据集市（Independent Data Mart）。 （3）依赖型数据集市和操作型数据存储（Dependent Data Mart and Operational Data Store）。 （4）逻辑型数据集市和实时数据仓库（Logical Data Mart and Real-Time Data Warehouse）。 13. 答：数据仓库技术的发展包括数据抽取、存储管理、数据表现和方法论等方面。在数据抽取方面，未来的技术发展将集中在系统集成化方面。它将互连、转换、复制、调度、监控纳入标准化的统一管理，以适应数据仓库本身或数据源可能的变化，使系统更便于管理和维护。在数据管理方面，未来的发展将使 数据挖掘作业The document was prepared on January 2, 2021 1、给出K D D的定义和处理过程。 KDD的定义是：从大量数据中提取出可信的、新颖的、有用的且可以被人理解的模式的高级处理过程。因此，KDD是一个高级的处理过程，它从数据集中识别出以模式形式表示的知识。这里的“模式”可以看成知识的雏形，经过验证、完善后形成知识：“高级的处理过程”是指一个多步骤的处理过程，多步骤之间相互影响反复调整，形成一种螺旋式上升的过程。 KDD的全过程有五个步骤：1、数据选择：确定发现任务的操作对象，即目标数据，它是根据用户的需要从原始数据库中抽取的一组数据；2、数据预处理：一般可能包括消除噪声、推到技术却只数据、消除重复记录、完成数据类型转换等；3、数据转换：其主要目的是消减数据维数或降维，即从初始特征中找出真正有用的特征以减少数据开采时要考虑的特征或变量个数；4、数据挖掘：这一阶段包括确定挖掘任务/目的、选择挖掘方法、实施数据挖掘；5、模式解释/评价：数据挖掘阶段发现出来的模式，经过用户或机器的评价，可能存在冗余或无关的模式，需要剔除；也有可能模式不满足用户的要求，需要退回到整个发现阶段之前，重新进行KDD过程。 2、阐述数据挖掘产生的背景和意义。 数据挖掘产生的背景：随着信息科技的进步以及电子化时代的到来，人们以更快捷、更容易、更廉价的方式获取和存储数据，使得数据及信息量以指数方式增长。据粗略估计，一个中等规模企业每天要产生100MB以上的商业数据。而电信、银行、大型零售业每天产生的数据量以TB来计算。人们搜集的数据越来越多，剧增的数据背后隐藏着许多重要的信息，人们希望对其进行更高层次的分析，以便更好的利用这些数据。先前的数据库系统可以高效的实现数据的录入、查询、统计等功能，但无法发现数据中存在的关系与规则，无法根据现有的数据来预测未来的发展趋势。缺乏挖掘数据背后隐藏的知识的手段。导致了“数据爆炸但知识贫乏”的现象。于是人们开始提出“要学会选择、提取、抛弃信息”，并且开始考虑：如何才能不被信息淹没如何从中及时发现有用的知识、提高信息利用率如何从浩瀚如烟海的资料中选择性的搜集他们认为有用的信息这给我们带来了另一些头头疼的问题：第一是信息过量，难以消理工大学数据仓库与数据挖掘实验一
《大数据时代下的数据挖掘》试题及答案要点
数据挖掘习题题
数据挖掘期末大作业任务
大数据时代的数据挖掘
数据挖掘原理与实践蒋盛益版期末复习
数据挖掘作业
数据挖掘作业
数据挖掘作业
数据仓库与数据挖掘试题
大数据处理技术的总结与分析
厦门大学数据挖掘原理及实践课程习题
数据挖掘大作业
数据挖掘与数据库技术
数据挖掘原理与实践-蒋盛益-答案
北邮数据挖掘作业
最新数据仓库与数据挖掘--课后答案-(陈志泊-著)-清华大学出版社
数据挖掘作业