数据挖掘一些面试题总结
数据挖掘一些面试题总结（Data Mining）
摘录一段
企业面对海量数据应如何具体实施数据挖掘，使之转换成可行的结果/模型？
首先进行数据的预处理，主要进行数据的清洗，数据清洗，处理空缺值，数据的集成，数据的变换和数据规约。
请列举您使用过的各种数据仓库工具软件（包括建模工具，ETL工具，前端展现工具，OLAP Server、数据库、数据挖掘工具）和熟悉程度。
ETL工具：Ascential DataStage ，IBM warehouse MANAGER、Informatica公司的PowerCenter、Cognos 公司的DecisionStream
市场上的主流数据仓库存储层软件有：SQL SERVER、SYBASE、ORACLE、DB2、TERADATA 请谈一下你对元数据管理在数据仓库中的运用的理解。
元数据能支持系统对数据的管理和维护，如关于数据项存储方法的元数据能支持系统以最有效的方式访问数据。具体来说,在数据仓库系统中，元数据机制主要支持以下五类系统管理功能：
（１）描述哪些数据在数据仓库中；
（２）定义要进入数据仓库中的数据和从数据仓库中产生的数据；
（３）记录根据业务事件发生而随之进行的数据抽取工作时间安排；
（４）记录并检测系统数据一致性的要求和执行情况；
（５）衡量数据质量。
数据挖掘对聚类的数据要求是什么？
（1）可伸缩性
（2）处理不同类型属性的能力
（3）发现任意形状的聚类
（4）使输入参数的领域知识最小化
（5）处理噪声数据的能力
（6）对于输入顺序不敏感
（7）高维性
（8）基于约束的聚类
（9）可解释性和可利用性
简述Apriori算法的思想，谈谈该算法的应用领域并举例。
思想：其发现关联规则分两步，第一是通过迭代，检索出数据源中所有烦琐项集，即支持度不低于用户设定的阀值的项即集，第二是利用第一步中检索出的烦琐项集构造出满足用户最小信任度的规则，其中，第一步即挖掘出所有频繁项集是该算法的核心，也占整个算法工作量的大部分。
在商务、金融、保险等领域皆有应用。在建筑陶瓷行业中的交叉销售应用，主要采用了Apriori 算法
通过阅读该文挡，请同学们分析一下数据挖掘在电子商务领域的应用情况（请深入分析并给出实例，切忌泛泛而谈）？
单选题
1. 某超市研究销售纪录数据后发现，买啤酒的人很大概率也会购买尿布，这种属于数据挖掘的哪类问题？(A)
A. 关联规则发现
B. 聚类
C. 分类
D. 自然语言处理
2. 以下两种描述分别对应哪两种对分类算法的评价标准？ (A)
(a)警察抓小偷，描述警察抓的人中有多少个是小偷的标准。
(b)描述有多少比例的小偷给警察抓了的标准。
A. Precision, Recall
B. Recall, Precision
A. Precision, ROC D. Recall, ROC
3. 将原始数据进行集成、变换、维度规约、数值规约是在以下哪个步骤的任务？(C)
A. 频繁模式挖掘
B. 分类和预测
C. 数据预处理
D. 数据流挖掘
4. 当不知道数据所带标签时，可以使用哪种技术促使带同类标签的数据与带其他标签的数据相分离？(B)
A. 分类
B. 聚类
C. 关联分析
D. 隐马尔可夫链
5. 什么是KDD？ (A)
A. 数据挖掘与知识发现
B. 领域知识发现
C. 文档知识发现
D. 动态知识发现
6. 使用交互式的和可视化的技术，对数据进行探索属于数据挖掘的哪一类任务？（A）
A. 探索性数据分析
B. 建模描述
C. 预测建模
D. 寻找模式和规则
7. 为数据的总体分布建模；把多维空间划分成组等问题属于数据挖掘的哪一类任务？(B)
A. 探索性数据分析
B. 建模描述
C. 预测建模
D. 寻找模式和规则
8. 建立一个模型，通过这个模型根据已知的变量值来预测其他某个变量值属于数据挖掘的哪一类任务？(C)
A. 根据内容检索
B. 建模描述
C. 预测建模
D. 寻找模式和规则
9. 用户有一种感兴趣的模式并且希望在数据集中找到相似的模式，属于数据挖掘哪一类任务？(A)
A. 根据内容检索
B. 建模描述
C. 预测建模
D. 寻找模式和规则
11.下面哪种不属于数据预处理的方法？ (D)
A变量代换 B离散化 C 聚集 D 估计遗漏值
12. 假设12个销售价格记录组已经排序如下：5, 10, 11, 13, 15,35, 50, 55, 72, 92, 204, 215 使用如下每种方法将它们划分成四个箱。等频（等深）划分时，15在第几个箱子内？ (B) A 第一个 B 第二个 C 第三个 D 第四个
13.上题中，等宽划分时（宽度为50），15又在哪个箱子里？ (A)
A 第一个
B 第二个
C 第三个
D 第四个
14.下面哪个不属于数据的属性类型：(D)
A 标称
B 序数
C 区间D相异
15. 在上题中，属于定量的属性类型是：(C)
A 标称
B 序数 C区间 D 相异
16. 只有非零值才重要的二元属性被称作：( C )
A 计数属性
B 离散属性 C非对称的二元属性 D 对称属性
17. 以下哪种方法不属于特征选择的标准方法： (D)
A嵌入 B 过滤 C 包装 D 抽样
18.下面不属于创建新属性的相关方法的是： (B)
A特征提取B特征修改C映射数据到新的空间D特征构造
19. 考虑值集{1、2、3、4、5、90}，其截断均值（p=20%）是(C)
A 2
B 3
C
D 5
20. 下面哪个属于映射数据到新的空间的方法？ (A)
A 傅立叶变换 B特征加权 C 渐进抽样D维归约
21. 熵是为消除不确定性所需要获得的信息量，投掷均匀正六面体骰子的熵是： (B)
A 1比特
B 比特
C 比特
D 比特
22. 假设属性income的最大最小值分别是12000元和98000元。利用最大最小规范化的方法将属性的值映射到0至1的范围内。对属性income的73600元将被转化为：(D)
A B C D
23.假定用于分析的数据包含属性age。数据元组中age的值如下（按递增序）：13，15，16，16，19，20，20，21，22，22，25，25，25，30，33，33，35，35，36，40，45，46，52，70, 问题：使用按箱平均值平滑方法对上述数据进行平滑，箱的深度为3。第二个箱子值为：(A)
A B C D
24. 考虑值集{12 24 332 4 55 68 26}，其四分位数极差是：(A)
A 31
B 24
C 55
D 3
25. 一所大学内的各年纪人数分别为：一年级200人，二年级160人，三年级130人，四年级110人。则年级属性的众数是： (A)
A 一年级B二年级 C 三年级 D 四年级
26. 下列哪个不是专门用于可视化时间空间数据的技术： (B)
A 等高线图 B饼图 C 曲面图 D 矢量场图
27. 在抽样方法中，当合适的样本容量很难确定时，可以使用的抽样方法是： (D)
A 有放回的简单随机抽样 B无放回的简单随机抽样 C分层抽样 D 渐进抽样
28. 数据仓库是随着时间变化的,下面的描述不正确的是 (C)
A. 数据仓库随时间的变化不断增加新的数据内容;
B. 捕捉到的新数据会覆盖原来的快照;
C. 数据仓库随事件变化不断删去旧的数据内容;
D. 数据仓库中包含大量的综合数据,这些综合数据会随着时间的变化不断地进行重新综合.
29. 关于基本数据的元数据是指:(D)
A. 基本元数据与数据源,数据仓库,数据集市和应用程序等结构相关的信息;
B. 基本元数据包括与企业相关的管理方面的数据和信息;
C. 基本元数据包括日志文件和简历执行处理的时序调度信息;
D. 基本元数据包括关于装载和更新处理,分析处理以及管理方面的信息.
30. 下面关于数据粒度的描述不正确的是: (C)
A. 粒度是指数据仓库小数据单元的详细程度和级别;
B. 数据越详细,粒度就越小,级别也就越高;
C. 数据综合度越高,粒度也就越大,级别也就越高;
D. 粒度的具体划分将直接影响数据仓库中的数据量以及查询质量.
31. 有关数据仓库的开发特点,不正确的描述是: (A)
A. 数据仓库开发要从数据出发;
B. 数据仓库使用的需求在开发出去就要明确;
C. 数据仓库的开发是一个不断循环的过程,是启发式的开发;
D. 在数据仓库环境中,并不存在操作型环境中所固定的和较确切的处理流,数据仓库中数据分析和处理更灵活,且没有固定的模式
32. 在有关数据仓库测试,下列说法不正确的是: (D)
A. 在完成数据仓库的实施过程中,需要对数据仓库进行各种测试.测试工作中要包括单元测试和系统测试.
B. 当数据仓库的每个单独组件完成后,就需要对他们进行单元测试.
C. 系统的集成测试需要对数据仓库的所有组件进行大量的功能测试和回归测试.
D. 在测试之前没必要制定详细的测试计划.
33. OLAP技术的核心是: (D)
A. 在线性;
B. 对用户的快速响应;
C. 互操作性.
D. 多维分析;
34. 关于OLAP的特性,下面正确的是: (D)
(1)快速性 (2)可分析性 (3)多维性 (4)信息性 (5)共享性
A. (1) (2) (3)
B. (2) (3) (4)
C. (1) (2) (3) (4)
D. (1) (2) (3) (4) (5)
35. 关于OLAP和OLTP的区别描述,不正确的是: (C)
A. OLAP主要是关于如何理解聚集的大量不同的数据.它与OTAP应用程序不同.
B. 与OLAP应用程序不同,OLTP应用程序包含大量相对简单的事务.
C. OLAP的特点在于事务量大,但事务内容比较简单且重复率高.
D. OLAP是以数据仓库为基础的,但其最终数据来源与OLTP一样均来自底层的数据库系统,两者面对的用户是相同的.
36. OLAM技术一般简称为”数据联机分析挖掘”,下面说法正确的是: (D)
A. OLAP和OLAM都基于客户机/服务器模式,只有后者有与用户的交互性;
B. 由于OLAM的立方体和用于OLAP的立方体有本质的区别.
C. 基于WEB的OLAM是WEB技术与OLAM技术的结合.
D. OLAM服务器通过用户图形借口接收用户的分析指令,在元数据的知道下,对超级立方体作一定的操作.
37. 关于OLAP和OLTP的说法,下列不正确的是: (A)
A. OLAP事务量大,但事务内容比较简单且重复率高.
B. OLAP的最终数据来源与OLTP不一样.
C. OLTP面对的是决策人员和高层管理人员.
D. OLTP以应用为核心,是应用驱动的.
38. 设X={1，2，3}是频繁项集，则可由X产生__(C)__个关联规则。
A、4
B、5
C、6
D、7
40. 概念分层图是__(B)__图。
A、无向无环
B、有向无环
C、有向有环
D、无向有环
41. 频繁项集、频繁闭项集、最大频繁项集之间的关系是： (C)
A、频繁项集频繁闭项集 =最大频繁项集
B、频繁项集 = 频繁闭项集最大频繁项集
C、频繁项集频繁闭项集最大频繁项集
D、频繁项集 = 频繁闭项集 = 最大频繁项集
42. 考虑下面的频繁3-项集的集合：{1，2，3}，{1，2，4}，{1，2，5}，{1，3，4}，{1，3，5}，{2，3，4}，{2，3，5}，{3，4，5}假定数据集中只有5个项，采用合并策略，由候选产生过程得到4-项集不包含（C）
A、1，2，3，4
B、1，2，3，5
C、1，2，4，5
D、1，3，4，5
43.下面选项中t不是s的子序列的是 ( C )
A、s=<{2,4},{3,5,6},{8}>t=<{2},{3,6},{8}>
B、s=<{2,4},{3,5,6},{8}>t=<{2},{8}>
C、s=<{1,2},{3,4}>t=<{1},{2}>
D、s=<{2,4},{2,4}>t=<{2},{4}>
44. 在图集合中发现一组公共子结构，这样的任务称为 ( B )
A、频繁子集挖掘
B、频繁子图挖掘
C、频繁数据项挖掘
D、频繁模式挖掘
45. 下列度量不具有反演性的是(D)
A、系数
B、几率
C、Cohen度量
D、兴趣因子
46. 下列__(A)__不是将主观信息加入到模式发现任务中的方法。
A、与同一时期其他数据对比
B、可视化
C、基于模板的方法
D、主观兴趣度量
47. 下面购物篮能够提取的3-项集的最大数量是多少（C）
ID 购买项
1 牛奶，啤酒，尿布
2 面包，黄油，牛奶
3 牛奶，尿布，饼干
4 面包，黄油，饼干
5 啤酒，饼干，尿布
6 牛奶，尿布，面包，黄油
7 面包，黄油，尿布
8 啤酒，尿布
9 牛奶，尿布，面包，黄油
10 啤酒，饼干
A、1
B、2
C、3
D、4
48. 以下哪些算法是分类算法，A，DBSCAN B， C,K-Mean D,EM （B）
49. 以下哪些分类方法可以较好地避免样本的不平衡问题， A，KNN B，SVM C，Bayes D，神经网络（A）
50. 决策树中不包含一下哪种结点，A,根结点（root node) B,内部结点（internal node）C,外部结点（external node） D,叶结点（leaf node） (C)
51. 不纯性度量中Gini计算公式为（其中c是类的个数） (A)
A, B, C, D, （A）
53. 以下哪项关于决策树的说法是错误的 (C)
A. 冗余属性不会对决策树的准确率造成不利的影响
B. 子树可能在决策树中重复多次
C. 决策树算法对于噪声的干扰非常敏感
D. 寻找最佳决策树是NP完全问题
54. 在基于规则分类器的中，依据规则质量的某种度量对规则排序，保证每一个测试记录都是由覆盖它的“最好的”规格来分类，这种方案称为 (B)
A. 基于类的排序方案
B. 基于规则的排序方案
C. 基于度量的排序方案
D. 基于规格的排序方案。
55. 以下哪些算法是基于规则的分类器 (A)
A. B. KNN C. Na?ve Bayes D. ANN
56. 如果规则集R中不存在两条规则被同一条记录触发，则称规则集R中的规则为（C）；A, 无序规则 B，穷举规则 C，互斥规则 D，有序规则
57. 如果对属性值的任一组合，R中都存在一条规则加以覆盖，则称规则集R中的规则为(B) A, 无序规则 B，穷举规则 C，互斥规则D，有序规则
58. 如果规则集中的规则按照优先级降序排列，则称规则集是 (D)
A, 无序规则 B，穷举规则 C，互斥规则 D，有序规则
59. 如果允许一条记录触发多条分类规则，把每条被触发规则的后件看作是对相应类的一次投票，然后计票确定测试记录的类标号，称为（A）
A, 无序规则 B，穷举规则 C，互斥规则 D，有序规则
60. 考虑两队之间的足球比赛：队0和队1。假设65%的比赛队0胜出，剩余的比赛队1获胜。队0获胜的比赛中只有30%是在队1的主场，而队1取胜的比赛中75%是主场获胜。如果下一场比赛在队1的主场进行队1获胜的概率为 (C)
A， B, C, D,
61. 以下关于人工神经网络（ANN）的描述错误的有 (A)
A，神经网络对训练数据中的噪声非常鲁棒 B，可以处理冗余特征 C，训练ANN是一个很耗时的过程 D，至少含有一个隐藏层的多层神经网络
62. 通过聚集多个分类器的预测来提高分类准确率的技术称为 (A)
A,组合(ensemble) B,聚集(aggregate) C，合并(combination) D，投票(voting) 63. 简单地将数据对象集划分成不重叠的子集，使得每个数据对象恰在一个子集中，这种聚类类型称作（ B ）
A、层次聚类
B、划分聚类
C、非互斥聚类
D、模糊聚类
64. 在基本K均值算法里，当邻近度函数采用（ A ）的时候，合适的质心是簇中各点的中位数。
A、曼哈顿距离
B、平方欧几里德距离
C、余弦距离
D、Bregman 散度
65.（ C ）是一个观测值，它与其他观测值的差别如此之大，以至于怀疑它是由不同的机制产生的。
A、边界点
B、质心
C、离群点
D、核心点
66. BIRCH是一种（ B ）。
A、分类器
B、聚类算法
C、关联分析算法
D、特征选择算法
67. 检测一元正态分布中的离群点，属于异常检测中的基于（ A ）的离群点检测。
A、统计方法
B、邻近度
C、密度
D、聚类技术
68.（ C ）将两个簇的邻近度定义为不同簇的所有点对的平均逐对邻近度，它是一种凝聚层次聚类技术。
A、MIN（单链）
B、MAX（全链）
C、组平均
D、Ward 方法
69.（ D ）将两个簇的邻近度定义为两个簇合并时导致的平方误差的增量，它是一种凝聚层次聚类技术。
A、MIN（单链）
B、MAX（全链）
C、组平均
D、Ward 方法
70. DBSCAN在最坏情况下的时间复杂度是（ B ）。
A、O(m)
B、O(m2)
C、O(log m)
D、O(m*log m)
71. 在基于图的簇评估度量表里面，如果簇度量为proximity(Ci , C)，簇权值为mi ，那么它的类型是（ C ）。
A、基于图的凝聚度
B、基于原型的凝聚度
C、基于原型的分离度
D、基于图的凝聚度和分离度
72. 关于K均值和DBSCAN的比较，以下说法不正确的是（ A ）。
A、K均值丢弃被它识别为噪声的对象，而DBSCAN一般聚类所有对象。
B、K均值使用簇的基于原型的概念，而DBSCAN使用基于密度的概念。
C、K均值很难处理非球形的簇和不同大小的簇，DBSCAN可以处理不同大小和不同形状的簇。
D、K均值可以发现不是明显分离的簇，即便簇有重叠也可以发现，但是DBSCAN会合并有重叠的簇。
73. 以下是哪一个聚类算法的算法流程：①构造k－最近邻图。②使用多层图划分算法划分图。③repeat：合并关于相对互连性和相对接近性而言，最好地保持簇的自相似性的簇。④until：不再有可以合并的簇。（ C）。
A、MST
B、OPOSSUM
C、Chameleon
D、Jarvis－Patrick（JP）
74. 考虑这么一种情况：一个对象碰巧与另一个对象相对接近，但属于不同的类，因为这两个对象一般不会共享许多近邻，所以应该选择（ D ）的相似度计算方法。
A、平方欧几里德距离
B、余弦距离
C、直接相似度
D、共享最近邻
75. 以下属于可伸缩聚类算法的是（A ）。
A、CURE
B、DENCLUE
C、CLIQUE
D、OPOSSUM
76. 以下哪个聚类算法不是属于基于原型的聚类（ D ）。
A、模糊c均值
B、EM算法
C、SOM
D、CLIQUE
77. 关于混合模型聚类算法的优缺点，下面说法正确的是（ B ）。
A、当簇只包含少量数据点，或者数据点近似协线性时，混合模型也能很好地处理。
B、混合模型比K均值或模糊c均值更一般，因为它可以使用各种类型的分布。
C、混合模型很难发现不同大小和椭球形状的簇。
D、混合模型在有噪声和离群点时不会存在问题。
78. 以下哪个聚类算法不属于基于网格的聚类算法（ D ）。
A、STING
B、WaveCluster
C、MAFIA
D、BIRCH
79. 一个对象的离群点得分是该对象周围密度的逆。这是基于（ C ）的离群点定义。
A．概率 B、邻近度 C、密度 D、聚类
80. 下面关于Jarvis－Patrick（JP）聚类算法的说法不正确的是（ D ）。
A、JP聚类擅长处理噪声和离群点，并且能够处理不同大小、形状和密度的簇。
B、JP算法对高维数据效果良好，尤其擅长发现强相关对象的紧致簇。
C、JP聚类是基于SNN相似度的概念。
D、JP聚类的基本时间复杂度为O(m)。
二、多选题
1. 通过数据挖掘过程所推倒出的关系和摘要经常被称为：(A B)
A. 模型
B. 模式
C. 模范
D. 模具
2 寻找数据集中的关系是为了寻找精确、方便并且有价值地总结了数据的某一特征的表示，这个过程包括了以下哪些步骤？ (A B C D)
A. 决定要使用的表示的特征和结构
B. 决定如何量化和比较不同表示拟合数据的好坏
C. 选择一个算法过程使评分函数最优
D. 决定用什么样的数据管理原则以高效地实现算法。
3. 数据挖掘的预测建模任务主要包括哪几大类问题？ (A B)
A. 分类
B. 回归
C. 模式发现
D. 模式匹配
4. 数据挖掘算法的组件包括：(AB C D)
A. 模型或模型结构
B. 评分函数
C. 优化和搜索方法
D. 数据管理策略
5. 以下哪些学科和数据挖掘有密切联系？(A D)
A. 统计
B. 计算机组成原理
C. 矿产挖掘
D. 人工智能
6. 在现实世界的数据中，元组在某些属性上缺少值是常有的。描述处理该问题的各种方法有： (ＡＢＣＤＥ)
A忽略元组 C使用一个全局常量填充空缺值
B使用属性的平均值填充空缺值 D使用与给定元组属同一类的所有样本的平均值 E使用最可能的值填充空缺值
7.下面哪些属于可视化高维数据技术 (ＡＢＣＥ)
A 矩阵
B 平行坐标系 C星形坐标 D散布图 E Chernoff脸
8. 对于数据挖掘中的原始数据，存在的问题有： (ＡＢＣＤＥ)
A 不一致 B重复 C不完整 D 含噪声 E 维度高
9.下列属于不同的有序数据的有：(ＡＢＣＥ)
A 时序数据
B 序列数据 C时间序列数据 D事务数据 E空间数据
10.下面属于数据集的一般特性的有：( B C D)
A 连续性
B 维度 C稀疏性 D 分辨率 E 相异性
11. 下面属于维归约常用的线性代数技术的有： (A C)
A 主成分分析
B 特征提取
C 奇异值分解 D特征加权 E 离散化
12. 下面列出的条目中，哪些是数据仓库的基本特征： (ACD)
A. 数据仓库是面向主题的
B. 数据仓库的数据是集成的
C. 数据仓库的数据是相对稳定的
D. 数据仓库的数据是反映历史变化的
E. 数据仓库是面向事务的
13. 以下各项均是针对数据仓库的不同说法，你认为正确的有（BCDE ）。
A．数据仓库就是数据库
B．数据仓库是一切商业智能系统的基础
C．数据仓库是面向业务的，支持联机事务处理（OLTP）
D．数据仓库支持决策而非事务处理
E．数据仓库的主要目标就是帮助分析，做长期性的战略制定
14. 数据仓库在技术上的工作过程是： (ABCD)
A. 数据的抽取
B. 存储和管理
C. 数据的表现
D. 数据仓库设计
E. 数据的表现
15. 联机分析处理包括以下哪些基本分析功能？ (BCD)
A. 聚类
B. 切片
C. 转轴
D. 切块
E. 分类
16. 利用Apriori算法计算频繁项集可以有效降低计算频繁集的时间复杂度。在以下的购物篮中产生支持度不小于3的候选3-项集，在候选2-项集中需要剪枝的是（BD）
ID 项集
1 面包、牛奶
2 面包、尿布、啤酒、鸡蛋
3 牛奶、尿布、啤酒、可乐
4 面包、牛奶、尿布、啤酒
5 面包、牛奶、尿布、可乐
A、啤酒、尿布
B、啤酒、面包
C、面包、尿布
D、啤酒、牛奶
17. 下表是一个购物篮，假定支持度阈值为40%，其中__(A D)__是频繁闭项集。
TID 项
1 abc
2 abcd
3 bce
4 acde
5 de
A、abc
B、ad
C、cd
D、de
18. Apriori算法的计算复杂度受__(ABCD)?__影响。
A、支持度阀值
B、项数（维度）
C、事务数
D、事务平均宽度
19. 非频繁模式__(AD)__
A、其支持度小于阈值
B、都是不让人感兴趣的
C、包含负模式和负相关模式
D、对异常数据项敏感
20. 以下属于分类器评价或比较尺度的有: A,预测准确度 B,召回率 C,模型描述的简洁度D,计算复杂度 (ACD)
21. 在评价不平衡类问题分类的度量方法有如下几种，A,F1度量 B,召回率（recall） C,精度（precision） D,真正率（turepositive rate,TPR） (ABCD)
22. 贝叶斯信念网络(BBN)有如下哪些特点，A,构造网络费时费力 B,对模型的过分问题非常鲁棒 C,贝叶斯网络不适合处理不完整的数据 D,网络结构确定后，添加变量相当麻烦（AB）
23. 如下哪些不是最近邻分类器的特点，A,它使用具体的训练实例进行预测，不必维护源自数据的模型 B,分类一个测试样例开销很大C,最近邻分类器基于全局信息进行预测 D,可以生产任意形状的决策边界 (C)
24. 如下那些不是基于规则分类器的特点，A,规则集的表达能力远不如决策树好 B,基于规则的分类器都对属性空间进行直线划分，并将类指派到每个划分 C,无法被用来产生更易于解释的描述性模型 D,非常适合处理类分布不平衡的数据集（AC）
25. 以下属于聚类算法的是（ABD ）。
A、K均值
B、DBSCAN
C、Apriori
D、Jarvis-Patrick （JP）
26.（ CD ）都属于簇有效性的监督度量。
A、轮廓系数
B、共性分类相关系数
C、熵
D、F度量
27. 簇有效性的面向相似性的度量包括（ BC ）。
A、精度
B、Rand统计量
C、Jaccard系数
D、召回率
28.（ ABCD ）这些数据特性都是对聚类分析具有很强影响的。
A、高维性
B、规模
C、稀疏性
D、噪声和离群点
29. 在聚类分析当中，（ AD ）等技术可以处理任意形状的簇。
A、MIN（单链）
B、MAX（全链）
C、组平均
D、Chameleon
30. （ AB ）都属于分裂的层次聚类算法。
A、二分K均值
B、MST
C、Chameleon
D、组平均
1. 数据挖掘的主要任务是从数据中发现潜在的规则，从而能更好的完成描述数据、预测数据等任务。 (对)
2. 数据挖掘的目标不在于数据采集策略，而在于对于已经存在的数据进行模式的发掘。（对）
3. 图挖掘技术在社会网络分析中扮演了重要的角色。（对）
4. 模式为对数据集的全局性总结，它对整个测量空间的每一点做出描述；模型则对变量变化空间的一个有限区域做出描述。（错）
5. 寻找模式和规则主要是对数据进行干扰，使其符合某种规则以及模式。（错）
6. 离群点可以是合法的数据对象或者值。（对）
7. 离散属性总是具有有限个值。（错）
8. 噪声和伪像是数据错误这一相同表述的两种叫法。（错）
9. 用于分类的离散化方法之间的根本区别在于是否使用类信息。（对）
10. 特征提取技术并不依赖于特定的领域。（错）
11. 序列数据没有时间戳。（对）
12. 定量属性可以是整数值或者是连续值。（对）
13. 可视化技术对于分析的数据类型通常不是专用性的。（错）
14. DSS主要是基于数据仓库.联机数据分析和数据挖掘技术的应用。（对）
15. OLAP技术侧重于把数据库中的数据进行分析、转换成辅助决策信息，是继数据库技术发展之后迅猛发展起来的一种新技术。（对）
16. 商业智能系统与一般交易系统之间在系统设计上的主要区别在于：后者把结构强加于商务之上，一旦系统设计完毕，其程序和规则不会轻易改变；而前者则是一个学习型系统，能自动适应商务不断变化的要求。（对）
17. 数据仓库中间层OLAP服务器只能采用关系型OLAP （错）
18．数据仓库系统的组成部分包括数据仓库，仓库管理，数据抽取，分析工具等四个部分. (错)
19. Web数据挖掘是通过数据库仲的一些属性来预测另一个属性,它在验证用户提出的假设
过程中提取信息. （错）
21. 关联规则挖掘过程是发现满足最小支持度的所有项集代表的规则。（错）
22. 利用先验原理可以帮助减少频繁项集产生时需要探查的候选项个数（对）。
23. 先验原理可以表述为：如果一个项集是频繁的，那包含它的所有项集也是频繁的。（错
24. 如果规则不满足置信度阈值，则形如的规则一定也不满足置信度阈值，其中是X的子集。（对）
25. 具有较高的支持度的项集具有较高的置信度。（错）
26. 聚类（clustering）是这样的过程：它找出描述并区分数据类或概念的模型(或函数)，以便能够使用模型预测类标记未知的对象类。（错）
27. 分类和回归都可用于预测，分类的输出是离散的类别值，而回归的输出是连续数值。(对)
28. 对于SVM分类算法，待分样本集中的大部分样本不是支持向量，移去或者减少这些样本对分类结果没有影响。（对）
29. Bayes法是一种在已知后验概率与类条件概率的情况下的模式分类方法，待分样本的分类结果取决于各类域中样本的全体。 (错)
30.分类模型的误差大致分为两种：训练误差（training error）和泛化误差（generalization error）. (对)
31. 在决策树中，随着树中结点数变得太大，即使模型的训练误差还在继续减低，但是检验误差开始增大，这是出现了模型拟合不足的问题。（错）
32. SVM是这样一个分类器，他寻找具有最小边缘的超平面，因此它也经常被称为最小边缘分类器（minimal margin classifier） (错)
33. 在聚类分析当中，簇内的相似性越大，簇间的差别越大，聚类的效果就越差。（错）
34. 聚类分析可以看作是一种非监督的分类。（对）
35. K均值是一种产生划分聚类的基于密度的聚类算法，簇的个数由算法自动地确定。（错
36. 给定由两次运行K均值产生的两个不同的簇集，误差的平方和最大的那个应该被视为较优。（错）
37. 基于邻近度的离群点检测方法不能处理具有不同密度区域的数据集。（对）
38. 如果一个对象不强属于任何簇，那么该对象是基于聚类的离群点。（对）
39. 从点作为个体簇开始，每一步合并两个最接近的簇，这是一种分裂的层次聚类方法。（错）
40. DBSCAN是相对抗噪声的，并且能够处理任意形状和大小的簇。（对）
普加搜索引擎面试题：
一、基本问答题：
1.冒泡和插入排序哪个快？快多少？
一样快（如果插入排序指的是直接插入排序的话）
一样快（如果插入排序指的是折半插入排序的话）
一样快（如果插入排序指的是二路插入排序的话）
一样快（如果插入排序指的是表插入排序的话）
插入排序快（如果插入排序指的是希尔插入排序的话）理论上快O（n^2）— O（n^）。
2.请说明冒泡排序和插入排序的序列应用何种数据结构储存更好？分别对应着STL中哪个Tempelate?
冒泡排序用数组比较好，对应着template中的vector；
插入排序用链表比较好，对应着template中的deque。
3.在只有命令行的条件下，你喜欢怎样调试程序？
在linux平台下下用gcc进行编译，在windows平台下用进行编译，用make工具根据目标文件上一次编译的时间和所依赖的源文件的更新时间自动判断应当编译哪些源文件，提高程序调试的效率。
4.数据的逻辑存储结构（如数组，队列，树等）对于软件开发具有十分重要的影响，试对你
5.什么是分布式数据库？
分布式数据库系统是在集中式数据库系统成熟技术的基础上发展起来的，但不是简单地把集中式数据库分散地实现，它具有自己的性质和特征。集中式数据库系统的许多概念和技术，如数据独立性、数据共享和减少冗余度、并发控制、完整性、安全性和恢复等在分布式数据库系统中都有了不同的、更加丰富的内容。
6.写一段代码判断一个单向链表中是否有环。
给出如下结构
struct node
{
struct*next;
};
typedef stuct node Node；
算法说明：初始化两个指针，一个每次后移1个，一个后移2个。当第一个指针追上第二个指针时候就说明有环！
intfind_circle(Node* sll)
{
list fast = sll;
list slow = sll;
if (NULL == fast)
{
return -1;
}
while (fast && fast->next)
{
fast = fast->next->next;
slow = slow->next;
if (fast == slow)
{
return 1;
}
}
return 0;
}
7.谈谈HashMap和Hashtable的区别?
（1）HashTable的方法是同步的，HashMap未经同步，所以在多线程场合要手动同步HashMap 这个区别就像Vector和ArrayList一样。
（2）HashTable不允许null值(key和value都不可以),HashMap允许null值(key和value 都可以)。
（3）HashTable有一个contains(Object value)，功能和containsValue(Object value)功能一样。
（4）HashTable使用Enumeration，HashMap使用Iterator。
（5）HashTable中hash数组默认大小是11，增加的方式是old*2+1。HashMap中hash数组的默认大小是16，而且一定是2的指数。
（6）哈希值的使用不同，HashTable直接使用对象的hashCode。
8.#include和#include“”有什么区别？
用 #include 格式来引用标准库的头文件（编译器将从标准库目录开始搜索）。
用#include “” 格式来引用非标准库的头文件（编译器将从用户的工作目录开始搜索）。
二、进阶问答题：
1.有以下两个文件，请写出一个你觉得比较标准的Makefile文件:
#include
using namespace std;
class CHello
{
public:
void printHello()
{
cout<<"Hello World"< }; } #include"" int main() { CHello hello; (); return 0; } main: gcc –o testHello : : gcc –c –o clean: rm –rf testHello 的一般性MapReduce计算有几个步骤，哪个步骤最花费时间？ （1）input （2）map tasks （3）reduce tasks （4）output 步骤（2）最花费时间个人看法 3.简述奇异值分解(Singular Value Decomposition)在文本聚类中的作用。 消减了词和文本之间语义关系的模糊度，从而更有利于文本聚类。 三、绘图题 现在起太阳熄灭，请绘制地球人口随时间的变化图，并说明为何这样绘制？ 说明： 一阶段：当太阳熄灭之后，气候、石油等资源变化的还不是很快，人后还在缓慢的增长。二阶段：当不可回收的资源利用的差不多的时候，人们将会濒临崩溃，所以这时人口锐减。三阶段：当人们已经适应之后，慢慢的人后达到平衡状态。 四阶段：这时人们利用自己的智慧再次的发展起来，但由于资源没有以前那么的好，所以相比会发展的缓慢一些 注：上述的情况像外星人等特殊的外在因素除外。 四、计算题 储存和传送本张试卷最少需要花费多少比特？ 储存和传送本张试卷最少需要花费：263 783 bit（ kb=32 byte =263 bit）。 正如柏拉图所说：需要是发明之母。随着信息时代的步伐不断迈进，大量数据日积月累。我们迫切需要一种工具来满足从数据中发现知识的需求！而数据挖掘便应运而生了。正如书中所说：数据挖掘已经并且将继续在我们从数据时代大步跨入信息时代的历程中做出贡献。 1、数据挖掘 数据挖掘应当更正确的命名为：“从数据中挖掘知识”，不过后者显得过长了些。而“挖掘”一词确是生动形象的！人们把数据挖掘视为“数据中的知识发现（KDD）”的同义词，而另一些人只是把数据挖掘视为知识发现过程的一个基本步骤！ 由此而产生数据挖掘的定义：从大量数据中挖掘有趣模式和知识的过程！数据源包括数据库、数据仓库、Web、其他信息存储库或动态地流入系统的数据。作为知识发现过程，它通常包括数据清理、数据集成、数据变换、模式发现、模式评估和知识表示六个步骤。 数据挖掘处理数据之多，挖掘模式之有趣，使用技术之大量，应用范围之广泛都将会是前所未有的；而数据挖掘任务之重也一直并存。这些问题将继续激励数据挖掘的进一步研究与改进！ 2、数据分析 数据分析是指用适当的统计方法对收集来的大量第一手资料和第二手资料进行分析，以求最大化地开发数据资料的功能，发挥数据的作用。是为了提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。 数据分析有极广泛的应用范围。典型的数据分析可能包含以下三个步： 1、探索性数据分析：当数据刚取得时，可能杂乱无章，看不出规律，通过作图、造表、用各种形式的方程拟合，计算某些特征量等手段探索规律性的可能形式，即往什么方向和用何种方式去寻找和揭示隐含在数据中的规律性。 2、模型选定分析，在探索性分析的基础上提出一类或几类可能的模型，然后通过进一步的分析从中挑选一定的模型。 3、推断分析：通常使用数理统计方法对所定模型或估计的可靠程度和精确程度作出推断。 数据分析的目的是把隐没在一大批看来杂乱无章的数据中的信息集中、萃取和提炼出来，以找出所研究对象的内在规律。在实用中，数据分析可帮助人们作出判断，以便采取适当行动。数据分析是组织有目的地收集数据、分析数据，使之成为信息的过程。这一过程是质量管理体系的支持过程。在产品的整个寿命周期，包括从市场调研到售后服务和最终处置的各 1、数据仓库定义：数据仓库是一种新的数据处理体系结构，它与组织机构的操作数据库分别维护，允许将各种应用系统一起，为统一的历史数据分析提供坚实的平台，对信息处理提供支持。数据仓库是面向主题的、集成的、相对稳定的、反映历史变化的数据集合，为企业决策支持系统提供所需的集成信息。设计和构造步骤：1）选取待建模的商务处理；2）选取商务处理的粒变；3）选取用于每个事实表记录的维；4）选取事实表中每条记录的变量 系统结构：（1）底层是仓库数据服务器，总是关系数据库系统。（2）中间层是OLAP服务器，有ROLAP 和MOLAP，它将对多维数据的操作映射为标准的关系操作（3）顶层是前端客户端，它包括查询和报表工具、分析工具和数据挖掘工具 2、数据仓库的多维数据模型：（1）星形模式：在此模型下，数据仓库包括一个大的包含大批数据并且不含冗余的中心表，一组小的附属表，维表围绕中心事实表显示的射线上。特征：星型模型四周的实体是维度实体，其作用是限制和过滤用户的查询结果，缩小访问围。每个维表都有自己的属性，维表和事实表通过关键字相关联。【例子：sales数据仓库的星形模式，此模式包含一个中心事实表sales，它包含四个维time, item, branch和location。 （2）雪花型模式：它是星形模式的变种，其中某些维表是规化的，因而把数据进一步分解到附加的表中。特征：雪花模型通过最大限度地减少数据存储量和联合较小的维表来改善查询性能，增加了用户必须处理的表数量和某些查询的复杂性，但同时提高了处理的灵活性，可以回答更多的商业问题，特别适合系统的逐步建设要求。【例子同上，只不过把其中的某些维给扩展了。 （3）事实星座形：复杂的应用可能需要多个事实表共享维表，这种模式可看作星形模式的汇集。 特征：事实星座模型能对多个相关的主题建模。例子：有两个事实表sales和shipping，它们可以共享维表time, item和location。 3、OLAP：即联机分析处理，是在OLTP基础上发展起来的、以数据仓库基础上的、面向高层管理人员和专业分析人员、为企业决策支持服务。特点：1.实时性要求不是很高。2.数据量大。3.因为重点在于决策支持，所以查询一般是动态的，也就是说允许用户随机提出查询要求。 OLAP操作：上卷：通过沿一个维的概念分层向上攀登，或者通过维归约，对数据立方体进行类聚。下钻：是上卷的逆操作，它由不太详细的数据得到更详细的数据，下钻可以通过沿维的概念分层向下或引入附加的维来实现。切片：对给定方体的一个维进行进行选择，导致一个子立方体。切块：通过对两个或多个维执行选择，定义子立方体。转轴：是一种可视化操作，它转动数据的视角，提供数据的替代表示。 OLTP：即联机事务处理，是以传统数据库为基础、面向操作人员和低层管理人员、对基本数据进行查询和增、删、改等的日常事务处理。OLTP的特点有：a.实时性要求高；b.数据量不是很大。C.交易一般是确定的，是对确定性数据进行存取。d.并发性要求高且严格的要求事务的完整性，安全性。 OLTP和OLAP的区别：1）用户和系统的面向性:OLTP面向顾客，而OLAP面向市场；2）数据容：OLTP 系统管理当前数据，而OLAP管理历史的数据；3）数据库设计：OLTP系统采用实体-联系（ER)模型和面向应用的数据库设计，而OLAP系统通常采用星形和雪花模型；4）视图：OLTP系统主要关注一个企业或部门部的当前数据，而OLAP 系统主要关注汇总的统一的数据；5）访问模式：OLTP访问主要有短的原子事务组成，而OLAP系统的访问大部分是只读操作，尽管许多可能是复杂的查询。 7、PageRank算法原理：1）在初始阶段：构建Web图，每个页面初始设置相同的PageRank 值，通过迭代计算，会得到每个页面所获得的最终PageRank值。2）在一轮中更新页面 PageRank得分的计算方法：每个页面将其当前的PageRank值平均分配到本页面包含的出 链上。每个页面将所有指向本页面的入链所传入的权值求和，即可得到新的PageRank得分。 优点：是一个与查询无关的静态算法，所有网页的PageRank值通过离线计算获得；有效减 少在线查询时的计算量，极大降低了查询响应时间。 缺点：1）人们的查询具有主题特征，PageRank忽略了主题相关性，导致结果的相关性和主 题性降低。2）旧的页面等级会比新页面高。因为即使是非常好的新页面也不会有很多上游， 除非它是某个站点的子站点。 数据挖掘课程体会 学习数据挖掘这门课程已经有一个学期了，在这十余周的学习过程中，我对数据挖掘这门课程的一些技术有了一定的了解，并明确了一些容易混淆的概念，以下主要谈一下我的心得体会。 近年来，数据挖掘引起了信息产业界的极大关注，其主要原因是存在大量数据，可以广泛使用，并且迫切需要将这些数据转换成有用的信息和知识。数据挖掘就是从大量的数据中，抽取出潜在的、有价值的知识、模型或规则的过程。作为一类深层次的数据分析方法，它利用了数据库、人工智能和数理统计等多方面的技术。 要将庞大的数据转换成为有用的信息，必须先有效率地收集信息。随着科技的进步，功能完善的数据库系统就成了最好的收集数据的工具。数据仓库，简单地说，就是搜集来自其它系统的有用数据，存放在一整合的储存区内。所以其实就是一个经过处理整合，且容量特别大的关系型数据库，用以储存决策支持系统所需的数据，供决策支持或数据分析使用。 数据挖掘的研究领域非常广泛，主要包括数据库系统、基于知识的系统、人工智能、机器学习、知识获取、统计学、空间数据库和数据可视化等领域。主要是可以做以下几件事：分类、估计、预测、关联分析、聚类分析、描述和可视化、复杂数据类型挖掘。在这里就不一一介绍了。 在学习关联规则的时候，提出了一个关于啤酒与纸尿布的故事：在一家超市里，纸尿布与啤酒被摆在一起出售，但是这个奇怪的举措却使得啤酒和纸尿布的销量双双增加了。其实，这是由于这家超市对其顾客的购物行为进行购物篮分析，在这些原始交易数据的基础上，利用数据挖掘方法对这些数据进行分析和挖掘。从而意外的发现跟纸尿布一起购买最多的商品竟是啤酒。按我们的常规思维，啤酒与纸尿布是两个毫无关联的商品，但是借助数据挖掘技术对大量交易数据进行挖掘分析后，却可以寻求到这一有价值的规律。这个故事在一定程度上说明了数据挖掘技术的巨大价值。 总之，非常感谢周教员在这十余周的精彩授课，让我受益匪浅，我会继续学习这门课程，努力为今后的课题研究或论文打好基础。 数据清洗 1.基本概念 数据清洗从名字上也看的出就是把"脏"的"洗掉",指发现并纠正数据文件中可识别的错误的最后一道程序，包括检查数据一致性，处理无效值和缺失值等。因为数据仓库中的数据是面向某一主题的数据的集合，这些数据从多个业务系统中抽取而来而且包含历史数据，这样就避免不了有的数据是错误数据、有的数据相互之间有冲突，这些错误的或有冲突的数据显然是我们不想要的，称为"脏数据"。我们要按照一定的规则把"脏数据""洗掉"，这就是数据清洗。而数据清洗的任务是过滤那些不符合要求的数据，将过滤的结果交给业务主管部门，确认是否过滤掉还是由业务单位修正之后再进行抽取。不符合要求的数据主要是有不完整的数据、错误的数据、重复的数据三大类。数据清洗是与问卷审核不同，录入后的数据清理一般是由计算机而不是人工完成。 ?残缺数据 这一类数据主要是一些应该有的信息缺失，如供应商的名称、分公司的名称、客户的区域信息缺失、业务系统中主表与明细表不能匹配等。对于这一类数据过滤出来，按缺失的内容分别写入不同Excel文件向客户提交，要求在规定的时间内补全。补全后才写入数据仓库。 折叠错误数据 这一类错误产生的原因是业务系统不够健全，在接收输入后没有进行判断直接写入后台数据库造成的，比如数值数据输成全角数字字符、字符串数据后面有一个回车操作、日期格式不正确、日期越界等。这一类数据也要分类，对于类似于全角字符、数据前后有不可见字符的问题，只能通过写SQL语句的方式找出来，然后要求客户在业务系统修正之后抽取。日期格式不正确的或者是日期越界的这一类错误会导致ETL运行失败，这一类错误需要去业务系统数据库用SQL 的方式挑出来，交给业务主管部门要求限期修正，修正之后再抽取。 折叠重复数据 对于这一类数据--特别是维表中会出现这种情况--将重复数据记录的所有字段导出来，让客户确认并整理。 数据清洗是一个反复的过程，不可能在几天内完成，只有不断的发现问题， 解决问题。对于是否过滤，是否修正一般要求客户确认，对于过滤掉的数据，写入Excel文件或者将过滤数据写入数据表，在ETL开发的初期可以每天向业务单位发送过滤数据的邮件，促使他们尽快地修正错误，同时也可以做为将来验证数据的依据。数据清洗需要注意的是不要将有用的数据过滤掉，对于每个过滤规则认真进行验证，并要用户确认。 数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，提取有用信息和形成结 论而对数据加以详细研究和概括总结的过程。这一过程也是质量管理体系的支持过程。在实 用中，数据分析可帮助人们作出判断，以便采取适当行动。 类型 在统计学领域，有些人将数据分析划分为描述性统计分析、探索性数据分析以及验证性数据分析；其中，探索性数据分析侧重于在数据之中发现新的特征，而验证性数据分析则侧重于已有假设的 数据分析处理需求分类 1 事务型处理 在我们实际生活中,事务型数据处理需求非常常见,例如：淘宝网站交易系统、1２306网站火车票交易系统、超市ＰOＳ系统等都属于事务型数据处理系统。这类系统数据处理特点包括以下几点: 一就是事务处理型操作都就是细粒度操作,每次事务处理涉及数据量都很小。 二就是计算相对简单，一般只有少数几步操作组成，比如修改某行得某列; 三就是事务型处理操作涉及数据得增、删、改、查,对事务完整性与数据一致性要求非常高。 四就是事务性操作都就是实时交互式操作,至少能在几秒内执行完成； 五就是基于以上特点,索引就是支撑事务型处理一个非常重要得技术. 在数据量与并发交易量不大情况下,一般依托单机版关系型数据库,例如OＲＡＣLＥ、MＹSQL、SQＬSERVER,再加数据复制（DataGurａd、RＭAＮ、ＭｙSQＬ数据复制等)等高可用措施即可满足业务需求。 在数据量与并发交易量增加情况下，一般可以采用ORＡLＣＥRAC集群方式或者就是通过硬件升级（采用小型机、大型机等，如银行系统、运营商计费系统、证卷系统)来支撑. 事务型操作在淘宝、1230６等互联网企业中,由于数据量大、访问并发量高，必然采用分布式技术来应对,这样就带来了分布式事务处理问题，而分布式事务处理很难做到高效，因此一般采用根据业务应用特点来开发专用得系统来解决本问题。 ２数据统计分析 数据统计主要就是被各类企业通过分析自己得销售记录等企业日常得运营数据,以辅助企业管理层来进行运营决策。典型得使用场景有:周报表、月报表等固定时间提供给领导得各类统计报表;市场营销部门,通过各种维度组合进行统计分析,以制定相应得营销策略等． 数据统计分析特点包括以下几点: 一就是数据统计一般涉及大量数据得聚合运算，每次统计涉及数据量会比较大。二就是数据统计分析计算相对复杂，例如会涉及大量goｕpbｙ、子查询、嵌套查询、窗口函数、聚合函数、排序等；有些复杂统计可能需要编写ＳQＬ脚本才能实现． 三就是数据统计分析实时性相对没有事务型操作要求高。但除固定报表外,目前越来越多得用户希望能做做到交互式实时统计； 传统得数据统计分析主要采用基于ＭＰP并行数据库得数据仓库技术.主要采用维度模型,通过预计算等方法，把数据整理成适合统计分析得结构来实现高性能得数据统计分析，以支持可以通过下钻与上卷操作,实现各种维度组合以及各种粒度得统计分析。 另外目前在数据统计分析领域,为了满足交互式统计分析需求，基于内存计算得数据库仓库系统也成为一个发展趋势,例如SAP得HANA平台。 3 数据挖掘 数据挖掘主要就是根据商业目标，采用数据挖掘算法自动从海量数据中发现隐含在海量数据中得规律与知识。 第一章绪论 什么是数据挖掘，什么是商业智能 从大型数据库中提取有趣的（非平凡的、蕴涵的、先前未知的且是潜在有用的）信息或模式。 商业智能是要在必须的时间段内，把正确有用的信息传递给适当的决策者，以便为有效决策提供信息支持。 分类算法的评价标准 召回率recall =系统检索到的相关文件数/相关文件总数 准确率precision（查准率）= 系统检索到的相关文件数/系统返回的文件总数第二章数据仓库 什么是数据仓库 是运用新信息科技所提供的大量数据存储、分析能力，将以往无法深入整理分析的客户数据建立成为一个强大的顾客关系管理系统，以协助企业制定精准的运营决策。 数据仓库的基本特征 1面向主题2整合性 3长期性 4稳定性 第三章数据挖掘简介 数据挖掘的一般功能 1分类2估计3 预测4关联分类5聚类 数据挖掘的完整步骤 1理解数据与数据所代表的含义 2获取相关知识与技术 3整合与检查数据 4取出错误或不一致的数据 5建模与假设 6数据挖掘运行 7测试与验证所挖掘的数据 8解释与使用数据 数据挖掘建模的标准 CRISP-CM 跨行业数据挖掘的标准化过程 第四章数据挖掘中的主要方法 基于SQL Server 2005 SSAS的十种数据挖掘算法是什么 1.决策树 2.聚类 3.Bayes分类 4.有序规则 5. 关联规则 6.神经网络 7.线性回归 8. Logistic回归 9. 时间序列10. 文本挖掘 第五章数据挖掘与相关领域的关系 数据挖掘与机器学习、统计分析之间的区别与联系（再看看书整理下） 32页 处理大量实际数据更具优势，并且使用数据挖掘工具无需具备专业的统计学背景。 数据分析的需求和趋势已经被许多大型数据库所实现，并且可以进行企业级别的数据挖掘应用。 相对于重视理论和方法的统计学而言，数据挖掘更强调应用，毕竟数据挖掘目的 分析报告、统计分析和数据挖掘的区别 关于数据挖掘的作用，Berry and Linoff的定义尽管有些言过其实，但清晰的描述了数据挖掘的作用。“分析报告给你后见之明 (hindsight)；统计分析给你先机 (foresight)；数据挖掘给你洞察力(insight)”。 举个例子说。 你看到孙悟空跟二郎神打仗，然后写了个分析报告，说孙悟空在柔韧性上优势明显，二郎神在力气上出类拔萃，所以刚开始不相上下；结果两个人跑到竹林里，在竹子上面打，孙悟空的优势发挥出来，所以孙悟空赢了。这叫分析报告。 孙悟空要跟二郎神打架了，有个赌徒找你预测。你做了个统计，发现两人斗争4567次，其中孙悟空赢3456次。另外，孙悟空斗牛魔王，胜率是89%，二郎神斗牛魔王胜率是71%。你得出趋势是孙悟空赢。因为你假设了这次胜利跟历史的关系，根据经验作了一个假设。这叫统计分析。 你什么都没做，让计算机自己做关联分析，自动找到了出身、教育、经验、单身四个因素。得出结论是孙悟空赢。计算机通过分析发现贫苦出身的孩子一般比皇亲国戚功夫练得刻苦；打架经验丰富的人因为擅长利用环境而机会更多；在都遇得到明师的情况下，贫苦出身的孩子功夫可能会高些；单身的人功夫总比同样环境非单身的高。孙悟空遇到的名师不亚于二郎神，而打架经验绝对丰富，并且单身，所以这次打头，孙悟空赢。这叫数据挖掘。 数据挖掘跟LOAP的区别在于它没有假设，让计算机找出这种背后的关系，而这种关系可能是你所想得到的，也可能是所想不到的。比如数据挖掘找出的结果发现在2亿条打斗记录中，姓孙的跟姓杨的打，总是姓孙的胜利，孙悟空姓孙，所以，悟空胜利。 用在现实中，我们举个例子来说，做OLAP分析，我们找找哪些人总是不及时向电信运营商缴钱，一般会分析收入低的人往往会缴费不及时。通过分析，发现不及时缴钱的穷人占71%。而数据挖掘则不同，它自己去分析原因。原因可能是，家住在五环以外的人，不及时缴钱。这些结论对推进工作有很深的价值，比如在五环外作市场调研，发现需要建立更多的合作渠道以方便缴费。这是数据挖掘的价值。 总结报告 课程名称：数据挖掘R语言 任课教师： 姓名： 专业：计算机科学与技术 班级： 学号： 计算机科学与技术学院 2018 年 6 月19 日 一、数据预处理 针对不同分析目标，选择合适的字段，并将字段值处理成适于分析的形式。必要时还需对原数据集进行统计变换后形成易于分析的形式。 为每条数据添加字段：所属地区。根据下图中划分的美国四大地区，将每条数据中表示的案件发生地在该字段上划分为东北部、中西部、南部和西部四个值。 首先导入数据： gundata<-read.csv("d:/gun.csv",sep = ",",stringsAsFactors = FALSE,header = TRUE,quote=””) 然后将需要的字段取出来，在这里取出了一下几个字段： gundata[,c("incident_id","date","state","city_or_county","n_killed","n_injured"," congressional_district","latitude","longitude","state_house_district","state_sen ate_district")] gd <- subset(gundata,select=c(incident_id,date,state,city_or_county,n_killed, n_injured,congressional_district,latitude,longitude,state_house_district,state_s enate_district)) 然后根据州字段将所有数据划分为四个地区 阿拉巴马州Alabama 阿拉斯加州Alaska 亚利桑那州Arizona 阿肯色州Arkansas 加利福尼亚州California 科罗拉多州Colorado 哥伦比亚特区Columbia 康涅狄格州Connecticut 特拉华州Delaware 佛罗里达州Florida 佐治亚州Georgia 夏威夷州Hawaii 爱达荷州Idaho 伊利诺州Illinois 知识点一数据仓库 1.数据仓库是一个从多个数据源收集的信息存储库，存放在一致的模式下，并且通常驻留在单个站点上。 2.数据仓库通过数据清理、数据变换、数据集成、数据装入和定期数据刷新来构造。 3.数据仓库围绕主题组织 4.数据仓库基于历史数据提供消息，是汇总的。 5.数据仓库用称作数据立方体的多维数据结构建模，每一个维对应于模式中的一个或者一组属性，每一个单元存放某种聚集的度量值 6.数据立方体提供数据的多维视图，并允许预计算和快速访问汇总数据 7.提供提供多维数据视图和汇总数据的预计算，数据仓库非常适合联机分析处理，允许在不同的抽象层提供数据，这种操作适合不同的用户角度 8.OLAP例子包括下钻和上卷，允许用户在不同的汇总级别上观察数据 9.多维数据挖掘又叫做探索式多维数据挖掘OLAP风格在多维空间进行数据挖掘，允许在各种粒度进行多维组合探查，因此更有可能代表知识的有趣模式。 知识点二可以挖掘什么数据 1.大量的数据挖掘功能，包括特征化和区分、频繁模式、关联和相关性分析挖掘、分类和回归、聚类分析、离群点分析 2.数据挖掘功能用于指定数据挖掘任务发现的模式，分为描述性和预测性 3.描述性挖掘任务刻画目标数据中数据的一般性质 4.预测性挖掘任务在当前数据上进行归纳，以便做出预测 5.数据可以与类或概念相关联 6.用汇总、简洁、精确的表达描述类和概念，称为类/概念描述 7.描述的方法有数据特征化（针对目标类）、数据区分（针对对比类）、数据特征化和区分 8.数据特征化用来查询用户指定的数据，上卷操作用来执行用户控制的、沿着指定维的数据汇总。面向属性的归纳技术可以用来进行数据的泛化和特征化，而不必与用户交互。形式有饼图、条图、曲线、多维数据立方体和包括交叉表在内的多维表。结果描述可以用广义关系或者规则（也叫特征规则）提供。 9.用规则表示的区分描述叫做区分规则。 10.数据频繁出现的模式叫做频繁模式，类型包括频繁项集、频繁子项集（又叫频繁序列）、频繁子结构。 11.频繁项集一般指频繁地在事务数据中一起出现的商品的集合 12.频繁子序列就是一个频繁序列模式 13.子结构涉及不同的结构，可以与项集和子项集一起出现 14.挖掘频繁模式导致发现数据中有趣的关联和相关性 15.包含单个谓词的关联规则称作单维关联规则。多个谓词的关联规则叫做多维关联规则。 16.如果不能同时满足最小支持度阈值和最小置信度阈值是无趣的关联规则。 17.频繁模式挖掘的基础是频繁项集挖掘 18.分类找出描述和区分数据类或概念的模型或者函数来预测类标号未知对象的类标号。 19.导出模型是基于训练数据集的分析，预测类标号未知对象的类标号。形式有分类规则、决策树、数学公式或者神经网络 20.决策树类似流程图的树结构，每一个结点代表一个属性上的测试，每一个分支代表测试 摘要 数据挖掘技术可以在浩瀚的数据中进行统计、分析、综合、推理，发现数据部关联，并作出预测，提供数据信息，为决策提供辅助支持。目前，数据挖掘技术已经广泛应用在商业领域，同样，可以将数据挖掘技术与国家教育项目相结合，对项目中的各类数据信息进行挖掘分析，提取隐藏的数据信息，为项目开发部门提供决策依据，进一步提高项目的科学性和高效性。 本文结合自身参与教育部指定的关于城市集群竞争力项目的实践经验，分析数据挖掘技术在国家教育项目中应用的可行性，并以此为例，采用JAVA语言编写实现KNN算法。 在项目实施方案中，以城市集群的数据为基础，完成数据挖掘的全过程：确定数据挖掘的对象和目标、数据清理和预处理，对某个指标缺失的数据引入神经网络方法进行预测填补，对缺失较多的数据引入对比和类比的方法进行预测填补，采用KNN算法实现数据分类，形成指标体系。利用数据挖掘的结果，通过对指标数据的分析，预测决定城市集群竞争力的主要因素，从而为今后城市集群的发展方向和职能定位提供参考，为城镇体系的总体发展指明方向，为提高我国城市集群整体经济实力和综合竞争力提供一些有益的建议和对策，促进成熟集群向一体化方向发展，同时也可以为国其他城市集群的发展提供给一些有益的参考。 【关键词】数据挖掘 KNN算法数据分类 JAVA 城市集群竞争力 目录 摘要 (1) 目录 (2) 第一章绪论 (3) 1.1研究背景和研究意义 (3) 第二章数据挖掘技术的研究 (4) 2.1 数据挖掘的功能 (4) 2.2 数据挖掘的对象 (6) 2.3 数据挖掘的过程 (7) 2.4 数据挖掘算法 (9) 第三章 KNN算法介绍与实现 (10) 3.1 KNN算法介绍 (10) 3.2 KNN算法的JAVA实现 (12) 第四章总结 (17) 统计学和数据挖掘区别 数据分析微信公众号datadw——关注你想了解的，分享你需要的。 1．简介 统计学和数据挖掘有着共同的目标：发现数据中的结构。事实上，由于它们的目标相似，一些人（尤其是统计学家）认为数据挖掘是统计学的分支。这是一个不切合实际的看法。因为数据挖掘还应用了其它领域的思想、工具和方法，尤其是计算机学科，例如数据库技术和机器学习，而且它所关注的某些领域和统计学家所关注的有很大不同。 统计学和数据挖掘研究目标的重迭自然导致了迷惑。事实上，有时候还导致了反感。统计学有着正统的理论基础（尤其是经过本世纪的发展），而现在又出现了一个新的学科，有新的主人，而且声称要解决统计学家们以前认为是他们领域的问题。这必然会引起关注。更多的是因为这门新学科有着一个吸引人的名字，势必会引发大家的兴趣和好奇。把“数据挖掘”这个术语所潜在的承诺和“统计学”作比较的话，统计的最初含义是“陈述事实”，以及找出枯燥的大量数据背后的有意义的信息。当然，统计学的现代的含义已经有很大不同的事实。而且，这门新学科同商业有特殊的关联（尽管它还有科学及其它方面的应用）。 本文的目的是逐个考察这两门学科的性质，区分它们的异同，并关注与数据挖掘相关联的一些难题。首先，我们注意到“数据挖掘”对统计学家来说并不陌生。例如，Everitt定义它为：“仅仅是考察大量的数据驱动的模型，从中发现最适合的”。统计学家因而会忽略对数据进行特别的分析，因为他们知道太细致的 研究却难以发现明显的结构。尽管如此，事实上大量的数据可能包含不可预测的但很有价值的结构。而这恰恰引起了注意，也是当前数据挖掘的任务。 2．统计学的性质 试图为统计学下一个太宽泛的定义是没有意义的。尽管可能做到，但会引来很多异议。相反，我要关注统计学不同于数据挖掘的特性。 差异之一同上节中最后一段提到的相关，即统计学是一门比较保守的学科，目前有一种趋势是越来越精确。当然，这本身并不是坏事，只有越精确才能避免错误，发现真理。但是如果过度的话则是有害的。这个保守的观点源于统计学是数学的分支这样一个看法，我是不同意这个观点的。尽管统计学确实以数学为基础（正如物理和工程也以数学为基础，但没有被认为是数学的分支），但它同其它学科还有紧密的联系。 数学背景和追求精确加强了这样一个趋势：在采用一个方法之前先要证明，而不是象计算机科学和机器学习那样注重经验。这就意味着有时候和统计学家关注同一问题的其它领域的研究者提出一个很明显有用的方法，但它却不能被证明（或还不能被证明）。统计杂志倾向于发表经过数学证明的方法而不是一些特殊方法。数据挖掘作为几门学科的综合，已经从机器学习那里继承了实验的态度。这并不意味着数据挖掘工作者不注重精确，而只是说明如果方法不能产生结果的话就会被放弃。 大数据、数据分析和数据挖掘的区别 大数据、数据分析、数据挖掘的区别是，大数据是互联网的海量数据挖掘，而数据挖掘更多是针对内部企业行业小众化的数据挖掘，数据分析就是进行做出针对性的分析和诊断，大数据需要分析的是趋势和发展，数据挖掘主要发现的是问题和诊断。具体分析如下： 1、大数据(big data)： 指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产; 在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法(抽样调查)这样的捷径，而采用所有数据进行分析处理。大数据的5V特点(IBM提出)：Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值)Veracity(真实性) 。 2、数据分析： 是指用适当的统计分析方法对收集来的大量数据进行分析，提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。这一过程也是质量管理体系的支持过程。在实用中，数据分析可帮助人们作出判断，以便采取适当行动。 数据分析的数学基础在20世纪早期就已确立，但直到计算机的出现才使得实际操作成为可能，并使得数据分析得以推广。数据分析是数学与计算机科学相结合的产物。 3、数据挖掘(英语：Data mining)： 又译为资料探勘、数据采矿。它是数据库知识发现(英语：Knowledge-Discovery in Databases，简称：KDD)中的一个步骤。数据挖掘一般是指从大量的数据中通过算法搜索隐藏于其中信息的过程。数据挖掘通常与计算机科学有关，并通过统计、在线分析处理、情报检索、机器学习、专家系统(依靠过去的经验法则)和模式识别等诸多方法来实现上述目标。 简而言之： 大数据是范围比较广的数据分析和数据挖掘。 按照数据分析的流程来说，数据挖掘工作较数据分析工作靠前些，二者又有重合的地方，数据挖掘侧重数据的清洗和梳理。 数据分析处于数据处理的末端，是最后阶段。 数据分析和数据挖掘的分界、概念比较模糊，模糊的意思是二者很难区分。 大数据概念更为广泛，是把创新的思维、信息技术、统计学等等技术的综合体，每个人限于学术背景、技术背景，概述的都不一样。 1.【p26 1.3】 假设你是BigUniversity的软件工程师，任务是设计一个数据挖掘系统，分析学校课程数据库。该数据库包括如下信息：每个学生的姓名、地址和状态（例如本科生或研究生）所修课程以及他们的GPA（平均积分点）。描述你要选取的结构。该结构的每个成分的作用是什么。 答：该数据挖掘结构应该包括以下几个主要成分： （1）一个数据库、数据仓库或其它信息库，它由一系列包含学生和课程信息的数据库、数据仓库、电子表格、或其它信息库组成。 （2）一个数据库或数据仓库服务器，它根据用户的数据挖掘请求获取相关的数据。 （3）一个知识库，它包含领域知识，用于指导搜索或评估结果模式的兴趣度。例如，知识库可能包含概念层次结构和元数据（例如，描述来自多个异构数据源的数据）。 （4）一个数据挖掘引擎，它由一系列负责分类、关联、聚类分析、演变和偏差分析的功能模块组成。 （5）一个模式评估模块，它与数据挖掘模块串联工作，采用兴趣度的方法，将搜索重心投注在兴趣模式上。 （6）一个图形用户界面，它为用户提供对数据挖掘系统的交互式途径。 2.【p63 2.4】 中列数是最大值和最小值的平均数。 五数概括就是中位数、四分位数Q1和Q3、最小值和最大值 箱线图（盒图）在p35 分位数图是一种观察单变量数据分布的简单有效方法，他显示给定属性的所有数据（允许用户评估总的情况和不寻常的出现）。其次它绘出了分位数信息 3.【p63 2.5】 问：以计数、标准差和中位数为例说明分布的或代数的度量有利于有效的增量计算，而整体度量不行。 答：计数：当前的计数count可以作为一个值来保存，当有x个新值加进来时，可以很容易地更新count值为（count+x）。这就是分布式度量，可以很容易地进行增量计算。 标准差：如果我们之前存储了已有数据平方的和sum和它们的计数count，就可以很容易地利用公式得到新的标准差，只需要计算新加入数据平方的和并将其加入sum中，同时更新count值，随后将它们插入计 数据分析与挖掘实验报告 《数据挖掘》实验报告 目录 1.关联规则的基本概念和方法 (1) 1.1数据挖掘 (1) 1.1.1数据挖掘的概念 (1) 1.1.2数据挖掘的方法与技术 (2) 1.2关联规则 (5) 1.2.1关联规则的概念 (5) 1.2.2关联规则的实现——Apriori算法 (7) 2.用Matlab实现关联规则 (12) 2.1Matlab概述 (12) 2.2基于Matlab的Apriori算法 (13) 3.用java实现关联规则 (19) 3.1java界面描述 (19) 3.2java关键代码描述 (23) 4、实验总结 (29) 4.1实验的不足和改进 (29) 4.2实验心得 (30) 1.关联规则的基本概念和方法 1.1数据挖掘 1.1.1数据挖掘的概念 计算机技术和通信技术的迅猛发展将人类社会带入到了信息时代。在最近十几年里，数据库中存储的数据急剧增大。数据挖掘就是信息技术自然进化的结果。数据挖掘可以从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的，人们事先不知道的但又是潜在有用的信息和知识的过程。 许多人将数据挖掘视为另一个流行词汇数据中的知识发现（KDD）的同义词，而另一些人只是把数据挖掘视为知识发现过程的一个基本步骤。知识发现过程如下： ·数据清理（消除噪声和删除不一致的数据）·数据集成（多种数据源可以组合在一起）·数据转换（从数据库中提取和分析任务相关的数据） ·数据变换（从汇总或聚集操作，把数据变换和统一成适合挖掘的形式） ·数据挖掘（基本步骤，使用智能方法提取数 据模式） ·模式评估（根据某种兴趣度度量，识别代表知识的真正有趣的模式） ·知识表示（使用可视化和知识表示技术，向用户提供挖掘的知识）。 1.1.2数据挖掘的方法与技术 数据挖掘吸纳了诸如数据库和数据仓库技术、统计学、机器学习、高性能计算、模式识别、神经网络、数据可视化、信息检索、图像和信号处理以及空间数据分析技术的集成等许多应用领域的大量技术。数据挖掘主要包括以下方法。神经网络方法：神经网络由于本身良好的鲁棒性、自组织自适应性、并行处理、分布存储和高度容错等特性非常适合解决数据挖掘的问题，因此近年来越来越受到人们的关注。典型的神经网络模型主要分3大类：以感知机、bp反向传播模型、函数型网络为代表的，用于分类、预测和模式识别的前馈式神经网络模型；以hopfield 的离散模型和连续模型为代表的，分别用于联想记忆和优化计算的反馈式神经网络模型；以art 模型、koholon模型为代表的，用于聚类的自组 数据挖掘一些面试题总结（Data Mining） 摘录一段 企业面对海量数据应如何具体实施数据挖掘，使之转换成可行的结果/模型？ 首先进行数据的预处理，主要进行数据的清洗，数据清洗，处理空缺值，数据的集成，数据的变换和数据规约。 请列举您使用过的各种数据仓库工具软件（包括建模工具，ETL工具，前端展现工具，OLAP Server、数据库、数据挖掘工具）和熟悉程度。 ETL工具：Ascential DataStage ，IBM warehouse MANAGER、Informatica公司的PowerCenter、Cognos 公司的DecisionStream 市场上的主流数据仓库存储层软件有：SQL SERVER、SYBASE、ORACLE、DB2、TERADATA 请谈一下你对元数据管理在数据仓库中的运用的理解。 元数据能支持系统对数据的管理和维护，如关于数据项存储方法的元数据能支持系统以最有效的方式访问数据。具体来说,在数据仓库系统中，元数据机制主要支持以下五类系统管理功能： （１）描述哪些数据在数据仓库中； （２）定义要进入数据仓库中的数据和从数据仓库中产生的数据； （３）记录根据业务事件发生而随之进行的数据抽取工作时间安排； （４）记录并检测系统数据一致性的要求和执行情况； （５）衡量数据质量。 数据挖掘对聚类的数据要求是什么？ （1）可伸缩性 （2）处理不同类型属性的能力 （3）发现任意形状的聚类 （4）使输入参数的领域知识最小化 （5）处理噪声数据的能力 （6）对于输入顺序不敏感 （7）高维性 （8）基于约束的聚类 （9）可解释性和可利用性 简述Apriori算法的思想，谈谈该算法的应用领域并举例。 思想：其发现关联规则分两步，第一是通过迭代，检索出数据源中所有烦琐项集，即支持度不低于用户设定的阀值的项即集，第二是利用第一步中检索出的烦琐项集构造出满足用户最小信任度的规则，其中，第一步即挖掘出所有频繁项集是该算法的核心，也占整个算法工作量的大部分。 在商务、金融、保险等领域皆有应用。在建筑陶瓷行业中的交叉销售应用，主要采用了Apriori 算法 通过阅读该文挡，请同学们分析一下数据挖掘在电子商务领域的应用情况（请深入分析并给出实例，切忌泛泛而谈）？ 单选题 1. 某超市研究销售纪录数据后发现，买啤酒的人很大概率也会购买尿布，这种属于数据挖掘的哪类问题？(A) A. 关联规则发现 B. 聚类 C. 分类 D. 自然语言处理 2. 以下两种描述分别对应哪两种对分类算法的评价标准？ (A) 一、数据挖掘 数据挖掘是运用计算机及信息技术,从大量的、不完全的数据集中获取隐含 在其中的有用知识的高级过程。Web 数据挖掘是从数据挖掘发展而来,是数据挖掘技术在Web 技术中的应用。Web 数据挖掘是一项综合技术,通过从 Internet 上的资源中抽取信息来提高Web 技术的利用效率,也就是从 Web 文档结构和试用的集合中发现隐含的模式。 数据挖掘涉及的学科领域和方法很多，有多种分类法。 （1）根据挖掘对象分：关系数据库、面向对象数据库、空间数据库、时序 数据库、DNA 数据库、多媒体数据库、异质数据库、遗产数据库以及Web数据库等； （2）根据挖掘方法分：机器学习方法、统计方法、神经网络方法和数据库 方法等； a. 机器学习方法可细分为：归纳学习方法（决策树、规则归纳等）、基于范例学习、遗传算法等。 b.统计方法可细分为：回归分析（多元回归、自回归等）、判别分析（贝叶斯判别、费歇尔判别、非参数判别等）、聚类分析（系统聚类、动态聚类等）、探索性分析（主元分析法、相关分析法等）等。 c. 神经网络方法可细分为：前向神经网络（BP 算法等）、自组织神经网络（自组织特征映射、竞争学习等）等。 （3）根据开采任务分：可分为关联规则、分类、聚类、时间序列预测模型 发现和时序模式发现等。 a.关联规则：典型的关联规则发现算法是Apriori算法，该算法也称广度优先算法，是A.Agrawal和R.Srikandt于1994年提出的，它是目前除AIS 算法、面向SQL的SETM 算法外几乎所有频繁项集发现算法的核心，其基本思想是： 如果一个项集不是频繁集，则其父集也不是频繁集，由此大大地减少了需要验证的项集的数目，在实际运行中它明显优于AIS 算法。 Apriori算法是关联规则挖掘中最具有影响的一种算法.所谓关联规则就是 从事务数据库、关系数据库和其他数据存储中的大量数据的项集之间发现有趣的、频繁出现的模式、关联和相关性.关联规则可以分为两步: 1)找出所有频繁项集.这部分主要由后面介绍的Apriori算法来解决. 2)由频繁项集产生相关联规则:这些规则必须满足最小支持度和最小置信 度. b.分类规则：数据挖掘的一个重要任务是对海量数据进行分类。数据分类是基于一组数据的某些属性的值进行的。数据分类的方法很多，包括决策树方法、统计学方法、神经网络方法、最近邻居方法等等。其中，基于决策树的分类方法与其它的分类方法比较起来，具有速度较快、较容易转换成简单的并且易于被理解的分类规则、较易转换成数据库查询语言、友善、可得到更高的准确度等优点。 《海量数据挖掘技术及工程实践》题目 一、单选题（共80题） 1)( D )的目的缩小数据的取值范围，使其更适合于数据挖掘算法的需要，并且能够得到 和原始数据相同的分析结果。 A.数据清洗 B.数据集成 C.数据变换 D.数据归约 2)某超市研究销售纪录数据后发现，买啤酒的人很大概率也会购买尿布，这种属于数据挖 掘的哪类问题？(A) A. 关联规则发现 B. 聚类 C. 分类 D. 自然语言处理 3)以下两种描述分别对应哪两种对分类算法的评价标准？ (A) (a)警察抓小偷，描述警察抓的人中有多少个是小偷的标准。 (b)描述有多少比例的小偷给警察抓了的标准。 A. Precision,Recall B. Recall,Precision A. Precision,ROC D. Recall,ROC 4)将原始数据进行集成、变换、维度规约、数值规约是在以下哪个步骤的任务？(C) A. 频繁模式挖掘 B. 分类和预测 C. 数据预处理 D. 数据流挖掘 5)当不知道数据所带标签时，可以使用哪种技术促使带同类标签的数据与带其他标签的数 据相分离？(B) A. 分类 B. 聚类 C. 关联分析 D. 隐马尔可夫链 6)建立一个模型，通过这个模型根据已知的变量值来预测其他某个变量值属于数据挖掘的 哪一类任务？(C) A. 根据内容检索 B. 建模描述 C. 预测建模 D. 寻找模式和规则 7)下面哪种不属于数据预处理的方法？ (D) A.变量代换 B.离散化 C.聚集 D.估计遗漏值 8)假设12个销售价格记录组已经排序如下：5, 10, 11, 13, 15, 35, 50, 55, 72, 92, 204, 215 使用如下每种方法将它们划分成四个箱。等频（等深）划分时，15在第几个箱子内？ (B) A.第一个 B.第二个 C.第三个 D.第四个 9)下面哪个不属于数据的属性类型：(D) A.标称 B.序数 C.区间 D.相异 10)只有非零值才重要的二元属性被称作：( C ) A.计数属性 B.离散属性 C.非对称的二元属性 D.对称属性 11)以下哪种方法不属于特征选择的标准方法： (D) A.嵌入 B.过滤 C.包装 D.抽样 12)下面不属于创建新属性的相关方法的是： (B) A.特征提取 B.特征修改 C.映射数据到新的空间 D.特征构造 13)下面哪个属于映射数据到新的空间的方法？ (A) A.傅立叶变换 B.特征加权 C.渐进抽样 D.维归约 14)假设属性income的最大最小值分别是12000元和98000元。利用最大最小规范化的方 法将属性的值映射到0至1的范围内。对属性income的73600元将被转化为：(D) A.0.821 B.1.224 C.1.458 D.0.716 15)一所大学内的各年纪人数分别为：一年级200人，二年级160人，三年级130人，四年 级110人。则年级属性的众数是： (A) A.一年级 B.二年级 C.三年级 D.四年级 数据仓库与数据挖掘学习心得 通过数据仓库与数据挖掘的这门课的学习,掌握了数据仓库与数据挖掘的一些基础知识和基本概念,了解了数据仓库与数据库的区别。下面谈谈我对数据仓库与数据挖掘学习心得以及阅读相关方面的论文的学习体会。 《浅谈数据仓库与数据挖掘》这篇论文主要是介绍数据仓库与数据挖掘的的一些基本概念。数据仓库是支持管理决策过程的、面向主题的、集成的、稳定的、不同时间的数据集合。主题是数据数据归类的标准,每个主题对应一个客观分析的领域,他可为辅助决策集成多个部门不同系统的大量数据。数据仓库包含了大量的历史数据,经集成后进入数据仓库的数据极少更新的。数据仓库内的数据时间一般为5年至10年,主要用于进行时间趋势分析。数据仓库的数据量很大。 数据仓库的特点如下: 1、数据仓库是面向主题的; 2、数据仓库是集成的,数据仓库的数据有来自于分散的操作型数据,将所需数据从原来的数据中抽取出来,进行加工与集成,统一与综合之后才能进入数据仓库; 3、数据仓库是不可更新的,数据仓库主要是为决策分析提供数据,所涉及的操作主要是数据的查询; 4、数据仓库是随时间而变化的,传统的关系数据库系统比较适合处理格式化的数据,能够较好的满足商业商务处理的需求,它在商业领域取得了巨大的成功。 作为一个系统,数据仓库至少包括3个基本的功能部分:数据获取:数据存储和管理;信息访问。 数据挖掘的定义:数据挖掘从技术上来说是从大量的、不完全的、有噪音的、模糊的、随机的数据中提取隐含在其中的、人们事先不知道的、但又是潜在的有用的信息和知识的过程。 数据开采技术的目标是从大量数据中,发现隐藏于其后的规律或数据间的的关系,从而服务于决策。数据挖掘的主要任务有广义知识;分类和预测;关联分析;聚类。 《数据仓库与数据挖掘技术在金融信息化中的应用》论文主要通过介绍数据额仓库与数据挖掘的起源、定义以及特征的等方面的介绍引出其在金融信息化中的应用。在金融信息化的应用方面,金融机构利用信息技术从过去积累的、海量的、以不同形式存储的数据资料里提取隐藏着的许多 重要信息,并对它们进行高层次的分析,发现和挖掘出这些数据间的整体特征描述及发展趋势预测,找出对决策有价值的信息,以防范银行的经营风险、实现银行科技管理及银行科学决策。 现在银行信息化正在以业务为中心向客户为中心转变6银行信息化不仅是数据的集中整合,而且要在数据集中和整合的基础上向以客为中心的方向转变。银行信息化要适应竞争环境客户需求的变化,创造性地用信息技术对传统过程进行集成和优化,实现信息共享、资源整合综合利用,把银行的各项作用统一起来,优势互补统一调配各种资源,为银行的客户开发、服务、综理财、管理、风险防范创立坚实的基础,从而适应日益发展的数据技术需要,全面提高银行竞争力,为金融创新和提高市场反映能力服务。沃尔玛利用信息技术建设的数据仓库,在1997年圣诞节进行市场技术建立的数据仓库,即分析顾客最可能一起购买那些商品,结果产生了经典的“啤酒与尿布”的故事,这便是借助于数据仓库系统数据挖掘与分析心得体会
数据挖掘与数据仓库知识点总结
数据挖掘课程体会
数据清洗、数据分析、数据挖掘
大数据处理技术的总结与分析
数据挖掘及商务智能总结
分析报告、统计分析和数据挖掘的区别
数据挖掘r语言总结报告
数据挖掘知识点归纳
数据挖掘报告
统计学和数据挖掘区别
大数据、数据分析和数据挖掘的区别
数据挖掘总结
数据分析与挖掘实验报告
数据挖掘一些面试题总结
web数据挖掘总结
《大数据时代下的数据挖掘》试题和答案及解析
数据仓库与数据挖掘学习心得.