Mahout学习Canopy Clustering
聚类是机器学习里很重要的一类方法，基本原则是将“性质相似”(这里就有相似的标准问题，比如是基于概率分布模型的相似性又或是基于距离的相似性)的对象尽可能的放在一个Cluster中而不同Cluster中对象尽可能不相似。对聚类算法而言，有三座大山需要爬过去：（1）、a large number of clusters，(2)、a high feature dimensionality，（3）、a large number of data points。在这三种情况下，尤其是三种情况都存在时，聚类的计算代价是非常高的，有时候聚类都无法进行下去，于是出现一种简单而又有效地方法：Canopy Method，说简单是因为它不用什么高深的理论或推导就可以理解，说有效是因为它的实际表现确实可圈可点。
一、基本思想
1、基于Canopy Method的聚类算法将聚类过程分为两个阶段
Stage1、聚类最耗费计算的地方是计算对象相似性的时候，Canopy Method在第一阶段选择简单、计算代价较低的方法计算对象相似性，将相似的对象放在一个子集中，这个子集被叫做Canopy ，通过一系列计算得到若干Canopy，Canopy之间可以是重叠的，但不会存在某个对象不属于任何Canopy的情况，可以把这一阶段看做数据预处理；
Stage2、在各个Canopy 内使用传统的聚类方法(如K-means)，不属于同一Canopy 的对象之间不进行相似性计算。
从这个方法起码可以看出两点好处：首先，Canopy 不要太大且Canopy 之间重叠的不要太多的话会大大减少后续需要计算相似性的对象的个数；其次，类似于K-means这样的聚类方法是需要人为指出K的值的，通过Stage1得到的Canopy 个数完全可以作为这个K值，一定程度上减少了选择K的盲目性。
2、聚类精度
对传统聚类来说，例如K-means、Expectation-Maximization、Greedy Agglomerative Clustering，某个对象与Cluster的相似性是该点到Cluster中心的距离，那么聚类精度能够被很好保证的条件是：
对于每个Cluster都存在一个Canopy，它包含所有属于这个Cluster的元素。
如果这种相似性的度量为当前点与某个Cluster中离的最近的点的距离，那么聚类精度能够被很好保证的条件是：
对于每个Cluster都存在若干个Canopy，这些Canopy之间由Cluster中的元素连接（重叠的部分包含Cluster中的元素）。
数据集的Canopy划分完成后，类似于下图：
二、单机生成Canopy的算法
（1）、将数据集向量化得到一个list后放入内存，选择两个距离阈值：T1和T2，其中T1 > T2，对应上图，实线圈为T1，虚线圈为T2，T1和T2的值可以用交叉校验来确定；
（2）、从list中任取一点P，用低计算成本方法快速计算点P与所有Canopy之间的距离（如果当前不存在Canopy，则把点P作为一个Canopy），如果点P与某个Canopy距离在T1以内，则将点P加入到这个Canopy；
（3）、如果点P曾经与某个Canopy的距离在T2以内，则需要把点P从list中删除，这一步是认为点P此时与这个Canopy已经够近了，因此它不可以再做其它Canopy的中心了；
（4）、重复步骤2、3，直到list为空结束。
三、并行策略
并行点是比较明显的，就是生成Canopy的过程可以并行，第一阶段，各个slave可以依据存储在本地的数据，各自在本地用上述算法生成若干Canopy，最后在master机器将这些Canopy 用相同算法汇总后得到最终的Canopy集合，第二阶段聚类操作就利用最终的Canopy集合进行。
用map-reduce描述就是：datanode在map阶段，利用上述算法在本地生成若干Canopy，之后通过reduce操作得到最终的Canopy集合。
四、Mahout源码安装
正式使用Mahout之前需要做以下准备工作：
1、在https://www.sodocs.net/doc/7216409578.html,/下载最新的Mahout 0.5源码包；
2、安装mvn，可以在终端输入：sudo apt-get install maven2具体方法可以参照：
https://www.sodocs.net/doc/7216409578.html,/maven/how-to-install-maven-in-ubuntu/；
3、安装Mahout源码，可以参照这里的方法进行：
https://https://www.sodocs.net/doc/7216409578.html,/confluence/display/MAHOUT/BuildingMahout；
4、打开eclipse，在“Help”菜单下单击“Install New Software...”，在地址栏添加：
https://www.sodocs.net/doc/7216409578.html,/sites/m2e，之后把复选框勾上，然后一路Next即可。
5、最后在eclipse的“File”菜单单击“Import...”，选择“Existing Maven Projects”，Next后选择Mahout源码所在目录，将感兴趣的项目勾上，最后完成步骤即可。mahout-core、
mahout-examples和mahout-math是下一步我们需要的。
五、Mahout的Canopy Clustering
mahout实现了一个Canopy Clustering，大致思路与前两节用的方法一样，用了两个map 操作和一个reduce操作，首先用一个map和一个reduce生成全局Canopy集合，最后用一个map操作进行聚类。可以在mahout-core下的src/main/java中的package：
org.apache.mahout.clustering.canopy中找到相关代码：
Mahout聚类算法将对象以Vector的方式表示，它同时支持dense vector和sparse vector，一共有三种表示方式（它们拥有共同的基类AbstractVector，里面实现了有关Vector的很多操作）：
(1)、DenseVector
位于mahout-math文件夹下的src/main/java中的package：
org.apache.mahout.clustering.math中，它实现的时候用一个double数组表示Vector（private double[] values），对于dense data可以使用它；
(2)、RandomAccessSparseVector
位于mahout-math文件夹下的src/main/java中的package：
org.apache.mahout.clustering.math中，它用来表示一个可以随机访问的sparse vector，只存储非零元素，数据的存储采用hash映射：OpenIntDoubleHashMap;
关于OpenIntDoubleHashMap，其key为int类型，value为double类型，解决冲突的方法是double hashing，可能是我获取的源码问题，没有在0.5中找到它的source code，可以从https://www.sodocs.net/doc/7216409578.html,/file/https://www.sodocs.net/doc/7216409578.html,/maven2/org.apache.mahout/mahout-collections/ 0.3/org/apache/mahout/math/map/OpenIntDoubleHashMap.java#OpenIntDoubleHashMa p.indexOfInsertion%28int%29中查看0.3中代码和较详细注释；
(3)、SequentialAccessSparseVector
位于mahout-math文件夹下的src/main/java中的package：
org.apache.mahout.clustering.math中，它用来表示一个顺序访问的sparse vector，同样只存储非零元素，数据的存储采用顺序映射：OrderedIntDoubleMapping;
关于OrderedIntDoubleMapping，其key为int类型，value为double类型，存储的方式让我想起了Libsvm数据表示的形式：非零元素索引:非零元素的值，这里用一个int数组存储
indices，用double数组存储非零元素，要想读写某个元素，需要在indices中查找offset，由于indices应该是有序的，所以查找操作用的是二分法。
可以从Canopy.java文件及其父类中找到答案，Mahout在实现时候还是很巧妙的，一个Canopy包含的字段信息主要有：
1）、private int id; #Canopy的id
2）、private long numPoints; #Canopy中包含点的个数，这里的点都是Vector
3）、private Vector center; #Canopy的重心
4）、private Vector Radius; #Canopy的半径，这个半径是各个点的标准差，反映组内个体间的离散程度，它的计算依赖下面要说的s0、s1和s2。
它并不会真的去用一个list去存储其包含的点，因为将来的计算并不关心这些点是什么，而是与由这些点得到的三个值有关，这里用三个变量来表示：
5）、private double s0; #表示Canopy包含点的权重之和，
6）、private Vector s1; #表示各点的加权和，
7）、private Vector s2; #表示各点平方的加权和，
以下是它的核心操作：
8）、public void computeParameters(); #根据s0、s1、s2计算numPoints、center和Radius，其中numPoints=（int）s0，center=s1/s0，Radius=sqrt(s2*s0-s1*s1)/s0，简单点来，假设所有点权重都是1，那么：
，其中
，其中
9）、public void observe(VectorWritable x, double weight); #每当有一个新的点加入当前Canopy时都需要更新s0、s1、s2的值，这个比较简单。
Canopy Clustering的实现包含单机版和MR两个版本，单机版就不多说了，MR版用了两个map操作和一个reduce操作，当然是通过两个不同的job实现的，map和reduce阶段执行顺序是：CanopyMapper –> CanopyReducer –> ClusterMapper，我想对照下面这幅图来理解：
(1)、首先是InputFormat，这是从HDFS读取文件后第一个要考虑的问题，mahout中提供
了三种方式，都继承于FileInputFormat
t Description Key
t Default format; reads lines of text files (默认格式，按行读取文件且不进行解析操作，基于行的文件比较有效) The byte offset of the line(行的字节偏移量) The line c
的内容)
ormat Parses lines into key, val pairs (同样是按照行读取，但会搜寻第一个tab字符，把行拆分为(Key，Value) pair) Everything up to the first tab character(第一
个tab字符前的所有字符)
The rema
(该行剩下
utFormat A Hadoop-specific high-performance binary format (Hadoop定义的高性能二进制格式) user-defined (用户自定义) user-defin
义)
在这里，由于使用了很多自定义的类型，如：表示vector的VectorWritable类型，表示canopy 的canopy类型，且需要进行高效的数据处理，所以输入输出文件选择SequenceFileInputFormat 格式。由job对象的setInputFormatClass方法来设置，
如:job.setInputFormatClass(SequenceFileInputFormat.class)，一般在执行聚类算法前需要调用一个job专门处理原始文件为合适的格式，比如用InputDriver，这点后面再说。
(2)、Split
一个Split块为一个map任务提供输入数据，它是InputSplit类型的，默认情况下hadoop 会把文件以64MB为基数拆分为若干Block，这些Block分散在各个节点上，于是一个文件就可以被多个map并行的处理，也就是说InputSplit定义了文件是被如何切分的。
(3)、RR
RecordReader类把由Split传来的数据加载后转换为适合mapper读取的(Key,Value) pair，RecordReader实例是由InputFormat决定，RR被反复调用直到Split数据处理完，RR被调用后接着就会调用Mapper的map()方法。
“RecordReader实例是由InputFormat决定”这句话怎么理解呢？比如，在Canopy Clustering中，使用的是SequenceFileInputFormat，它会提供一个SequenceFileRecordReader 类型，利用SequenceFile.Reader将Key和Value读取出来，这里Key和Value的类型对应Mapper
的map函数的Key和Value的类型，Sequence File的存储根据不同压缩策略分为：NONE：不压缩、RECORD：仅压缩每一个record中的value值、BLOCK：将一个block中的所有records 压缩在一起，有以下存储格式：
Uncompressed SequenceFile
Header
Record
Record length
Key length
Key
Value
A sync-marker every few 100 bytes or so.
Record-Compressed SequenceFile
Header
Record
Record length
Key length
Key
Compressed Value
A sync-marker every few 100 bytes or so.
Block-Compressed SequenceFile Format
Header
Record Block
Compressed key-lengths block-size
Compressed key-lengths block
Compressed keys block-size
Compressed keys block
Compressed value-lengths block-size
Compressed value-lengths block
Compressed values block-size
Compressed values block
A sync-marker every few 100 bytes or so.
具体可参见：https://www.sodocs.net/doc/7216409578.html,/article-18673-1.html
(4)、CanopyMapper
1:class CanopyMapper extends Mapper
2:
3:private final Collection
4:
5:private CanopyClusterer canopyClusterer;
6:
7: @Override
8:protected void map(WritableComparable key, VectorWritable point, Context context)
9:throws IOException, InterruptedException {
10: canopyClusterer.addPointToCanopies(point.get(), canopies);
11: }
12:
13: @Override
14:protected void setup(Context context) throws IOException, InterruptedException { 15:super.setup(context);
16: canopyClusterer = new CanopyClusterer(context.getConfiguration());
17: }
18:
19: @Override
20:protected void cleanup(Context context) throws IOException, InterruptedException {
21:for (Canopy canopy : canopies) {
22: context.write(new Text("centroid"), new
VectorWritable(https://www.sodocs.net/doc/7216409578.html,puteCentroid()));
23: }
24:super.cleanup(context);
25: }
26: }
CanopyMapper类里面定义了一个Canopy集合，用来存储通过map操作得到的本地Canopy。
setup方法在map操作执行前进行必要的初始化工作；
它的map操作很直白，就是将传来的(Key,Value) pair(以后就叫“点”吧，少写几个字)按照某种策略加入到某个Canopy中，这个策略在CanopyClusterer类里说明；
在map操作执行完后，调用cleanup操作，将中间结果写入上下文，注意这里的Key是一个固定的字符串“centroid”，将来reduce操作接收到的数据就只有这个Key，写入的value是所有Canopy的中心点(是个Vector哦)。
(5)、Combiner
可以看做是一个local的reduce操作，接受前面map的结果，处理完后发出结果，可以使用reduce类或者自己定义新类，这里的汇总操作有时候是很有意义的，因为它们都是在本地执行，最后发送出得数据量比直接发出map结果的要小，减少网络带宽的占用，对将来shuffle 操作也有益。在Canopy Clustering中不需要这个操作。
(6)、Partitioner & Shuffle
当有多个reducer的时候，partitioner决定由mapper或combiner传来的(Key,Value) Pair 会被发送给哪个reducer，接着Shuffle操作会把所有从相同或不同mapper或combiner传来的(Key,Value) Pair按照Key进行分组，相同Key值的点会被放在同一个reducer中，我觉得如何提高Shuffle的效率是hadoop可以改进的地方。在Canopy Clustering中，因为map后的数据只有一个Key值，也就没必要有多个reducer了，也就不用partition了。关于Partitioner可以参考：https://www.sodocs.net/doc/7216409578.html,/2011/04/17/mapreduce-partition分析-2/
(7)、CanopyReducer
1:public class CanopyReducer extends Reducer
3:private final Collection
4:
5:private CanopyClusterer canopyClusterer;
6:
7: CanopyClusterer getCanopyClusterer() {
8:return canopyClusterer;
9: }
10:
11: @Override
12:protected void reduce(Text arg0, Iterable
13: Context context) throws IOException, InterruptedException {
14:for (VectorWritable value : values) {
15: Vector point = value.get();
16: canopyClusterer.addPointToCanopies(point, canopies);
17: }
18:for (Canopy canopy : canopies) {
19: https://www.sodocs.net/doc/7216409578.html,puteParameters();
20: context.write(new Text(canopy.getIdentifier()), canopy);
21: }
22: }
23:
24: @Override
25:protected void setup(Context context) throws IOException,
26: InterruptedException {
27:super.setup(context);
28: canopyClusterer = new CanopyClusterer(context.getConfiguration());
29: https://www.sodocs.net/doc/7216409578.html,eT3T4();
30: }
31:
32: }
CanopyReducer 类里面同样定义了一个Canopy集合，用来存储全局Canopy。
setup方法在reduce操作执行前进行必要的初始化工作，这里与mapper不同的地方是可以对阈值T1、T2(T1>T2)重新设置(这里用T3、T4表示)，也就是说map阶段的阈值可以与reduce 阶段的不同；
reduce操作用于map操作一样的策略将局部Canopy的中心点做重新划分，最后更新各个全局Canopy的numPoints、center、radius的信息，将(Canopy标示符，Canopy对象) Pair 写入上下文中。
(8)、OutputFormat
它与InputFormat类似，Hadoop会利用OutputFormat的实例把文件写在本地磁盘或HDFS 上，它们都是继承自FileOutputFormat类。各个reducer会把结果写在HDFS某个目录下的单独的文件内，命名规则是part-r-xxxxx，这个是依据hadoop自动命名的，此外还会在同一目录下生成一个_SUCCESS文件，输出文件夹用FileOutputFormat.setOutputPath() 设置。
到此为止构建Canopy的job结束。即CanopyMapper –> CanopyReducer 阶段结束。
(9)、ClusterMapper
最后聚类阶段比较简单，只有一个map操作，以上一阶段输出的Sequence File为输入，setup 方法做一些初始化工作并从上一阶段输出目录读取文件，重建Canopy集合信息并存储在一个Canopy集合中，map操作就调用CanopyClusterer的emitPointToClosestCanopy方法实现聚类，将最终结果输出到一个Sequence File中。
(10)、CanopyClusterer
这个类是实现Canopy算法的核心，其中：
1)、addPointToCanopies方法用来决定当前点应该加入到哪个Canopy中，在CanopyMapper和CanopyReducer 中用到，流程如下：
2)、emitPointToClosestCanopy方法查找与当前点距离最近的Canopy，并将(Canopy的标示符，当前点Vector表示)输出，这个方法在聚类阶段ClusterMapper中用到。
3)、createCanopies方法用于单机生成Canopy，算法一样，实现也较简单，就不多说了。
(11)、CanopyDriver
一般都会定义这么一个driver，用来定义和配置job，组织job执行，同时提供单机版和MR 版。job执行顺序是:buildClusters –> clusterData。
CanopyMapper的输入需要是(WritableComparable, VectorWritable) Pair，因此，一般情况下，需要对数据集进行处理以得到相应的格式，比如，在源码的/mahout-examples目录下的package org.apache.mahout.clustering.syntheticcontrol.canopy中有个Job.java文件提供了对Canopy Clustering的一个版本：
1:private static void run(Path input, Path output, DistanceMeasure measure,
2:double t1, double t2) throws IOException, InterruptedException,
3: ClassNotFoundException, InstantiationException, IllegalAccessException {
4: Path directoryContainingConvertedInput = new Path(output,
5: DIRECTORY_CONTAINING_CONVERTED_INPUT);
6: InputDriver.runJob(input, directoryContainingConvertedInput,
7:"org.apache.mahout.math.RandomAccessSparseVector");
8: CanopyDriver.run(new Configuration(), directoryContainingConvertedInput,
9: output, measure, t1, t2, true, false);
10:// run ClusterDumper
11: ClusterDumper clusterDumper = new ClusterDumper(new Path(output,
12:"clusters-0"), new Path(output, "clusteredPoints"));
13: clusterDumper.printClusters(null);
14: }
利用InputDriver对数据集进行处理，将(Text, VectorWritable) Pair 以sequence file形式存储，供CanopyDriver使用。InputDriver中的作业配置如下：
1:public static void runJob(Path input, Path output, String vectorClassName)
2:throws IOException, InterruptedException, ClassNotFoundException {
3: Configuration conf = new Configuration();
4: conf.set("https://www.sodocs.net/doc/7216409578.html,", vectorClassName);
5: Job job = new Job(conf, "Input Driver running over input: " + input);
6:
7: job.setOutputKeyClass(Text.class);
8: job.setOutputValueClass(VectorWritable.class);
9: job.setOutputFormatClass(SequenceFileOutputFormat.class);
10: job.setMapperClass(InputMapper.class);
11: job.setNumReduceTasks(0);
12: job.setJarByClass(InputDriver.class);
13:
14: FileInputFormat.addInputPath(job, input);
15: FileOutputFormat.setOutputPath(job, output);
16:
17: job.waitForCompletion(true);
18: }
可以用源码生成相关Jar文件，例如：
(1)、准备若干数据集data，要求不同feature之间用空格隔开；
(2)、在master的终端敲入命令：hadoop namenode –format;start-all.sh;用于初始化namenode和启动hadoop；
(3)、在HDFS上建立testdata文件夹，聚类算法会去这个文件夹加载数据集，在终端输入：hadoop dfs –mkdir testdata；
(4)、然后将各个datanode上的数据集data上传到HDFS，在终端输入hadoop dfs –put data testdata/
(5)、进入mahout的那些Jar文件所在路径，在终端敲入：hadoop jar
mahout-examples-0.5-job.jar org.apache.mahout.clustering.syntheticcontrol.canopy.Job;
(6)、在localhost:50030查看作业执行情况，例如：
可以看到，第一个作业由InputDriver发起，输入目录是testdata，一共做了一个map操作但没有做reduce操作，第二个作业由CanopyDriver发起，做了一对mapreduce操作，这里对应Canopy生成过程，最后一个作业也由CanopyDriver发起，做了一个map操作，对应Canopy Clustering过程。
(7)、将执行结果抓到本地文件夹，在终端执行：hadoop dfs –get output output，得到目录如下：
其中聚类结果保存在第一个文件夹中，当然，结果是Sequence File，不能直接双击打开来看。
Mahout中对Canopy Clustering的实现是比较巧妙的，整个聚类过程用2个map操作和1个reduce操作就完成了，Canopy构建的过程可以概括为：遍历给定的点集S，设置两个阈值：T1、T2且T1>T2，选择一个点，用低成本算法计算它与其它Canpoy中心的距离，如果距离小于T1则将该点加入那个Canopy，如果距离小于T2则该点不会成为某个Canopy的中心，重复整个过程，直到S为空。
数据挖掘试卷一
数据挖掘整理（熊熊整理-----献给梦中的天涯） 单选题 1．下面哪种分类方法是属于神经网络学习算法？（） A. 判定树归纳 B. 贝叶斯分类 C. 后向传播分类 D. 基于案例的推理 2．置信度(confidence)是衡量兴趣度度量（ A ）的指标。 A、简洁性 B、确定性 C.、实用性 D、新颖性 3．用户有一种感兴趣的模式并且希望在数据集中找到相似的模式，属于数据挖掘哪一类任务？(A) A. 根据内容检索 B. 建模描述 C. 预测建模 D. 寻找模式和规则 4．数据归约的目的是（） A、填补数据种的空缺值 B、集成多个数据源的数据 C、得到数据集的压缩表示 D、规范化数据 5．下面哪种数据预处理技术可以用来平滑数据，消除数据噪声？ A.数据清理 B.数据集成 C.数据变换 D.数据归约 6．假设12个销售价格记录组已经排序如下：5, 10, 11, 13, 15, 35, 50, 55, 72, 92, 204, 215 使用如下每种方法将它们划分成四个箱。等频（等深）划分时，15在第几个箱子内？(B) A 第一个 B 第二个 C 第三个 D 第四个 7．下面的数据操作中，（）操作不是多维数据模型上的OLAP操作。 A、上卷(roll-up) B、选择(select) C、切片(slice) D、转轴(pivot) 8．关于OLAP和OLTP的区别描述,不正确的是: (C) A. OLAP主要是关于如何理解聚集的大量不同的数据.它与OTAP应用程序不同. B. 与OLAP应用程序不同,OLTP应用程序包含大量相对简单的事务. C. OLAP的特点在于事务量大,但事务内容比较简单且重复率高. D. OLAP是以数据仓库为基础的,但其最终数据来源与OLTP一样均来自底层的数据库系统,两者面对的用户是相同的 9．下列哪个描述是正确的？（） A、分类和聚类都是有指导的学习 B、分类和聚类都是无指导的学习
数据挖掘流程模型CRISP-DM
CRISP-DM 1.0 数据挖掘方法论指南 Pete Chapman (NCR), Julian Clinton (SPSS), Randy Kerber (NCR), Thomas Khabaza (SPSS), Thomas Reinartz (DaimlerChrysler), Colin Shearer (SPSS) and Rüdiger Wirth (DaimlerChrysler)
该手册描述了CRISP-DM（跨行业数据挖掘标准流程）过程模型，包括CRISP-DM的方法论、相关模型、用户指南、报告介绍，以及一个含有其他相关信息的附录。 本手册和此处的信息均为CRISP-DM协会以下成员的专利：NCR Systems Engineering Copenhagen (USA and Denmark), DaimlerChrysler AG (Germany), SPSS Inc. (USA) and OHRA Verzekeringen en Bank Groep B.V (The Netherlands)。 著作权? 1999, 2000 本手册中所有商标和服务标记均为它们各自所有者的标记，并且为CRISP-DM协会的成员所公认。
前言 1996年下半年，数据挖掘市场尚处于萌芽状态，CRISP-DM率先由三家资深公司共同提出。DaimlerChrysler (即后来的Daimler-Benz) 在其商业运营中运用数据挖掘的经验颇为丰富，远远领先于其他大多数商业组织。SPSS（即后来的ISL）自1990年以来一直致力于提供基于数据挖掘的服务，并于1994年推出了第一个商业数据挖掘平台——Clementine。至于NCR，作为对其Teradata数据仓库客户增值目标的一部分，它已经建立了数据挖掘顾问和技术专家队伍以满足其客户的需要。 当时，数据挖掘所引起的市场关注开始表明其进入爆炸式增长和广泛应用的迹象。这既令人兴奋又使人害怕。随着我们在这条路上不断走下去，所有人都不断研究和发展数据挖掘方法。可是我们做的是否正确?是否每一个数据挖掘的新使用者都必须像我们当初一样经历反复试验和学习？此外，从供应商的角度来看，我们怎样向潜在客户证明数据挖掘技术已足够成熟到可以作为它们商业流程的一个关键部分？ 在这种情况下，我们认为急需一个标准的流程模型——非私人所有并可以免费获取——向我们和所有的从业者很好的回答这些问题。 一年后我们组建了联盟，名字CRISP-DM取自CRoss-Industry Standard Process for Data Mining的缩写，由欧洲委员会提供资助，开始实施我们最初的想法。因为CRISP-DM的定位是面向行业、工具导向和面向应用的，所以我们明白必须“海纳百川，博采众家之长”，必须在一个尽可能宽的范围内吸引人们的兴趣（比如数据仓库制造商和管理咨询顾问）。于是我们决定成立CRISP-DM 专门兴趣小组（即大家所知道的“The SIG”）。我们邀请所有感兴趣的团体和个人到阿姆斯特丹参加为期一天的工作会议，讨论并正式成立SIG组织：我们观念共享，鼓励与会者畅所欲言，为发展CRISP-DM共商大计。 当天每个协会成员都心怀惴惴，会不会没有人对CRISP-DM有足够的兴趣？即使有，那他们是否认为实际上并未看到一种对标准化流程的迫切需求？或者我们的想法迄今为止与别人的步调不一致，任何标准化的念头只是不切实际的白日梦？ 事实上，讨论的结果大大超出了我们的期望。下面三点最为突出： 当天的与会人数是我们原先期望的两倍 行业需要而且现在就需要一个标准化流程——大家压倒性的一致同意 每个出席者从他们的项目经验出发陈述了自己关于数据挖掘的看法，这使我们越来越清晰地看到：尽管表述上有些区别——主要是在阶段的划分和术语方面，但在如何看待数据挖掘流程上大家具有极大的相似之处。 在工作组结束的时候，我们充满了自信，受SIG的启发和批评，我们能够建成一个标准化流程模型，为数据挖掘事业作出贡献。 接下来的两年半里，我们努力工作来完善和提炼CRISP-DM。我们不断地在Mercedes-Benz、保险部门的伙伴及OHRA的实际大型数据挖掘项目中进行尝试。同时也运用商业数据挖掘工具来整合CRISP-DM。SIG证明了是无价的，其成员增长到200多，并且在伦敦、纽约和布鲁塞尔都拥有工作组。 到该项目的欧洲委员会支持基金部分结束时——1999年年中，我们提出了自己觉得质量优良的流程模型草案。熟悉这一草案的人将会发现，一年以来，尽管现在的CRISP-DM1.0更完整更好，但从根本上讲并没有什么本质不同。我们强烈地意识到：在整个项目中，流程模型仍然是一个持续进行的工作；CRISP-DM还只是在一系列有限的项目中得到证实。过去的一年里，DaimlerChrysler有机会把CRISP-DM运用于更为广阔的范围。SPSS和NCR的专业服务团体采纳了CRISP-DM，而且用之成功地完成了无数客户委托，包括许多工业和商业的问题。这段时间以来，我们看到协会外部的服务供应商也采用了CRISP-DM；分析家不断重复地提及CRISP-DM
数据挖掘过程中的预处理阶段
数据挖掘过程中的预处理阶段 整个数据挖掘过程中，数据预处理要花费60％左右的时间，而后的挖掘工作仅占总工作量的10％左右[1]。经过预处理的数据，不但可以节约大量的空间和时间，而且得到的挖掘结果能更好地起到决策和预测作用。 一般的，数据预处理分为4个步骤，本文把对初始数据源的选择作为数据预处理过程中的一个步骤，即共分为5个步骤。因为，如果在数据获得初期就有一定的指导，则可以减少数据获取的盲目性以及不必要噪声的引入且对后期的工作也可节约大量的时间和空间。整个预处理过程见下图： 1 初始源数据的获取 研究发现，通过对挖掘的错误结果去寻找原因,多半是由数据源的质量引起的。因此，原始数据的获取，从源头尽量减少错误和误差，尤其是减少人为误差，尤为重要。首先应了解任务所涉及到的原始数据的属性和数据结构及所代表的意义，确定所需要的数据项和数据提取原则，使用合适的手段和严格的操作规范来完成相关数据的获取，由于这一步骤涉及较多相关专业知识，可以结合专家和用户论证的方式尽量获取有较高含金量（预测能力）的变量因子。获取过程中若涉及到多源数据的抽取，由于运行的软硬件平台不同，对这些异质异构数据库要注意数据源的连接和数据格式的转换。若涉及到数据的保密，则在处理时应多注意此类相关数据的操作且对相关数据作备注说明以备查用。
2 数据清理 数据清理 数据清理是数据准备过程中最花费时间、最乏味，但也是最重要的步骤。该步骤可以有效减少学习过程中可能出现相互矛盾情况的问题。初始获得的数据主要有以下几种情况需要处理： 1）含噪声数据。处理此类数据，目前最广泛的是应用数据平滑技术。1999年，Pyle系统归纳了利用数据平滑技术处理噪声数据的方法，主要有：①分箱技术，检测周围相应属性值进行局部数据平滑。②利用聚类技术，根据要求选择包括模糊聚类分析或灰色聚类分析技术检测孤立点数据，并进行修正，还可结合使用灰色数学或粗糙集等数学方法进行相应检测。③利用回归函数或时间序列分析的方法进行修正。④计算机和人工相结合的方式等。 对此类数据，尤其对于孤立点或异常数据，是不可以随便以删除方式进行处理的。很可能孤立点的数据正是实验要找出的异常数据。因此，对于孤立点应先进入数据库，而不进行任何处理。当然，如果结合专业知识分析，确信无用则可进行删除处理。 2）错误数据。对有些带有错误的数据元组，结合数据所反映的实际问题进行分析进行更改或删除或忽略。同时也可以结合模糊数学的隶属函数寻找约束函数，根据前一段历史趋势数据对当前数据进行修正。 3）缺失数据。①若数据属于时间局部性的缺失，则可采用近阶段数据的线性插值法进行补缺；若时间段较长，则应该采用该时间段的历史数据恢复丢失数据。若属于数据的空间缺损则用其周围数据点的信息来代替，且对相关数据作备注说明，以备查用。②使用一个全局常量或属性的平均值填充空缺值。③使用回归的方法或使用基于推导的贝叶斯方法或判定树等来对数据的部分属性进行修复④忽略元组。 4）冗余数据。包括属性冗余和属性数据的冗余。若通过因子分析或经验等方法确信部分属性的相关数据足以对信息进行挖掘和决策，可通过用相关数学方法找出具有最大影响属性因子的属性数据即可，其余属性则可删除。若某属性的部分数据足以反映该问题的信息，则其余的可删除。若经过分析，这部分冗余数据可能还有他用则先保留并作备注说明。
数据挖掘过程说明文档
生产再生钢的过程如下：组合后的废钢通过炉门送入炉子，电流通过悬浮在炉内的电极输送到熔化的废钢中。提供给这些电极的高电流通过电弧传输到内部的金属废料，对其加热并产生超过3000°C的温度。 通过添加各种活性气体和惰性气体以及固体物质来维持和优化炉内条件。然后，钢水从熔炉中流出，进入移动坩埚，并浇铸到钢坯中。 你将得到一个数据集，代表从各种金属废料lypes生产回收钢坯的过程。Hie数据集包含大 ?这是一个基于团队的项目。你需要组成一个小组，由三名（或两名）组员来完成这项练习。?您可以使用Weka或任何其他可用的数据挖掘资源和软件包来帮助您制定问题、计算、评
估等。 ?您的团队绩效将完全根据团队的结果和您的报告进行评估。 ?作为一个团队，您需要决定给定问题的性质；什么类型的数据挖掘问题公式适合解决此类问题；您的团队可以遵循什么样的基本数据挖掘过程；您的团队希望尝试什么类型的算法；以何种方式，您可以进一步利用或最大化您的性能，等等。 ?您的团队应致力于涵盖讲座、教程中包含的领域，考虑预处理、特征选择、各种算法、验证、测试和性能评估方法。 ?对于性能基准，建议您使用准确度和/或错误率作为评估指标。 ?表现最好的球队将被宣布为本次迷你KDD杯冠军，并将获得10%的加分，最高100%满分。 数据挖掘流程： 一、数据建模 1. 数据获取 2. 数据分析 3. 数据预处理 二、算法建模 1. 模型构建 2. 模型检验 三、评估 一、数据建模 1.数据获取及分析 数据集：EAF_process_dataqqq.csv 根据《assignment 2》中，数据集的说明，可知：
数据挖掘教程
摘要： 顾名思义, 数据挖掘就是从大量的数据中挖掘出有用的信息。它是根据人们的特定要求，从浩如烟海的数据中找出所需的信息来，供人们的特定需求使用。2000年7 月，IDC发布了有关信息存取工具市场的报告。1999年，数据挖掘市场大概约为7.5亿美元，估计在下个5年内市场的年增长率为32.4%，其中亚太地 区为26.6%。到2002年，该市场会发展到22亿美元。据国外专家预测，随着数据量的日益积累和计算机的广泛应用，在今后的5—10年内，数据挖掘将 在中国形成一个新型的产业。 为了帮助大家了解数据挖掘的基本理论和方法，我们从“数据挖掘讨论组”网站上整理加工了一组有关该概念的基本知识，省却了纷繁的技术方法，供读者学习参考。 第一课 数据挖掘技术的由来第二课 数据挖掘的定义 第三课 数据挖掘的研究历史和现状第四课 数据挖掘研究内容和本质 第五课 数据挖掘的功能第六课 数据挖掘常用技术 第七课 数据挖掘的流程第八课 数据挖掘未来研究方向及热点第九课 数据挖掘应用第十课 实施数据挖掘项目考虑的问题 URL：h ttp://https://www.sodocs.net/doc/7216409578.html,/learning/lesson/xinxi/20021125/lesson.asp
第一课数据挖掘技术的由来 1.1 网络之后的下一个技术热点 1.2 数据爆炸但知识贫乏 1.3 支持数据挖掘技术的基础 1.4 从商业数据到商业信息的进化 1.5 数据挖掘逐渐演变的过程 1.1网络之后的下一个技术热点 我们现在已经生活在一个网络化的时代，通信、计算机和网络技术正改变着整个人类和社会。如果用芯片集成度来衡量微电子技术，用CPU处理速度来衡量计 算机技术，用信道传输速率来衡量通信技术，那么摩尔定律告诉我们，它们都是以每18个月翻一番的速度在增长，这一势头已经维持了十多年。在美国，广播达到 5000万户用了38年；电视用了13年；Internet拨号上网达到5000万户仅用了4年。全球IP网发展速度达到每6个月翻一番，国内情况亦然。 1999年初，中国上网用户为210万，现在已经达到600万。网络的发展导致经济全球化，在1998年全球产值排序前100名中，跨国企业占了51个， 国家只占49个。有人提出，对待一个跨国企业也许比对待一个国家还要重要。在新世纪钟声刚刚敲响的时候，回顾往昔，人们不仅要问：就推动人类社会进步而 言，历史上能与网络技术相比拟的是什么技术呢?有人甚至提出要把网络技术与火的发明相比拟。火的发明区别了动物和人，种种科学技术的重大发现扩展了自然人 的体能、技能和智能，而网络技术则大大提高了人的生存质量和人的素质，使人成为社会人、全球人。 现在的问题是：网络之后的下一个技术热点是什么？让我们来看一些身边俯拾即是的现象：《纽约时报》由60年代的10～20版扩张至现在的 100～200版，最高曾达1572版；《北京青年报》也已是16～40版；市场营销报已达100版。然而在现实社会中，人均日阅读时间通常为30～45 分钟，只能浏览一份24版的报纸。大量信息在给人们带来方便的同时也带来了一大堆问题：第一是信息过量，难以消化；第二是信息真假难以辨识；第三是信息安 全难以保证；第四是信息形式不一致，难以统一处理。人们开始提出一个新的口号：“要学会抛弃信息”。人们开始考虑：“如何才能不被信息淹没，而是从中及时 发现有用的知识、提高信息利用率？” 面对这一挑战，数据开采和知识发现（DMKD）技术应运而生，并显示出强大的生命力。 1.2 数据爆炸但知识贫乏 另一方面，随着数据库技术的迅速发展以及数据库管理系统的广泛应用，人们积累的数据越来越多。激增的数据背后隐藏着许多重要的信息，人们希望能够对其 进行更高层次的分析，以便更好地利用这些数据。目前的数据库系统可以高效地实现数据的录入、查询、统计等功能，但无法发现数据中存在的关系和规则，无法根 据现有的数据预测未来的发展趋势。缺乏挖掘数据背后隐藏的知识的手段，导致了“数据爆炸但知识贫乏”的现象。 1.3 支持数据挖掘技术的基础
数据挖掘期末复习提纲(整理版)
1.熟悉数据挖掘的流程： 提示：1）业务理解2）数据理解3）数据准备4）建立模型5）模型评估6）模型发布 2.数据库系统与数据仓库系统的区别： 数据仓库是一个面向主题的、集成的、时变的和非易失的数据集合，支持管理部门的决策过程：而数据库是面向具体操作的、单一的、实时的、更新的数据集合，支持管理机构日常操作的。数据库系统的主要任务是执行联机事务和查询处理，这种系统称为OLTP系统，涵盖了组织机构的大部分日常操作；另一方面，数据仓库在数据分析和决策方面为用户和知识工人提供服务。 3. 数据聚合需考虑的问题; 4. 利用免费商品做促销的关联规则挖掘问题： 1）找到免费商品的频繁1—项集，记为S1。 2）使用FP增长算法生成那些价格不少于$200的频繁项集，记为S2。这是一个单调约束，因此不必要在每一步使用“生成—测试”过程，这样能 节省一些不必要的计算开销。如果我们有一个频繁项价格至少￥200，则 没必要对这个频繁项的任何超集进行测试。这是因为任何其他商品加到 这个频繁项里，价格肯定会增多。需要检验的是超集是否是频繁的。这 里之所以使用FP增长算法的原因是Apriori算法丢弃了那些价格低于 $200的频繁项集。这样导致了将不能够发现满足约束条件的频繁项集。 FP增长算法不会有这样的问题，因为它保留了关于数据库的完整信息在 一个树结构中。 3）从S1S2中找到频繁项集。 4）生成满足最小置信度且形如2 S 的规则。 1S 5.分布式数据的关联规则挖掘方法： 第一．在每一个站点挖掘局部频繁项集，设CF为四个站点的局部频繁项集的并集； 第二．计算CF中每个频繁项集在各个站点的支持度计数；
数据挖掘的基本流程
CRISP-DM (cross-industry standard process for data mining), 即为"跨行业数据挖掘过程标准". 此KDD过程模型于1999年欧盟机构联合起草. 通过近几年的发展,CRISP-DM 模型在各种KDD过程模型中占据领先位置,采用量达到近60%.(数据引自Cios and Kurgan于2005年合著的论文trands in data mining and knowledge discovery中) 在1996年，当时数据挖掘市场是年轻而不成熟的，但是这个市场显示了爆炸式的增长。三个在这方面经验丰富的公司DaimlerChrysler、SPSS、NCR发起建立一个社团，目的建立数据挖掘方法和过程的标准。在获得了EC （European Commission）的资助后，他们开始实现他们的目标。为了征集业界广泛的意见共享知识，他们创建了CRISP-DM Special Interest Group（简称为SIG）。 大概在1999年，SIG（CRISP-DM Special Interest Group）组织开发并提炼出CRISP-DM，同时在Mercedes-Benz和OHRA（保险领域）企业进行了大规模数据挖掘项目的实际试用。SIG还将CRISP-DM和商业数据挖掘工具集成起来。SIG组织目前在伦敦、纽约、布鲁塞尔已经发展到200多个成员。2000年，CRISP-DM 1.0版正式推出，应该说CRISP-DM是实际项目的经验总结和理论抽象。CRISP-DM 强调，DM不单是数据的组织或者呈现，也不仅是数据分析和统计建模，而是一个从理解业务需求、寻求解决方案到接受实践检验的完整过程。 CRISP-DM的六个阶段 CRISP-DM过程描述 CRISP-DM 模型为一个KDD工程提供了一个完整的过程描述。一个数据挖掘项目的生命周期包含六个阶段。这六个阶段的顺序是不固定的，我们经常需要前后调整这些阶段。这依赖每个阶段或是阶段中特定任务的产出物是否是下一个阶段必须的输入。上图中箭头指出了最重要的和依赖度高的阶段关系。 上图的外圈象征数据挖掘自身的循环本质――在一个解决方案发布之后一个数据挖掘的过程才可以继续。在这个过程中得到的知识可以触发新的，经常是更聚焦的商业问题。后续的过程可以从前一个过程得到益处。 业务理解（Business Understanding）
数据挖掘的流程及应用
数据挖掘的流程 （1）确定业务对象 清晰地定义出业务问题，认清数据挖掘的目的是数据挖掘的重要一步。挖掘的最后结构是不可预测的，但要探索的问题应是有预见的，为了数据挖掘而数据挖掘则带有盲目性，是不会成功的。 （2）数据准备 数据的选择：搜索所有与业务对象有关的内部和外部数据信息，并从中选择出适用于数据挖掘应用的数据。 数据的预处理：研究数据的质量，为进一步的分析作准备.并确定将要进行的挖掘操作的类型。 数据的转换：将数据转换成一个分析模型.这个分析模型是针对挖掘算法建立的.建立一个真正适合挖掘算法的分析模型是数据挖掘成功的关键。 （3）数据挖掘 对所得到的经过转换的数据进行挖掘.除了完善从选择合适的挖掘算法外，其余一切工作都能自动地完成。 （4）分析和同化 结果分析：解释并评估结果，其使用的分析方法一般应作数据挖掘操作而定，通常会用到可视化技术。 知识的同化：将分析所得到的知识集成到业务信息系统的组织结构中去。 5）数据挖掘在CRM中的应用 从客户生命周期角度分析数据挖掘技术的应用 从行业角度分析数据挖掘技术的应用 （1）从客户生命周期角度分析数据挖掘技术的应用 在客户生命周期的过程中，各个不同的阶段包含了许多重要的事件。数据挖掘技术可以应用于客户生命周期的各个阶段提高企业客户关系管理能力，包括争取新的客户，让已有的客户创造更多的利润、保持住有价值的客户等等。 a 潜在客户期市场活动及数据挖掘应用 潜在客户获得活动是针对目标市场的营销活动，寻找对企业产品或服务感兴趣的人。值得注意的是，在这个阶段缺乏客户数据。数据挖掘可以把以前的客户对类似活动的响应进行挖掘，从而把市场活动重点锁定在以前的响应者身上。一个更好的方法就是寻找和高价值的客户类似的潜在客户——只要一次就获得正确的客户。通常，获得活动使用广告和其它
数据挖掘的基本步骤
卜庆峰《网络营销》 数据挖掘的基本步骤 数据挖掘的步骤会随不同领域的应用而有所变化，每一种数据挖掘技术也会有各自的特性和使用步骤，针对不同问题和需求所制定的数据挖掘过程也会存在差异。此外，数据的完整程度、专业人员的支持程度等都会对建立数据挖掘过程有所影响。这些因素造成了数据挖掘在各不同领域中的运用、策划，以及流程的差异性，即使同一产业，也会因为分析技术和专业知识的摄入程度不同而不同，因此对于数据挖掘的系统化、标准化就显得格外重要。如此一来，不仅可以较容易的跨领域应用，也可以结合不同的专业知识，发挥数据挖掘的真正精神。数据挖掘完整的步骤如下： （1) 理解数据和数据局的来源（Understanding) （2) 获取相关知识与技术（Acquisition) （3) 整合与检查数据（Integration and Checking) （4) 去除错误或不一样的数据（Data Cleaning) （5) 建立模型与假设（Model and Hypothesis Development) （6) 实际数据挖掘工作（Data Mining） （7) 测试和验证挖掘结果（Testing and Verification) （8) 解释和应用（Interpretation and Use) 由上述步骤可以看出，数据挖掘牵涉了大量的准备工作和规划工作，事实上许多专家都认为在整套数据挖掘的过程中，有80%的时间和精力是花费在数据预处理阶段的，其中包括数据的净化、数据格式转换、变量整合，以及数据表的链接。可见，在进行数据挖掘技术的分析之前，还有许多准备工作要完成。 参考文献：卜庆峰《网络营销》 130401101刘超 130401101刘超
数据仓库与数据挖掘课后习题答案
数据仓库与数据挖掘 第一章课后习题 一：填空题 1）数据库中存储的都是数据，而数据仓库中的数据都是一些历史的、存档的、归纳的、计算的数据。 2）数据仓库中的数据分为四个级别：早起细节级、当前细节级、轻度综合级、高度综合级。3）数据源是数据仓库系统的基础，是整个系统的数据源泉，通常包括业务数据和历史数据。 4）元数据是“关于数据的数据”。根据元数据用途的不同将数据仓库的元数据分为技术元数据和业务元数据两类。 5）数据处理通常分为两大类：联机事务处理和联机事务分析 6）Fayyad过程模型主要有数据准备，数据挖掘和结果分析三个主要部分组成。 7）如果从整体上看数据挖掘技术，可以将其分为统计分析类、知识发现类和其他类型的数据挖掘技术三大类。 8）那些与数据的一般行为或模型不一致的数据对象称做孤立点。 9）按照挖掘对象的不同，将Web数据挖掘分为三类：web内容挖掘、web结构挖掘和web 使用挖掘。 10）查询型工具、分析型工具盒挖掘型工具结合在一起构成了数据仓库系统的工具层，它们各自的侧重点不同，因此适用范围和针对的用户也不相同。 二：简答题 1）什么是数据仓库？数据仓库的特点主要有哪些？ 数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。 主要特点：面向主题组织的、集成的、稳定的、随时间不断变化的、数据的集合性、支持决策作用 2）简述数据挖掘的技术定义。 从技术角度看，数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的实际数据
中，提取隐含在其中的、人们不知道的、但又是潜在有用的信息和知识的过程。 3）什么是业务元数据？ 业务元数据从业务角度描述了数据仓库中的数据，它提供了介于使用者和实际系统之间的语义层，使得不懂计算机技术的业务人员也能够读懂数据仓库中的数据 4）简述数据挖掘与传统分析方法的区别。 本质区别是：数据挖掘是在没有明确假设的前提下去挖掘信息、发现知识。数据挖掘所得到的信息应具有先前未知、有效和实用三个特征。 5）简述数据仓库4种体系结构的异同点及其适用性。 a.虚拟的数据仓库体系结构 b.单独的数据仓库体系结构 c.单独的数据集市体系结构 d.分布式数据仓库结构 第二章课后习题 一：填空题 1）模型是对现实世界进行抽象的工具。在信息管理中需要将现实世界的事物及其有关特征转换为信息世界的数据才能对信息进行处理与管理，这就需要依靠数据模型作为这种转换的桥梁。 2）数据仓库模型设计包括概念、逻辑、物理、元数据模型设计等内容。 3）现实世界是存在于现实之中的各种客观事物。概念世界是现实情况在人们头脑中的反应。逻辑世界是人们为将存在于自己头脑中的概念模型转换到计算机中的实际的物理存储过程中的一个计算机逻辑表示模式。计算机世界则是指现实世界中的事物在计算机系统中的实际存储模式。
医学数据挖掘..doc
第一章 一．填空 1．数据挖掘和知识发现的三大主要技术为：数据库、统计学、机器学习 2．数据挖掘获得知识的表现形式主要有6种：规则、决策树、知识基网络权值、公式、案例 3．规则是由前提条件、结论两部分组成 4．基于案例推理CBR的基础是案例库 5．知识发现的基本步骤：数据选择、处理、转换、数据挖掘、解释与评价。数据挖掘是知识发现的关键步骤 6．数据挖掘的核心技术是：人工智能、机器学、统计学 7.目前数据挖掘在医学领域的应用集中在疾病辅助诊断、药物开发、医院信息系统、遗传学等方面 二．名解 1．数据挖掘DM：在数据中正规的发现有效的、新颖的、潜在有用的、并且最终可以被读懂的模式的过程 2．案例推理CBR：当要解决一个新问题时，CBR利用相似性检索技术到案例库中搜索与新问题相似的案例，再经过对就案例的修改来解决新问题 三．简答 1．数据挖掘的特点 a挖掘对象是超大型的DB，b发现隐含的知识，c可以用于增进人类认知的知识，d不是手工完成的 2．案例是解决新问题的一种知识，案例知识表示为三元组 a问题描述：对求解的问题及周围环境的所有特征的描述，b解描述：对问题求解方案的描述，c效果描述：描述解决方案后的结果情况，是失败还是成功 3．医学数据挖掘存在的关键问题 a数据预处理，b信息融合技术，c快速的鲁棒的书库挖掘算法，d提供知识的准确性和安全性 4．数据挖掘在遗传学方面的应用 遗传学的研究表明，遗传疾病的发生是由基因决定的，基因数据库搜索技术在基因研究上做出了很多重大发现，其工作主要包括：a从各种生物体的大量DNA序列中定位出具有某种功能的基因，b在基因DB中搜索与某种具有高阶结构或功能的蛋白质相似的高阶结构序列 第二章 一．填空 1．DM的对象分为：关系型DB、数据仓库、文本DB、复杂类型DB 2．从用户角度来看，数据仓库的基本组成包括：数据源、数据存储、应用工具、可视化用户界面 3．数据仓库是最流行的数据模型是多维数据模型，多维数据模型将数据看作是数据立方体的形式，数据立方体是由维和事实来定义 4．常用的多维数据模式包括：星型模式、雪花模式、事实星座模式。星型模式是由事实表和维表构成 5．WEB ＤＭ分为：ＷＥＢ内容挖掘、ＷＥＢ结构挖掘、ＷＥＢ使用挖掘 二．名解 １．数据仓库：一个面向主题的、集成的、时变的、非易失的数据集合，用以支持管理活动
数据挖掘的基本流程
数据挖掘的基本流程-标准化文件发布号：（9456-EUATWK-MWUB-WUNN-INNUL-DDQTY-KII
数据挖掘的基本流程 数据挖掘有很多不同的实施方法，如果只是把数据拉到Excel表格中计算一下，那只是数据分析，不是数据挖掘。本节主要讲解数据挖掘的基本规范流程。CRISP-DM和SEMMA是两种常用的数据挖掘流程。 2.5.1数据挖掘的一般步骤 从数据本身来考虑，数据挖掘通常需要有信息收集、数据集成、数据规约、数据清理、数据变换、数据挖掘实施过程、模式评估和知识表示8个步骤。 步骤（1）信息收集：根据确定的数据分析对象，抽象出在数据分析中所需要的特征信息，然后选择合适的信息收集方法，将收集到的信息存入数据库。对于海量数据，选择一个合适的数据存储和管理的数据仓库是至关重要的。 步骤（2）数据集成：把不同来源、格式、特点性质的数据在逻辑上或物理上有机地集中，从而为企业提供全面的数据共享。 步骤（3）数据规约：如果执行多数的数据挖掘算法，即使是在少量数据上也需要很长的时间，而做商业运营数据挖掘时数据量往往非常大。数据规约技术可以用来得到数据集的规约表示，它小得多，但仍然接近于保持原数据的完整性，并且规约后执行数据挖掘结果与规约前执行结果相同或几乎相同。 步骤（4）数据清理：在数据库中的数据有一些是不完整的（有些感兴趣的属性缺少属性值）、含噪声的（包含错误的属性值），并且是不一致的（同样的信息不同的表示方式），因此需要进行数据清理，将完整、正确、一致的数据信息存入数据仓库中。不然，挖掘的结果会差强人意。 步骤（5）数据变换：通过平滑聚集、数据概化、规范化等方式将数据转换成适用于数据挖掘的形式。对于有些实数型数据，通过概念分层和数据的离散化来转换数据也是重要的一步。 步骤（6）数据挖掘过程：根据数据仓库中的数据信息，选择合适的分析工具，应用统计方法、事例推理、决策树、规则推理、模糊集，甚至神经网络、遗传算法的方法处理信息，得出有用的分析信息。 步骤（7）模式评估：从商业角度，由行业专家来验证数据挖掘结果的正确性。 步骤（8）知识表示：将数据挖掘所得到的分析信息以可视化的方式呈现给用户，或作为新的知识存放在知识库中，供其他应用程序使用。
如何做数据挖掘
数据挖掘工作咋开展？记住这六步：：定义商业问题、数据准备、数据理解、建立模型、评估模型、应用/部署模型 快要过年了，年底却不亦乐呼，就写写我对数据挖掘过程的体会吧！ Step1. 就是商业问题的理解了，那么如何更好的理解“老大”提出的商业问题困惑呢？我觉得思维导图倒是个不错的选择，当然自己要想更好的理解“老大”的意思还需要进一步的沟通，商业问题的理解关系到这个挖掘项目的价值，甚至成败，所以在这块大家要显得“外向”一些，多交流、多沟通、多了解这个商业问题背后的东东；
step2. 接下来就是需要提取的字段，也就是数据挖掘的宽表，这点就要和企业的DBA人员多多交流，看数据库中各个维度的表格都有什么字段，主要关联的主键有那些，那么如何选取字段呢？这就需要自己把自己与“老大”共同讨论的思维导图拿出来看看，这样就有提取那些字段的感觉了，这部分大多数的提取是自己对商业问题的感觉或者一些前辈的经验； Step3 数据的ETL，这部分一般的时间占数据挖掘项目的70%左右，为什么数据的ETL如此重要呢？万丈高楼平地起，如果连地基都是“豆腐渣工程”的话，那么再华丽的楼房也没人愿意掏腰包；嘿嘿，开个玩笑；数据的ETL主要是一些异常值、空值（miss值）、错误数值的处理，这部分一般需要根据数据自身的分布、简单的统计知识、该字段体现的业务特点、自己的经验进行的，也就是这一部分的处理主要是统计知识+项目经验+业务特点；
Step4 建立模型所需要的变量如何选？当然目标变量（Y）一般都是事前设定好的，那么X如何找呢？大多数都是应用相关分析、特征选择、描述性的统计图表（分箱图、散点图等），这里我只想说一句算法是死的，有时候我们根据算法得出来的X对Y没有影响，但在实际的业务中影响却很大，所以大家不要过于依赖算法、工具，我曾经因为这点，被人批了，555~~~~~ Step5 建立数据挖掘模型，这块是许多同行相当痴迷的地方，我也不例外，记得大学毕业去北京的时候，就在咨询公司研究算法什么的，后来经过leader的几次谈话，自己才慢慢走出了误区；一句话，我们追求的是模型带来的效益，所以没那么多时间去玩模型、搞算法；但是作为数据挖掘从业者，最基本的应该是了解各种算法的原理，还有一些数据挖掘模型参数的意义，比如在spss clementine中就有自定义和专家两个供大家选择，所以掌握一些参数的意义也是有必要的，大家可以上网下一些人大数据挖掘的视频教程，里面讲的比较详细；
数据挖掘模型训练,预测过程使用说明
数据挖掘模型训练，预测过程使用说 明 作者：张青松
目录 1. 模型训练 (2) 1.1. 输入数据 (2) 1.1.1. 文件读取数据 (2) 1.1.2. 数据库读取数据 (2) 1.2. 训练模型 (3) 2. 模型预测 (3) 2.1. 输入预测数据 (3) 2.2. 使用预测模型进行预测 (3) 2.3. 查看训练结果 (4) 摘要 一个数据挖掘完整的工作流包含训练和预测两个过程。 1)模型训练过程包含：输入训练数据、使用训练模型训练，得到预测模型。 2)预测过程包含：输入预测数据、使用训练得到的预测模型进行预测。 1.模型训练 1.1.输入数据 在DataStudio中，输入数据的方式分为两种： 1.1.1.文件读取数据 使用文件读取节点输入数据，在节点选择中的数据源页签中，选择文件节点。 根据文件读取节点使用说明设置，并读取数据： 1.1. 2.数据库读取数据 使用数据库节点输入数据，在节点选择中的数据源页签中，选择数据库节点。
根据数据库读取节点使用说明设置，并读取数据： 1.2.训练模型 根据实际需要在节点选择面板的建模页签下选择模型节点 图1 训练模型节点 在工作区中设置选中的模型参数，并点击执行，对开始训练，训练完成后在左下的模型窗口生成对应的训练结果。 图2 预测模型管理 各模型节点设置方法参照： 2.模型预测 2.1.输入预测数据 输入预测数据的方法仍然采用上文中1.1介绍的方法读取数据。 2.2.使用预测模型进行预测 对于训练生成的模型，主要分为两种：一种是生成的模型可以用于预测，这样的节点需
要输入预测数据，并进行设置，然后对未知的结果进行预测，比如指数平滑、ARIMA等。另一种节点是不需要预测，只需要查看训练结果，比如K-means、Apriori等。 为了统一工作流的工作方式，规定两种训练节点生成的模型采用相同的工作方式，即从模型管理面板拖入预测模型节点，连接数据源，设置，并运行。 预测模型的设置及运行方法见对应的节点使用说明： 图3 预测工作流 2.3.查看训练结果 对于2.2中介绍的两种预测模型节点，使用相同的方式查看结果。预测模型设置面板右肩上的执行并预览按钮查看预测模型的结果的二维表，或者执行后在预测模型的右键菜单中的“预览：预测结果集”菜单查看结果。 图4 右肩执行预览按钮 图5 右键预览结果集 为了更加直观的查看预测结果，可以选择使用可视化节点，以图形的方式展示预测结果。
数据挖掘的基本流程
数据挖掘的基本流程 数据挖掘有很多不同的实施方法，如果只是把数据拉到Excel表格中计算一下，那只是数据分析，不是数据挖掘。本节主要讲解数据挖掘的基本规范流程。CRISP-DM和SEMMA是两种常用的数据挖掘流程。 数据挖掘的一般步骤 从数据本身来考虑，数据挖掘通常需要有信息收集、数据集成、数据规约、数据清理、数据变换、数据挖掘实施过程、模式评估和知识表示8个步骤。 步骤（1）信息收集：根据确定的数据分析对象，抽象出在数据分析中所需要的特征信息，然后选择合适的信息收集方法，将收集到的信息存入数据库。对于海量数据，选择一个合适的数据存储和管理的数据仓库是至关重要的。 步骤（2）数据集成：把不同来源、格式、特点性质的数据在逻辑上或物理上有机地集中，从而为企业提供全面的数据共享。 步骤（3）数据规约：如果执行多数的数据挖掘算法，即使是在少量数据上也需要很长的时间，而做商业运营数据挖掘时数据量往往非常大。数据规约技术可以用来得到数据集的规约表示，它小得多，但仍然接近于保持原数据的完整性，并且规约后执行数据挖掘结果与规约前执行结果相同或几乎相同。 步骤（4）数据清理：在数据库中的数据有一些是不完整的（有些感兴趣的属性缺少属性值）、含噪声的（包含错误的属性值），并且是不一致的（同样的信息不同的表示方式），因此需要进行数据清理，将完整、正确、一致的数据信息存入数据仓库中。不然，挖掘的结果会差强人意。 步骤（5）数据变换：通过平滑聚集、数据概化、规范化等方式将数据转换成适用于数据挖掘的形式。对于有些实数型数据，通过概念分层和数据的离散化来转换数据也是重要的一步。 步骤（6）数据挖掘过程：根据数据仓库中的数据信息，选择合适的分析工具，应用统计方法、事例推理、决策树、规则推理、模糊集，甚至神经网络、遗传算法的方法处理信息，得出有用的分析信息。 步骤（7）模式评估：从商业角度，由行业专家来验证数据挖掘结果的正确性。 步骤（8）知识表示：将数据挖掘所得到的分析信息以可视化的方式呈现给用户，或作为新的知识存放在知识库中，供其他应用程序使用。
什么是数据挖掘
什么是数据挖掘 数据挖掘(Data Mining)，又称为数据库中的知识发现(Knowledge Discovery in Database, KDD)，就是从大量数据中获取有效的、新颖的、潜在有用的、最终可理解的模式的非平凡过程，简单的说，数据挖掘就是从大量数据中提取或“挖掘”知识。 并非所有的信息发现任务都被视为数据挖掘。例如，使用数据库管理系统查找个别的记录，或通过因特网的搜索引擎查找特定的Web页面，则是信息检索（information retrieval）领域的任务。虽然这些任务是重要的，可能涉及使用复杂的算法和数据结构，但是它们主要依赖传统的计算机科学技术和数据的明显特征来创建索引结构，从而有效地组织和检索信息。尽管如此，数据挖掘技术也已用来增强信息检索系统的能力。 数据挖掘的起源 为迎接前一节中的这些挑战，来自不同学科的研究者汇集到一起，开始着手开发可以处理不同数据类型的更有效的、可伸缩的工具。这些工作建立在研究者先前使用的方法学和算法之上，在数据挖掘领域达到高潮。特别地，数据挖掘利用了来自如下一些领域的思想：(1) 来自统计学的抽样、估计和假设检验，(2) 人工智能、模式识别和机器学习的搜索算法、建模技术和学习理论。数据挖掘也迅速地接纳了来自其他领域的思想，这些领域包括最优化、进化计算、信息论、信号处理、可视化和信息检索。 一些其他领域也起到重要的支撑作用。特别地，需要数据库系统提供有效的存储、索引和查询处理支持。源于高性能（并行）计算的技术在处理海量数据集方面常常是重要的。分布式技术也能帮助处理海量数据，并且当数据不能集中到一起处理时更是至关重要。 数据挖掘能做什么 1)数据挖掘能做以下六种不同事情（分析方法）： ·分类（Classification） ·估值（Estimation） ·预言（Prediction） ·相关性分组或关联规则（Affinity grouping or association rules） ·聚集（Clustering） ·描述和可视化（Des cription and Visualization） ·复杂数据类型挖掘(Text, Web ,图形图像，视频，音频等) 2)数据挖掘分类
数据挖掘试题
For personal use only in study and research; not for commercial use 单选题 1. 某超市研究销售纪录数据后发现，买啤酒的人很大概率也会购买尿布，这种属于数据挖掘的哪类问题？(A) A. 关联规则发现 B. 聚类 C. 分类 D. 自然语言处理 3. 将原始数据进行集成、变换、维度规约、数值规约是在以下哪个步骤的任务？(C) A. 频繁模式挖掘 B. 分类和预测 C. 数据预处理 D. 数据流挖掘 4. 当不知道数据所带标签时，可以使用哪种技术促使带同类标签的数据与带其他标签的数据相分离？(B) A. 分类 B. 聚类 C. 关联分析 D. 隐马尔可夫链 6. 使用交互式的和可视化的技术，对数据进行探索属于数据挖掘的哪一类任务？（A） A. 探索性数据分析 B. 建模描述 C. 预测建模 D. 寻找模式和规则 11.下面哪种不属于数据预处理的方法？ (D) A变量代换 B离散化 C 聚集 D 估计遗漏值 12. 假设12个销售价格记录组已经排序如下：5, 10, 11, 13, 15, 35, 50, 55, 72, 92, 204, 215 使用如下每种方法将它们划分成四个箱。等频（等深）划分时，15在第几个箱子内？ (B) A 第一个 B 第二个 C 第三个 D 第四个 13.上题中，等宽划分时（宽度为50），15又在哪个箱子里？ (A) A 第一个 B 第二个 C 第三个 D 第四个 16. 只有非零值才重要的二元属性被称作：( C ) A 计数属性 B 离散属性 C非对称的二元属性 D 对称属性 17. 以下哪种方法不属于特征选择的标准方法： (D) A嵌入 B 过滤 C 包装 D 抽样 18.下面不属于创建新属性的相关方法的是： (B) A特征提取 B特征修改 C映射数据到新的空间 D特征构造 22. 假设属性income的最大最小值分别是12000元和98000元。利用最大最小规范化的方法将属性的值映射到0至1的范围内。对属性income的73600元将被转化为：(D) A 0.821 B 1.224 C 1.458 D 0.716 23.假定用于分析的数据包含属性age。数据元组中age的值如下（按递增序）：13，15，16，16，19，20，20，21，22，22，25，25，25，30，33，33，35，35，36，40，45，46，52，70, 问题：使用按箱平均值平滑方法对上述数据进行平滑，箱的深度为3。第二个箱子值为：(A) A 18.3 B 22.6 C 26.8 D 27.9 28. 数据仓库是随着时间变化的,下面的描述不正确的是 (C) A. 数据仓库随时间的变化不断增加新的数据内容; B. 捕捉到的新数据会覆盖原来的快照; C. 数据仓库随事件变化不断删去旧的数据内容; D. 数据仓库中包含大量的综合数据,这些综合数据会随着时间的变化不断地进行重新综合. 29. 关于基本数据的元数据是指: (D) A. 基本元数据与数据源,数据仓库,数据集市和应用程序等结构相关的信息; B. 基本元数据包括与企业相关的管理方面的数据和信息;