数据挖掘与知识发现(讲稿12---文本挖掘)
┊┊┊┊┊┊┊┊┊┊┊┊┊装┊┊┊┊┊订┊┊┊┊┊线┊┊┊┊┊┊┊┊┊┊┊┊┊第12章文本数据挖掘与Web挖掘技术
第1节文本挖掘概述
1.1 文本挖掘的出现
在现实世界中，我们面对的数据大都是文本数据，这些数据是由各种数据源（如新闻文章、研究论文、书籍、数字图书馆、电子邮件和Web页面等）的大量文档组成。所以，随着文档信息量的飞速增长，文本数据的数据量也急剧地增长。
文本数据是所谓的半结构化数据（Semi-Structure Data），它既不是完全无结构的也不是完全结构化的。如，文档可能包含结构字段，比如：标题、作者、出版日期、长度、分类等，也可能包含大量的非结构化的文本，如摘要和内容。
文本挖掘（Text Mining），国外有人称之为文本数据挖掘（Text Data Mining）和文本分析（Text Analysis）。文本挖掘一词大约出现于1998年4月在欧洲举行的第十届机器学习会议上，组织者Kodratoff明确地定义了文本挖掘的概念，并分清它与“信息检索”的不同点和共同点。Kodratoff认为，文本挖掘的目的是从文档集合中搜寻知识，并不试图改进自然语言理解，并不要求对自然语言的理解达到多高水平，而只是想利用该领域的成果，试图在一定的理解水平上尽可能多地提取知识。因此，文本挖掘需要数据挖掘、语言学、数据库以及文本标引和理解方面的专家参与。
我国于1998年在国家重点基础研究发展规划（“973计划”）首批实施项目中，包括了文本挖掘的内容。
1.2 文本挖掘的基本概念
1、概念
文本挖掘是一个从大量文本数据中提取以前未知的、可理解的、可操作的知识的过程。文本数据包括：技术报告、文档集、新闻、电子邮件、网页、用户手册等。
文本挖掘对单个文档或文档集（如，Web搜索中返回的结果集）进行分析，从中提取概念，并按照指定的方案组织、概括文档，发现文档集中重要的主题。它除了从文本中提取关键词外，还要提取事实、作者的意图、期望和主张等。这
┊┊┊┊┊┊┊┊┊┊┊┊┊装┊┊┊┊┊订┊┊┊┊┊线┊┊┊┊┊┊┊┊┊┊┊┊┊些知识对许多，如市场营销、趋势分析、需求处理等，都是很有用的。
2、任务
主要任务有：
（1）文本标引和短语提取，即在读取大量的非结构化文本时，应用自然语言处理技术提取文本，集中所有相关的短语。提取时要处理同义词和
词义模糊现象。可以形象地把文本挖掘看作是一支荧光笔，它通读文
本时高亮度显示有关的短语，这些短语放在一起就可以得到对文本的一
个较好的理解。
（2）概念提取（聚类），即对这些短语之间的关系，建立一个“词汇网”；
将相关短语分组，并增强这些组中最重要的特征；最后得到的模式反映
了该文本集中的主要概念。然后，通过提取出的概念集发现未知的知识。
（3）可视化显示和导航。对挖掘得来的信息（词频、相关概率、时事性话题、地域依赖信息、时间序列等），可以从多个视角出发进行分析。
3、文本挖掘与数据挖掘
相似点在于：两者都处理大量的数据，都有归属到知识管理的知识发现领域中。
差别在于：许多经典的数据挖掘算法，如数值预测、决策树等都不太适用于文本挖掘，因为它们依赖于结构化的数据。而像概念关系分析等工作则是文本挖掘所独有的，如表所示。
1.3 文本挖掘与信息检索
信息检索是文本挖掘相关的一个概念，但它与文本挖掘又是不同的两个概念。
信息检索是指从大量的文档集合C中，找到与给定的查询请求q相关的、恰当
┊┊┊┊┊┊┊┊┊┊┊┊┊装┊┊┊┊┊订┊┊┊┊┊线┊┊┊┊┊┊┊┊┊┊┊┊┊数目的文档子集S的过程。区别主要表现在如下几个方面：
（1）方法论不同
信息检索是目标驱动的，用户需要明确提出查询要求；而文本挖掘结果独立于用户的信息需求，是用户所无法预知的。
（2）着眼点不同
信息检索着重于文档中字与词和链接；而文本挖掘在于理解文本的内容和结构。
（3）目的不同
信息检索的目的在于帮助用户发现资源，即从大量的文本中找到满足其查询请求的文本子集；而文本挖掘是为了揭示文本中隐含的知识。
（4）评价方法不同
信息检索用查准率（Precision, 检索到的文档中的相关文档占全部检索到的文档的百分比）和查全率（Recall, 即被检索出的文档中的相关文档占全部相关文档的百分比）来评价其性能，要求尽可能多的检索出相关文档，同时不相关的文档尽可能少。而文本挖掘采用收益（Gain）、置信度（Certainty）、简洁性（Simplicity）等来衡量所发现知识的有效性、可用性和可理解性。
（5）使用场合不同
有时信息检索系统返回太多的结果以致用户无法一一浏览，有时用户没有明确的信息需求，有时用户希望发现文档集合中所具有的结构、趋势、含义，在这些场合下，就需要使用挖掘技术。
尽管文本挖掘是比信息检索层次更高的技术，但它并不是用来取代信息检索技术的，二者是相辅相成的。一方面，这两种技术各有所长，有各自适用的场合；另一方面，可以利用文本挖掘的研究成果来提高信息检索的精度和效率，改善检索结果的组织，使信息检索系统发展到一个新的水平。
第2节文本特征表示与提取
2.1 文本特征的表示
与数据库中的结构化数据相比，文档具有有限的结构，或者根本就没有结构。即使具有一些结构，也是着重于格式，而非文档内容。不同类型的文档结构也不一致。
┊┊┊┊┊┊┊┊┊┊┊┊┊装┊┊┊┊┊订┊┊┊┊┊线┊┊┊┊┊┊┊┊┊┊┊┊┊此外，文档的内容是人类所使用的自然语言，计算机很难处理其语义。文本信息源的这些特殊性使得现有的数据挖掘技术无法直接应用于其上。这就需要对文本进行预处理，抽取其特征的元数据。这些特征可以用结构化的形式保存，作为文档的中间表示形式。
文本的特征指的是关于文本的元数据，分为：
（1）描述性特征，如文本的名称、日期、大小、类型等；
（2）语义性特征，如文本的作者、机构、标题、内容等；
一般，描述性特征易于获得，而语义性特征则较难得到。W3C(中国万维网联盟)近年来制定的XML（Extensible Markup Language, 可扩展标记语言）、RDF（Resource Description Framework, 一种用于描述Web资源的标记语言）等规范提供了对文档资源进行描述的语言和框架。在此基础上，可以从半结构化的文档中抽取作者、机构等特征。对于内容这个难以表示的特征，首先要找到一种能够被计算机所处理的表示方法。
矢量空间模型（VSM）是近年来应用较多且效果较好的表示文本特征的方法。在该模型中，文档空间被看作是由一组正交词条矢量所张成的矢量空间，每个文档d表示为其中的一个范化特征矢量：
))
(
,
;
);
(
,
;
);
(
,
(
)
(
1
1
d
w
t
d
w
t
d
w
t
d
V
n
n
i
i
=
其中，
i
t为词条项，)
(d
w
i
为
i
t在d中的权值。i t可以是d中出现的所有单词，也可以是d中出现的所有短条，从而提高内容特征表示的准确性。)
(d
w
i
一般被定义为
i
t 在d中出现的频率)
(d
f
i
t
的函数，即))
(
(
)
(d
f
d
w
i
t
i
?
=。常用的?有：（1）布尔函数
??
?
?
?
=
>
=
)
(
)
(
1
d
f
d
f
i
i
t
t
?
（2）平方根函数
)
(d
f
i
t
=
?
（3）对数函数
)1
)
(
l o g(+
=d
f
i
t
?
（4）TFIDF函数
)
l o g(
)
(
i
t n
N
d
f
i
?
=
?
┊┊┊┊┊┊┊┊┊┊┊┊┊装┊┊┊┊┊订┊┊┊┊┊线┊┊┊┊┊┊┊┊┊┊┊┊┊其中，N为所有文档的数目，
i
n为含有词条i t的文档数目。
2.2 文本的特征提取
特征提取主要是识别文本中代表其特征的词项。提取过程是自动的，提取的特征大部分是文本集中表示的概念。
文本特征分为一般特征和数字特征，其中一般特征主要包括动词和名词短语，如人名、组织名等；数字特征主要包括日期、时间、货币以及单纯数字信息。这些特征包含重要的信息，因此特征提取是一种强有力的文本挖掘技术。通过文本的特征抽取，记录文本的特征，可以更好地组织文本，如文本的存储、检索、过滤、分类和摘要等。
中文姓名识别属于中文信息处理中未登录词处理的范畴，中文姓名在文章中的出现频率虽然不高，但绝非可以忽略，因为中文姓名本身包含着重要的信息，它可能是整个句子甚至整个段落的语义中心，如果不予处理，将影响文本挖掘的性能。数字特征反映一定的信息，但不能表达文本的中心思想，通常只作为文本挖掘中的参考信息。姓名特征提取算法所提取的姓名特征，作为文本内容的特征表示。
构成文本的词汇，通常数量很大，因此表示文本的向量空间的维数也相当大，可以达到几万维，需要压缩维数。
为了提高分类精度，对于每一类，应去除那些表现力不强的词汇，筛选出针对该类的特征项集合。目前，存在多种筛选特征项的算法，如根据词和类别的互信息量判断、根据词熵判断、根据KL距离判断等。
比如，根据词和类别的互信息量进行特征项抽取的判断标准，其算法过程如下：（1）初始情况下，该特征项集合包含所有该类中出现的词；
（2）对于每个词，计算词和类别的互信息量
)
)
(
)
|
(
l o g(
W
P
C
W
P
j
其中，
∑∑
∑
==
=
+
+
=
|
|
1
|
|
1
|
|
1
)
,
(
|
|
)
,
(
1
)
|
(
V
s
D
i
i
s
D
i
i
j
d
W
N
V
d
W
N
C
W
P；)
|
(
j
C
W
P为W在j C类中出现的比重；|
|D为该类的训练样本数；)
,
(
i
d
W
N为词W在文本i d中的词频；|
|V 为总词汇；∑∑
==
|
|
1
|
|
1
)
,
(
V
s
D
i
i
s
d
W
N为该类所有词的词频和；)
(W
P为词W在所有训练样本中的比重。
┊┊┊┊┊┊┊┊┊┊┊┊┊装┊┊┊┊┊订┊┊┊┊┊线┊┊┊┊┊┊┊┊┊┊┊┊┊
（3）对于该类中的所有词，依据上面计算的互信息量排序；
（4）抽取一定数量的词作为特征项，具体需要抽取多少维的特征项，目前无很好的解决方法。一般采用先定初始值，然后根据实验测试和统计结果确定
最佳值，初始值一般定在几千左右；
（5）将每类中所有的训练样本，根据抽取的特征项，进行向量维数压缩，精简向量表示。
第3节文本挖掘
3.1 文本分类
文档分类是一种重要的文本挖掘工作，由于现在存在大量的联机文档，自动对其分类组织以便对文档的检索和分析，是至关重要的。
如何进行文档的自动分类？一般做法如下：
首先，把一组预先分类过的文档作为训练集；然后对训练集进行分析以便得出分类模式。这种分类模式通常需要一定的测试过程，不断地细化。之后就用这些导出的分类模式对其他联机文档加以分类。
这一处理过程与关系数据的分类相似，但还是存在本质的区别。因为，关系数据是结构化的，而文档数据库则不是结构化的，它没有“属性，值”对的结构。因此，对关系数据的分类方法，如决策树分析，并不适用对文档数据库的分类。
对文档分类的有效方法是基于关联的分类，它基于一组关联的、经常出现的文本模式对文档加以分类。基于关联的分类方法处理过程如下：
（1）通过简单的信息检索技术和关联分析技术，提出关键词和词汇；
（2）使用已经有的词类，或基于专家知识，或使用某些关键字分类方法，生成关键字和词的概念层次，或类层次结构。
（3）词关联挖掘方法用于发现关联词，它可以最大化区分一类文档与另一类文档。这导致了对每一类文档，有一组关联规则。这些分类规则可以基于其
出现频率加以排序，并用于对新的文档的分类。
基于关联的文档分类方法已经证明是有效的。
文本分类是一种典型的有教师的机器学习问题，一般分为训练和分类两个阶段。具体过程如下：
（1）训练阶段
┊┊┊┊┊┊┊┊┊┊┊┊┊装┊┊┊┊┊订┊┊┊┊┊线┊┊┊┊┊┊┊┊┊┊┊┊┊
①定义类别集合}
,
,
,
{
2
1m
c
c
c
C
=，这些类别可以是层次式的，也可以是并列式的；
②给出训练文档集合}
,
,
,
{
2
1n
s
s
s
S
=，每个训练文档j s被标上所属的类别标识i
c；
③统计S中所有文档的特征矢量)
(
j
s
V，确定代表C中每个类别的特征矢量)
(
i
c
V
（2）分类阶段
①对于测试文档集合}
,
,
,
,
{
1r
k
d
d
d
T
=中的每个待分类文档k d，计算其特征矢量)
(
k
d
V与每个)
(
i
c
V之间的相似度)
,
(
i
k
c
d
sim；
②选取相似度最大的一个类别)
,
(
max
arg
i
k
C
c
c
d
sim
i
∈
作为
k
d的类别。
注：在计算)
,
(
i
k
c
d
sim时，有多种方法可供选择。最简单的方法是仅考虑两个特征矢量中所包含的词条的重叠程度，即：
)
,
(
)
,
(
)
,
(
0i
k
i
k
i
k c
d
n
c
d
n
c
d
sim=
其中，)
,
(
i
k
c
d
n是)
(
k
d
V和)
(
i
c
V具有相同词条的数目；)
,
(
0i
k
c
d
n是)
(
k
d
V和)
(
i
c
V具有的所有词条数目。
最常用的方法，是考虑两个特征矢量之间的夹角余弦。
3.2 关联分析
关联分析首先要对文本数据进行分析、词根处理、去除非用词等预处理，然后调用关联挖掘算法。
在文档数据库中，每一个文档被视为一个事务，文档中的关键字组可视为事务中的一组事务项。即数据库可表示为：
{document_id, a_set_of_keywords}
于是，文档数据库中的关键字关联挖掘问题，就变成事务数据库中事务项的关联挖掘问题。
注意：一组经常连续出现或紧密相关的关键字可形成一个词或词组。关联挖掘有助于找出复合关联，即领域相关的词或词组。如，[科技大学，大学] 或 [总统，布什]，或非复合词关联，如[美元，参股，交易，总额，佣金，赌注，证券]。基于这些关联的挖掘称为“词级关联挖掘”（相对应的是字级的挖掘）。
┊┊┊┊┊┊┊┊┊┊┊┊┊装┊┊┊┊┊订┊┊┊┊┊线┊┊┊┊┊┊┊┊┊┊┊┊┊
词的识别和词级关联在文本分析中有两个优点：
（1）词和词组被自动标记，无需人去标记文档；
（2）挖掘算法的执行时间和无意义的结果将极大减少。
利用这种词和词组的识别，词级挖掘可以用于找出词或关键字间的关联。一些用户可能喜欢从给定关键字或词组中找出关键字或词对之间的关联，而有些用户可能希望找出一起出现的最大词集。因此，根据用户挖掘的需要，可以使用关联挖掘或最大模式挖掘算法。
3.3 文档聚类
文本聚类是一种典型的无教师的机器学习问题。目前的文本聚类方法大致可分为：层次凝聚法和平面划分法两种类型。
1、层次凝聚法
对于给定的文档集合}
,
,
,
,
{
1n
i
d
d
d
D
=，层次凝聚法的具体过程如下：
（1）将D中的每个文档
i
d看作是一个具有单成员的簇}
{
i
i
d
c=，这些簇构成了D的一个聚类}
,
,
,
,
{
1n
i
c
c
c
C
=；
（2）计算C中每对簇（
j
i
c
c,）之间的相似度)
,
(
j
i
c
c
sim；
（3）选取具有最大相似度的簇对)
,
(
max
arg
,
j
i
C
c
c
c
c
sim
j
i
∈
，并将
i
c和j c合并为一
个新的簇
j
i
k
c
c
c
=，从而构成了D的一个新的聚类
}
,
,
,
{
1
2
1-
=
n
c
c
c
C ；
（4）重复上述步骤，直至C中剩下一个簇为止。
该过程构造出一棵生成树，其中包含了簇的层次信息，以及所有簇内和簇间的相似度。层次聚类方法是最为常用的聚类方法，它能够生成层次化的嵌簇，且精确度较高。但是在每次合并时，需要全局地比较所有簇之间的相似度，并选择出最佳的两个簇，因此运行速度较慢，不适合于大量文档的集合。
2、平面划分法
平面划分法与层次凝聚法的区别在于，它将文档集合水平地分割为若干个簇，而不是生成层次化的嵌套簇。对于给定的文档集合}
,
,
,
,
{
1n
i
d
d
d
D
=，平面划分法的具体过程如下：
（1）确定要生成簇的数目k；
（2）按照某种原则，生成k个聚类中心作为聚类的种子}
,
,
,
,
{
1k
j
s
s
s
S
=；
┊┊┊┊┊┊┊┊┊┊┊┊┊装┊┊┊┊┊订┊┊┊┊┊线┊┊┊┊┊┊┊┊┊┊┊┊┊
（3）对D中每个文档
i
d，依次计算它与各个种子j s的相似度)
,
(
j
i
s
d
sim；
（4）选取具有最大相似度的种子)
,
(
max
arg
i
j
S
s
c
s
sim
j
∈
，将
i
d归入以j s为聚类中心
的簇
j
c，从而得到D的一个聚类}
,
,
,
{
2
1k
c
c
c
C
=；
（5）重复步骤（2）、（3）、（4）若干次，以得到较为稳定的聚类结果。该方法的运行速度较快，但是必须事先确定k的取值，且种子选取的好坏对聚类
结果有较大影响。
第4节Web挖掘
万维网目前是一个巨大的、分布广泛和全球性的信息服务中心，它涉及新闻、广告、消费信息、金融管理、教育、政府、电子商务和许多其他信息服务。Web还包含了丰富和动态的超链接信息，以及Web页面的访问和使用信息，这为数据挖掘提供了丰富的资源。所以，随着Internet的飞速发展，网上的数据资源空前的丰富。但是数据资源中蕴涵的知识却至今未能得到充分的挖掘和利用，数据丰富但知识贫乏的问题非常严重。在日益激烈的电子商务买方市场竞争中，任何与消费者行为有关的信息对商家来说都非常重要。
目前，大多数的用户从Web上获取信息的途径主要是通过搜索引擎或者通过浏览Web页面，搜索引擎虽然部分的解决了资源发现的问题，但其精确度不高，不能为用户提供结构化的信息，也不能提供文档分类、过滤等功能；而浏览Web页面在用户需要查找、查全大量的资料时，基本不能提供资源发现的功能，显然，这两种信息检索手段都不能满足用户的基本要求。
数据库领域采用了数据挖掘技术，以从大量数据的集合中发现有用的信息，但数据挖掘绝大部分工作所涉及的是结构化数据库，很少有处理Web上的异质、非结构化信息的工作。因此怎样从Web上大量的信息中有效的、快速的找出用户感兴趣的信息就成为一项重要而迫切的课题，人们也迫切需要这样一种能快速、有效地发现资源和知识的工具。近年来兴起的数据挖掘（Data Mining）技术在Web上的应用即Web 数据挖掘技术为解决这个问题带来了一线曙光。
从广义上讲，Web信息也是一类特别的文本信息，因此文本挖掘的各种技术也适合于W eb挖掘，但是由于Web信息自身的特点，文本挖掘和Web挖掘应该区别对待。
┊┊┊┊┊┊┊┊┊┊┊┊┊装┊┊┊┊┊订┊┊┊┊┊线┊┊┊┊┊┊┊┊┊┊┊┊┊4.1 什么是Web数据挖掘
Web数据挖掘是从大量的W eb文件的集合中发现有用的信息和模式。Web数据挖掘是一门综合技术，涉及领域非常广泛，如：数据挖掘、信息学、计算机语言学、人工智能等领域。
Web挖掘从数据挖掘而来，但由于Web上的信息的特点使得它又不同于传统的数据挖掘，它所面临的挑战更大。此外，W eb挖掘技术也不同于信息检索（IR）。
Web数据挖掘具有以下特点：
1、W eb 信息特别庞大
Web的数据量目前以几百G字节计算，而且仍在迅速地增长。许多机构和社团都在把各自大量的可访问信息置于网上。怎样对这些数据进行复杂的应用是数据挖掘技术的研究热点。
2、W eb信息非常复杂
Web文件是半结构化或无结构的。每一站点的数据都各自独立设计，并且数据本身具有自述性和动态可变性，没有特定的模型描述。需要研究统一的语义模型，并解决半结构化或无结构数据的抽取技术。所以，Web页面缺乏统一的结构，它包含了远比任何一组书籍或其他文本文档多得多的风格和内容。Web可以看作是一个巨大的数字图书馆；然而，这一图书馆中的大量文档并不根据任何有关排列次序加以组织。它没有分类索引，更没有按标题、作者、封面页、目录等的索引。对在这样一个图书馆中搜索希望得到的信息是极具挑战性的。
3、W eb信息是动态的
Web是一个动态性极强的信息源。Web不仅以极快的速度增长，而且其信息还在不断地发生着更新。新闻、股票、股票市场、公司广告和Web服务中心都在不断地更新着各自的页面。链接信息和访问记录也在频繁地更新之中。
4、W eb信息使用者复杂
相对于一般的数据库应用系统，Web面对的是一个广泛的、形形色色的用户群体。目前的Internet上连接有约五千多万台工作站，其用户群仍在不断扩展中。各个用户可以有不同的背景、兴趣和使用目的。大部分用户并不了解信息网络结构，不清楚搜索的高昂代价，极容易在“黑暗”的网络中迷失方向，也极容易在“跳跃式”访问中烦乱不已和在等待一段信息中失去耐心。
5、W eb信息中“垃圾”非常多
Web信息只有很小的一部分是相关的或有用的。据说99%的Web信息对于99%
┊┊┊┊┊┊┊┊┊┊┊┊┊装┊┊┊┊┊订┊┊┊┊┊线┊┊┊┊┊┊┊┊┊┊┊┊┊的用户是无用的。虽然这看起来不是很明显，但一个人只是关心Web上很小很小一部分信息确是事实，Web所包含的其余信息对用户来说是不感兴趣的，而且会淹没所希望得到的搜索结果。
6、异构的数据环境
Web页面的复杂性远比任何传统的文本文档复杂得多。Web上的每一个站点就是一个数据源，每个数据源都是异构的，各自的信息和组织不一样，构成了一个巨大的异构数据环境。如果想要利用这些数据进行数据挖掘，必须要解决站点之间异构数据的集成问题。
4.2自适应网站技术
为了更好地满足人性化访问地要求，必须做进一步基于网站自身的挖掘。因而提出了基于Web日志的数据挖掘的自适应网站技术。
所谓自适应网站是指：对于特定的网站和特定的用户，通过学习访问者或用户的访问模式自动改善其组织和信息描述方式的网站。
由于挖掘是基于用户的浏览行为而不是用户输入的数据，从而消除了描述的差异，适用于个性化服务。其优点是适用范围广，不需要用户参与，不涉及隐私，数据真实。其缺点是数据的杂质特性，在区分使用者、会话、识别会话的终结点方面存在着许多困难。
自适应网站建立的主要目的是消除网站设计者假设的用户兴趣和网站使用者兴趣的差别。网站设计者在设计时总是基于某些用户为什么及怎样访问网站的假设，并据此规划网站，然而使用者的需要往往与设计者假设的用户需要并不相同。此时设计者与使用者之间就存在着一条“兴趣沟”，而自适应Web数据挖掘可以很好的消除这条“沟”。自适应的周期要经历4个阶段，数据准备、数据挖掘、数据分析、网站改进。整个过程是不断循环不断完善的。
在以上的自适应Web数据挖掘中有一个重要的基础就是数据的准确性；必须有准确的数据才能每次都正确地反映使用者的意图，从而可以使分析沿着正确的方向进行。由于日志记录和HTTP协议的自身原因，日志数据是杂乱的，还原的信息可能包含错误信息，因此对日志信息进行准确的预处理是非常关键的。
4.3 Web数据挖掘的研究热点
当前,数据挖掘研究正方兴未艾,尤其是对基于Web的数据挖掘的研究,研究热点可能会集中到以下几个方面:
┊┊┊┊┊┊┊┊┊┊┊┊┊装┊┊┊┊┊订┊┊┊┊┊线┊┊┊┊┊┊┊┊┊┊┊┊┊
(1)研究专门的数据挖掘语言,使其像SQL语言一样走向形式化和标准化。
(2)寻求数据挖掘过程中的可视化方法,使知识发现的过程能够被用户理解 ,也便于在知识发现过程中能够方便地进行人－机交互。
(3)研究在网络环境下的数据挖掘技术,特别是在Internet上与数据库服务器配合,实现数据挖掘。
(4)加强对各种非结构化数据的挖掘,如文本数据、图形图像数据、多媒体数据。
但是,无论怎样,需求牵引和市场驱动是永恒的,数据挖掘技术(尤其是基于Web 的数据挖掘技术)将首先满足信息时代用户的急需,大量基于数据挖掘的决策支持软件工具产品不久将会问世。
4.4 Web挖掘分类
一般将Web挖掘定义为：从WWW的资源和行为中抽取感兴趣的、有用的模式和隐含的信息。
一般地，Web挖掘可分为3类：Web内容挖掘（Web Content Mining）、Web结构挖掘（Web Structure Mining）和Web使用记录挖掘（Web Usage Mining）。
下图是Web挖掘的分类图：
1、W eb内容挖掘
Web内容挖掘是从文档内容或文档描述中抽取知识的过程。Web文档内容的挖掘，基于概念索引的资源发现，以及基于代理的技术都属于这一类。
Web内容挖掘有两种策略：
（1）直接挖掘文档的内容；
（2）在工具搜索的基础上进行改进。
采用第1种策略的有：针对Web的查询语言Weblog、WebOQL等，利用启发式规则来寻找个人主页信息的Ahoy等等。
采用第2种策略的方法，主要是对搜索引擎的查询结果进行进一步的处理，得到
┊┊┊┊┊┊┊┊┊┊┊┊┊装┊┊┊┊┊订┊┊┊┊┊线┊┊┊┊┊┊┊┊┊┊┊┊┊更为精确和有用的信息。属于该类的有WebSQL，及对搜索引擎的返回结果进行聚类的技术等。
2、W eb结构挖掘
Web结构挖掘是从WWW的组织结构和链接关系中挖掘知识。由于文档之间的互连，WWW能够提供除文档内容之外的有用信息。利用这些信息，可以对页面进行排序，发现重要的页面。这方面工作的代表有PageRank和CLEVER。此外，在多层次Web数据仓库中，也利用了页面的链接结构。
3、W eb使用记录挖掘
Web使用记录挖掘的主要目标则是从Web的访问记录中抽取感兴趣的模式。WWW 中的每个服务器都保留了访问日志（Web access log），记录了关于用户访问和交互的信息。分析这些数据可以帮助理解用户的行为，从而改进站点的结构，或为用户提供个性化的服务。
这方面的研究主要有两个方向：一般访问模式的追踪和个性化使用记录的追踪。
一般访问模式的追踪通过分析使用记录来了解用户的访问模式和倾向，以改进站点的组织结构；而个性化使用记录的追踪则倾向于分析单个用户的偏好，其目的是根据不同用户的访问模式，为每个用户提供定制的站点。
4.6 Web数据挖掘的用途
到一个站点的所有访问者都会留下浏览的踪迹，这些信息自动存储在Web服务器的日志文件中。Web分析工具通过分析和处理Web服务器的日志文件来生成有意义的信息。例如有多少人访问了该页面，他们从哪来，哪些页面最受欢迎等。当前经济模式的变化，从传统实体的商店到Internet上的电子交易，同时也改变了销售商和顾客的关系。现在网上顾客的流动性很大，他们关注的主要因素是商品的价值，而不像以前注意品牌和地理因素。因此，电子销售商一个主要挑战是，如何确定顾客的爱好、兴趣和价值取向，以保证在电子时代的竞争力。数据挖掘是用来发现不明显的、有潜在价值的数据。Web上数据挖掘的潜力在于应用存在的和最新的数据挖掘算法，分析Internet服务器上的日志以及顾客、销售和产品的外部数据。
就电子商务而言，W eb数据挖掘有以下三个方面的益处：
（1）理解顾客行为：
1通过理解访问者的动态行为来优化电子商务网站的经营模式；
┊┊┊┊┊┊┊┊┊┊┊┊┊装┊┊┊┊┊订┊┊┊┊┊线┊┊┊┊┊┊┊┊┊┊┊┊┊
2电子销售商可以获知访问者的个人爱好；
3决定网站上由访问者到购买者的转化率；
4决定顾客的回头率（顾客第二次购买同一品牌的概率）；
5发现顾客的购买模式和访问者的浏览模式；
6发现什么样的顾客群在网站上购买什么商品；
7发现电子商务网站上顾客之间的联系。
（2）判断W eb站点的效率：
1发现站点上的高购买率部分和低购买率部分；
2Web设计者不再依靠专家的定性指导来设计网站，而是根据访问者的信息来修改和设计网站的结构和外观；
3电子销售商可以根据不同的客户提供个性化服务。
（3）评估电子商务模式的成功与否：
1容易将用户按模式分类；
2容易评测广告的投资回报率；
3容易得到可靠的市场回馈信息。
4.7 XML与Web数据挖掘技术
以XML为基础的新一代WWW环境是直接面对Web数据的，不仅可以很好地兼容原有的Web应用，而且可以更好地实现Web中的信息共享与交换。XML可看作一种半结构化的数据模型，可以很容易地将XML的文档描述与关系数据库中的属性一一对应起来，实施精确地查询与模型抽取。
1. XML的产生与发展
XML(eXtensible Markup Language)是由万维网协会(W3C)设计，特别为Web应用服务的SGML（Standard General Markup Language）的一个重要分支。总的来说，XML是一种中间标记语言（Meta-markup Language），可提供描述结构化资料的格式，是一种类似于HTML，被设计用来描述数据的语言。XML提供了一种独立的运行程序的方法来共享数据，它是用来自动描述信息的一种新的标准语言。
XML由若干规则组成，这些规则可用于创建标记语言，并能用一种被称为分析程序的简明程序处理所有新创建的标记语言，正如HTML为第一个计算机用户阅读Internet文档提供一种显示方式一样，XML也创建了一种任何人都能读出和写入的世界语。XML解决了HTML不能解决的两个Web问题，即Internet发展速度快而接入速度慢的问题，以及可利用的信息多，但难以找到自己需要的那部分信息的问题。XML能
┊┊┊┊┊┊┊┊┊┊┊┊┊装┊┊┊┊┊订┊┊┊┊┊线┊┊┊┊┊┊┊┊┊┊┊┊┊增加结构和语义信息，可使计算机和服务器即时处理多种形式的信息。因此，运用XML的扩展功能不仅能从Web服务器下载大量的信息，还能大大减少网络业务量。
XML中的标志(TAG)是没有预先定义的，使用者必须要自定义需要的标志，XML是能够进行自解释(Self Describing)的语言。XML使用DTD(Document Type Definition 文档类型定义)来显示这些数据，XSL(eXtensible Style Sheet Language)是一种来描述这些文档如何显示的机制，它是XML的样式表描述语言。XSL的历史比HTML用的CSS(层叠式样式表Cascading Style Sheets)还要悠久，XSL包括两部分：一个用来转换XML文档的方法；一个用来格式化XML文档的方法。XLL（eXtensible Link Language）是XML连接语言，它提供XML中的连接，与HTML中的类似，但功能更强大。使用XLL，可以多方向连接，且连接可以存在于对象层级，而不仅仅是页面层级。由于XML能够标记更多的信息，所以它就能使用户很轻松地找到他们需要的信息。利用XML，Web设计人员不仅能创建文字和图形，而且还能构建文档类型定义的多层次、相互依存的系统、数据树、元数据、超链接结构和样式表。
2. XML的特点
正是XML的特点决定了其卓越的性能表现。XML作为一种标记语言，有许多特点：
（1）简单。XML经过精心设计，整个规范简单明了，它由若干规则组成，这些规则可用于创建标记语言，并能用一种常常称为分析程序的简明程序处理所有新创建的标记语言。XML能创建一种任何人都能读出和写入的世界语，这种创建世界语的功能叫做统一性功能。如XML创建的标记总是成对出现，以及依靠称为统一代码的新的编码标准。
（2）开放。XML是SGML在市场上有许多成熟的软件可用来帮助编写、管理等,开放式标准XML的基础是经过验证的标准技术，并针对网络做最佳化。众多业界顶尖公司，与W3C的工作群组并肩合作，协助确保交互作业性，支持各式系统和浏览器上的开发人员、作者和使用者，以及改进XML标准。XML解释器可以使用编程的方法来载入一个XML的文档，当这个文档被载入以后,用户就可以通过XML文件对象模型来获取和操纵整个文档的信息，加快了网络运行速度。
（3）高效且可扩充。支持复用文档片断，使用者可以发明和使用自己的标签，也可与他人共享，可延伸性大，在XML中，可以定义无限量的一组标注。XML提供了一个标示结构化资料的架构。一个XML组件可以宣告与其相关的资料为零售价、营业税、书名、数量或其它任何数据元素。随着世界范围内的许多机构逐渐采用XML标准，
┊┊┊┊┊┊┊┊┊┊┊┊┊装┊┊┊┊┊订┊┊┊┊┊线┊┊┊┊┊┊┊┊┊┊┊┊┊将会有更多的相关功能出现：一旦锁定资料，便可以使用任何方式透过电缆线传递，并在浏览器中呈现，或者转交到其他应用程序做进一步的处理。XML提供了一个独立的运用程序的方法来共享数据，使用DTD，不同的组中的人就能够使用共同的DTD来交换数据。你的应用程序可以使用这个标准的DTD来验证你接受到的数据是否有效，你也可以使用一个DTD来验证你自己的数据。
（4）国际化。标准国际化，且支持世界上大多数文字。这源于依靠它的统一代码的新的编码标准，这种编码标准支持世界上所有以主要语言编写的混合文本。在HTML中，就大多数字处理而言，一个文档一般是用一种特殊语言写成的，不管是英语，还是日语或阿拉伯语，如果用户的软件不能阅读特殊语言的字符，那么他就不能使用该文档。但是能阅读XML语言的软件就能顺利处理这些不同语言字符的任意组合。因此，XML不仅能在不同的计算机系统之间交换信息，而且能跨国界和超越不同文化疆界交换信息。
3. XML在Web数据挖掘中的应用
XML已经成为正式的规范，开发人员能够用XML的格式标记和交换数据。XML在三层架构上为数据处理提供了很好的方法。
XML应用于以下四个方面：
1需要Web客户端在两个或更多异质数据库之间进行通信的应用；
2试图将大部分处理负载从Web服务器转到Web客户端的应用；
3需要Web客户端将同样的数据以不同的浏览形式提供给不同的用户的应用；
4需要智能Web代理根据个人用户的需要裁减信息内容的应用。
显然，这些应用和Web的数据挖掘技术有着重要的联系，基于Web的数据挖掘必须依靠它们来实现。
XML给基于Web的应用软件赋予了强大的功能和灵活性，因此它给开发者和用户带来了许多好处。比如：
（1）进行更有意义的搜索，并且Web数据可被XML唯一地标识。没有XML，搜索软件必须了解每个数据库是如何构建的，但这实际上是不可能的，因为每个数据库描述数据的格式几乎都是不同的。由于不同来源数据的集成问题的存在，现在搜索多样的不兼容的数据库实际上是不可能的。XML能够使不同来源的结构化的数据很容易地结合在一起。软件代理商可以在中间层的服务器上对从后端数据库和其它应用
┊┊┊┊┊┊┊┊┊┊┊┊┊装┊┊┊┊┊订┊┊┊┊┊线┊┊┊┊┊┊┊┊┊┊┊┊┊处来的数据进行集成。然后，数据就能被发送到客户或其他服务器做进一步的集成、处理和分发。
（2）XML的扩展性和灵活性允许它描述不同种类应用软件中的数据，从描述搜集的Web页到数据记录，从而通过多种应用得到数据。
（3）由于基于XML的数据是自我描述的，数据不需要有内部描述就能被交换和处理。
（4）利用XML，用户可以方便地进行本地计算和处理，XML格式的数据发送给客户后，客户可以用应用软件解析数据并对数据进行编辑和处理。使用者可以用不同的方法处理数据，而不仅仅是显示它。
（5）XML文档对象模式(DOM)允许用脚本或其他编程语言处理数据，数据计算不需要回到服务器就能进行。
（6）XML可以被利用来分离使用者观看数据的界面，使用简单灵活开放的格式，可以给Web创建功能强大的应用软件，而原来这些软件只能建立在高端数据库上。另外，数据发到桌面后，能够用多种方式显示。
（7）XML还可以通过以简单开放扩展的方式描述结构化的数据，XML补充了HTML，被广泛地用来描述使用者界面。HTML描述数据的外观，而XML描述数据本身。由于数据显示与内容分开，XML定义的数据允许指定不同的显示方式，使数据更合理地表现出来。本地的数据能够以客户配置、使用者选择或其他标准决定的方式动态地表现出来。CSS和XSL为数据的显示提供了公布的机制。
（8）通过XML，数据可以粒状地更新。每当一部分数据变化后，不需要重发整个结构化的数据。变化的元素必须从服务器发送给客户，变化的数据不需要刷新整个使用者的界面就能够显示出来。但在目前，只要一条数据变化了，整一页都必须重建。这严重限制了服务器的升级性能。XML也允许加进其他数据，比如预测的温度。加入的信息能够进入存在的页面，不需要浏览器重新发一个新的页面。
（9）XML应用于客户需要与不同的数据源进行交互时，数据可能来自不同的数据库，它们都有各自不同的复杂格式。但客户与这些数据库间只通过XML一种标准语言进行交互。由于XML的自定义性及可扩展性，它足以表达各种类型的数据。客户收到数据后可以进行处理，也可以在不同数据库间进行传递。在这类应用中，XML解决了数据的统一接口问题。但是，与其他的数据传递标准不同的是，XML并没有定义数据文件中数据出现的具体规范，而是在数据中附加TAG来表达数据的逻辑结构和含义。这使XML成为一种程序能自动理解的规范。
┊┊┊┊┊┊┊┊┊┊┊┊┊装┊┊┊┊┊订┊┊┊┊┊线┊┊┊┊┊┊┊┊┊┊┊┊┊
（10）XML应用于将大量运算负荷分布在客户端，即客户可根据自己的需求选择和制作不同的应用程序以处理数据，而服务器只须发出同一个XML文件。如按传统的“Client/Server”工作方式，客户向服务器发出不同的请求，服务器分别予以响应，这不仅加重服务器本身的负荷，而且网络管理者还须事先调查各种不同的用户需求以做出相应不同的程序，但假如用户的需求繁杂而多变，则仍然将所有业务逻辑集中在服务器端是不合适的，因为服务器端的编程人员可能来不及满足众多的应用需求，也来不及跟上需求的变化，双方都很被动。应用XML则将处理数据的主动权交给了客户，服务器所作的只是尽可能完善、准确地将数据封装进XML文件中，正是各取所需、各司其职。XML的自解释性使客户端在收到数据的同时也理解数据的逻辑结构与含义，从而使广泛、通用的分布式计算成为可能。
（11）XML还被应用于网络代理，以便对所取得的信息进行编辑、增减以适应个人用户的需要。有些客户取得数据并不是为了直接使用而是为了根据需要组织自己的数据库。比方说，教育部门要建立一个庞大的题库，考试时将题库中的题目取出若干组成试卷，再将试卷封装进XML文件，接下来在各个学校让其通过一个过滤器，滤掉所有的答案，再发送到各个考生面前，未经过滤的内容则可直接送到老师手中，当然考试过后还可以再传送一份答案汇编。此外，XML文件中还可以包含进诸如难度系数、往年错误率等其他相关信息，这样只需几个小程序，同一个XML文件便可变成多个文件传送到不同的用户手中。
第5节时序数据和序列数据的挖掘概述
5.1 时序数据库与序列数据库
● 时序（time-series）数据库：由随时间变化的序列值或事件组成的数据库。
序列值通常是在等时间间隔测得的数据（如股票的每日收盘价等）。
● 序列数据库：由有序事件的序列组成的数据库。它可以有时间标
记，也可以没有时间标记（如Web页面访问序列）。
● 两者关系：时序数据一定是序列数据；序列数据不一定是时序数据。
5.2 时序数据与序列数据挖掘的类型
(1)时序数据的趋势分析：分析时序数据随数据变化的趋势。
(2)时序分析中的相似搜索：查询与给定查询序列最接近的数据序列。
┊┊┊┊┊┊┊┊┊┊┊┊┊装┊┊┊┊┊订┊┊┊┊┊线┊┊┊┊┊┊┊┊┊┊┊┊┊
(3)时序数据的周期分析：对周期模式的挖掘（即在时序数据库中找出重复出现的模式）。
(4)序列模式挖掘：挖掘相对时间或其他模式出现频率高分模式。
5.3 时序数据的趋势分析
1. 时序数据的变化类型
(1)长期趋势变化(Long-term or trend movement)：反映时序数据在较长时间间隔的变化趋势。典型方法是加权移动平均法和最小二乘法。
(2)循环变化(Cyclic movement)：趋势线呈现摆动迹象，它可以是周期性的也可以不是周期性的，即在等时间间隔之间循环不一定按照相同的模式演进。
(3)季节性变化(Seasonal movement)：反映每年都重复出现的事件，即同一或近似同一的模式在连续几年所有关期间重复出现（如情人节前巧克力和鲜花销量大增等）。
(4)非规则或随机变化(Irregular or random movement)由于随机或偶然事件（人自然灾害、恐怖袭击、劳工纠纷、企业高层人事变动等）引起的时序数据变化。
时序分析即将时序数据分解为以上趋势的、周期的、季节性的和非规则的四种基本变化（分别使用变量T、C、S、I表示）的分析。
2．加权移动平均方法
对给定的一组值（y1,y2,…,y n,…），计算n阶移动平均值序列：
（y1＋y2,＋…＋y n）/ n
（y2＋y3,＋…＋y n+1）/ n
（y3＋y4,＋…＋y n+2）/ n
……
使用移动平均值序列代替时序序列可减少不希望出现的波动，故又称为时序数据的平滑。如果在计算n阶移动平均值序列中使用加权算术平均，则称为n阶加权移动平均。
〖例〗对给定9个值的序列，计算其3阶移动平均以及权重为（1，4，1）的加权移动平均。
初始数据： 3 7 2 0 4 5 9 7 2
3阶移动平均： 4 3 2 3 6 7 6
加权移动平均： 5.5 2.5 1 3.5 5.5 8 6.5
其中，第1个加权移动平均值计算为（其余类同）：
┊┊┊┊┊┊┊┊┊┊┊┊┊装┊┊┊┊┊订┊┊┊┊┊线┊┊┊┊┊┊┊┊┊┊┊┊┊
（1×3＋4×7＋1×2）/ （1＋4＋1）＝33/6＝5.5
移动平均会丢失序列数据中的头尾数据，因而可能产生原始数据中不会产生的变化趋势。使用加权移动平均时给中间的数据赋予较大的权重，从而可降低其负面影响。
3．其他趋势分析方法
(1)最小二乘法：以最好的拟合曲线C＝f（x）作为最小二曲线，即使得Σ（yi －f(xi)）2最小。
(2)季节波动调整：引入“季节指数”的概念，即用一组数据表示一年中某些月份某变量的相关值，如：10月、11月、12月的销售量分别是全年平均月销售量的70％、110％、130％，则70、110、130为本年度的季节指数。将原始数据每个月的销售量用季节指数除，其结果称为“反季节的”或“对季节变量调整”。由于平滑季节性波动。
(3)时序图：有助于估算长期趋势、循环变化、季节变化和非规则变化的规律，从而进行长期或短期的预测（即预报时序）。
5.4 相似搜索
1. 什么是相似搜索
与精确查询不同，相似搜索是找出与给定查询序列最接近的数据序列。
子序列匹配是找出与给定序列相似的所有数据序列。整体序列匹配是找出彼此间相似的序列。
相似搜索可应用于金融市场分析（如股票数据分析）、医疗诊断分析（如心电图分析）、工程数据分析（如能耗分析）等。
2. 数据变换
对时序数据进行相似搜索通常使用欧几里德距离作为相似计算的依据。
数据变换是将数据从时域变换为频域，其目的是提高搜索的效率。由于正交变换可保持距离不变，故离散付里叶变换（DFT）和离散小波变换（DWT）可应用于相似搜索的数据变换。
数据经过变换（如DFT）后，可用前几个付里叶系数建立一个多维索引。当用户向系统提交了一个相似搜索请求后，可以利用索引检索出与查询序列保持给定最小距离的序列。子序列的匹配通过将序列分割为窗口片段及映射为特征空间中的一个线索来实现。
3. 增强相似搜索方法
增强相似搜索方法用于处理偏移和振幅中的间隙和差异，而具有偏移和振幅中的间隙和差异的子序列也可以认为是匹配的。
数据仓库与及数据挖掘文本分类实验报告
2015-2016学年第1学期实验报告 课程名称：数据仓库与及数据挖掘实验名称：文本的分类 实验完成人： 姓名：学号：
日期： 2015年 12月 实验一：文本的分类 1.实验目的 1)掌握数据预处理的方法，对训练集数据进行预处理； 2)掌握文本建模的方法，对语料库的文档进行建模； 3)掌握分类算法的原理，基于有监督的机器学习方法，训练 文本分类器； 4)利用学习的文本分类器，对未知文本进行分类判别； 5)掌握评价分类器性能的评估方法 2.实验分工 独立完成 3.实验环境 基于Windows平台，使用eclipse开发。 4.主要设计思想 4.1实验工具介绍 Eclipse：一个开放源代码的/基于Java的可扩展开发平
台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。Eclipse最早是由IBM开发的，后来IBM将Eclipse作为一个开放源代码的项目发布。现在Eclipse 在https://www.sodocs.net/doc/a018549871.html,协会的管理与指导下开发。 4.2特征提取与表达方法的设计 在此次实验中，我考虑了CHI特征提取的方法来建立数据字典。详细步骤见5.3描述。根据CHI特征提取，最终建立成数据字典，数据字典记录在目录E:\DataMiningSample\docVector下的allDicWordCountMap.txt 文档中。 最终的特征向量表达方式为：文档类别标识_单词词频。如：alt.atheism_abstact 1.0。其中alt.atheism为此文本所属的类别，abstact为对应的单词，1.0为该单词的词频数。 4.3分类算法的选择 本次实验使用的是朴素贝叶斯分类算法，朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。朴素贝叶斯分类器基于一个简单的假定：给定目标值时属性之间相互条件独立。即： Document) P(Document P(Category | | * nt) Category) )/P(Docume P(Category 朴素贝叶斯模型：
《数据挖掘》试题与标准答案
一、解答题（满分3０分，每小题5分) 1. 怎样理解数据挖掘和知识发现的关系?请详细阐述之 首先从数据源中抽取感兴趣的数据，并把它组织成适合挖掘的数据组织形式;然后,调用相应的算法生成所需的知识;最后对生成的知识模式进行评估，并把有价值的知识集成到企业的智能系统中。 知识发现是一个指出数据中有效、崭新、潜在的、有价值的、一个不可忽视的流程，其最终目标是掌握数据的模式。流程步骤:先理解要应用的领域、熟悉相关知识，接着建立目标数据集，并专注所选择的数据子集;再作数据预处理，剔除错误或不一致的数据；然后进行数据简化与转换工作；再通过数据挖掘的技术程序成为模式、做回归分析或找出分类模型；最后经过解释和评价成为有用的信息。 2.时间序列数据挖掘的方法有哪些，请详细阐述之 时间序列数据挖掘的方法有: １)、确定性时间序列预测方法:对于平稳变化特征的时间序列来说，假设未来行为与现在的行为有关，利用属性现在的值预测将来的值是可行的。例如，要预测下周某种商品的销售额，可以用最近一段时间的实际销售量来建立预测模型。 ２）、随机时间序列预测方法：通过建立随机模型,对随机时间序列进行分析,可以预测未来值。若时间序列是平稳的,可以用自回归(Auto Ｒegressiｖe，简称AR)模型、移动回归模型(Ｍovｉng Ａveｒage,简称ＭＡ）或自回归移动平均(Aｕto Regrｅssive Moｖiｎg Aｖeraｇe，简称AＲMＡ)模型进行分析预测。 3)、其他方法:可用于时间序列预测的方法很多,其中比较成功的是神经网络。由于大量的时间序列是非平稳的,因此特征参数和数据分布随着时间的推移而变化。假如通过对某段历史数据的训练，通过数学统计模型估计神经网络的各层权重参数初值，就可能建立神经网络预测模型,用于时间序列的预测。
数据挖掘与预测分析
数据挖掘是一个多学科交叉研究领域，它融合了数据库技术、人工智能、机器学习、统计学、知识工程、面向对象方法、信息检索、高性能计算以及数据可视化等最新技术的研究成果。数据挖掘是目前人工智能和数据库领域研究的热点问题，所谓数据挖掘是指从数据库的大量数据中揭示出隐含的、先前未知的并有潜在价值的信息的非平凡过程。数据挖掘是一种决策支持过程，高度自动化地分析企业的数据，做出归纳性的推理，从中挖掘出潜在的模式，帮助决策者调整市场策略，减少风险，做出正确的决策。预测分析是一种统计或数据挖掘解决方案，包含可在结构化和非结构化数据中使用以确定未来结果的算法和技术。可为预测、优化、预报和模拟等许多其他用途而部署。预测分析可帮助用户评审和权衡潜在决策的影响力。可用来分析历史模式和概率，预测未来业绩并采取预防措施。 数据挖掘的含义是广泛的，每个人有每个人不同的体会，每个人有每个人的见解。但这些体会、见解是有许多共通之处的，从而可以归纳出数据挖掘的技术定义以及商业定义：从技术角度，数据挖掘(Data Mining)就是从大量的、不完全的、有噪声的、模糊的、随机的数据中，提取隐含在其中的、人们事先不知道的但又是潜在有用的信息和知识的过程。它是涉及机器学习、模式识别、统计学、人工智能、数据库管理及数据可视化等学科的边缘学科。由于每个人的思维方式不同，这个定义可以被解读为以下几个层次：①数据源必须是真实的、大量的、含噪声的；②发现的是用户感兴趣的知识；③发现的知识要可接受、可理解、可运用；④这些知识是相对的，是有特定前提和约束条件的，在特定领域中具有实际应用价值。 预测是大数据的核心，数据挖掘之后的预测分析无疑成为开拓市场的重要环节。预测分析是一种统计或数据挖掘解决方案，包含可在结构化和非结构化数据中使用以确定未来结果的算法和技术。可为预测、优化、预报和模拟等许多其他用途而部署。预测分析和假设情况分析可帮助用户评审和权衡潜在决策的影响力。可用来分析历史模式和概率，以预测未来业绩并采取预防措施。这种级别的分析可以为规划流程提供各种信息，并对企业未来提供关键洞察。不仅可提供预测分析，使用户可以执行高级分析、发布并与更广泛的用户群交流。还可以提供
数据挖掘试题与答案
一、解答题（满分30分，每小题5分） 1. 怎样理解数据挖掘和知识发现的关系？请详细阐述之 首先从数据源中抽取感兴趣的数据，并把它组织成适合挖掘的数据组织形式；然后，调用相应的算法生成所需的知识；最后对生成的知识模式进行评估，并把有价值的知识集成到企业的智能系统中。 知识发现是一个指出数据中有效、崭新、潜在的、有价值的、一个不可忽视的流程，其最终目标是掌握数据的模式。流程步骤：先理解要应用的领域、熟悉相关知识，接着建立目标数据集，并专注所选择的数据子集；再作数据预处理，剔除错误或不一致的数据；然后进行数据简化与转换工作；再通过数据挖掘的技术程序成为模式、做回归分析或找出分类模型；最后经过解释和评价成为有用的信息。 2. 时间序列数据挖掘的方法有哪些，请详细阐述之 时间序列数据挖掘的方法有： 1）、确定性时间序列预测方法:对于平稳变化特征的时间序列来说，假设未来行为与现在的行为有关，利用属性现在的值预测将来的值是可行的。例如，要预测下周某种商品的销售额，可以用最近一段时间的实际销售量来建立预测模型。 2）、随机时间序列预测方法:通过建立随机模型，对随机时间序列进行分析，可以预测未来值。若时间序列是平稳的，可以用自回归(Auto Regressive，简称AR)模型、移动回归模型(Moving Average，简称MA)或自回归移动平均(Auto Regressive Moving Average，简称ARMA)模型进行分析预测。 3）、其他方法:可用于时间序列预测的方法很多，其中比较成功的是神经网络。由于大量的时间序列是非平稳的，因此特征参数和数据分布随着时间的推移而变化。假如通过对某段历史数据的训练，通过数学统计模型估计神经网络的各层权重参数初值，就可能建立神经网络预测模型，用于时间序列的预测。
机器学习_KDD Cup 1999 Data Data Set(知识发现和数据挖掘杯1999数据集)
KDD Cup 1999 Data Data Set(知识发现和数据挖掘 杯1999数据集) 数据摘要： This is the data set used for The Third International Knowledge Discovery and Data Mining Tools Competition, which was held in conjunction with KDD-99 中文关键词： 多变量,分类,知识发现和数据挖掘,UCI, 英文关键词： Multivariate,Classification,KDD,UCI, 数据格式： TEXT 数据用途： This data set is used for classification. 数据详细介绍：
KDD Cup 1999 Data Data Set Abstract: This is the data set used for The Third International Knowledge Discovery and Data Mining Tools Competition, which was held in conjunction Data Set Information: Please see task description. Relevant Papers: Salvatore J. Stolfo, Wei Fan, Wenke Lee, Andreas Prodromidis, and Philip K. Chan. Cost-based Modeling and Evaluation for Data Mining With Application to Fraud and Intrusion Detection: Results from the JAM Project. [Web Link] 数据预览：
数据挖掘考试题库
1.何谓数据挖掘？它有哪些方面的功能？ 从大量的、不完全的、有噪声的、模糊的、随机的数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程称为数据挖掘。相关的名称有知识发现、数据分析、数据融合、决策支持等。 数据挖掘的功能包括：概念描述、关联分析、分类与预测、聚类分析、趋势分析、孤立点分析以及偏差分析等。 2.何谓粒度？它对数据仓库有什么影响？按粒度组织数据的方式有哪些？ 粒度是指数据仓库的数据单位中保存数据细化或综合程度的级别。粒度影响存放在数据仓库中的数据量的大小，同时影响数据仓库所能回答查询问题的细节程度。按粒度组织数据的方式主要有： ①简单堆积结构 ②轮转综合结构 ③简单直接结构 ④连续结构 3.简述数据仓库设计的三级模型及其基本内容。 概念模型设计是在较高的抽象层次上的设计，其主要内容包括：界定系统边界和确定主要的主题域。 逻辑模型设计的主要内容包括：分析主题域、确定粒度层次划分、确定数据分割策略、定义关系模式、定义记录系统。 物理数据模型设计的主要内容包括：确定数据存储结构、确定数据存放位置、确定存储分配以及确定索引策略等。在物理数据模型设计时主要考虑的因素有: 存取时间、空间利用率和维护代价等。 提高性能的主要措施有划分粒度、数据分割、合并表、建立数据序列、引入冗余、生成导出数据、建立广义索引等。 4.在数据挖掘之前为什么要对原始数据进行预处理？ 原始业务数据来自多个数据库或数据仓库，它们的结构和规则可能是不同的，这将导致原始数据非常的杂乱、不可用，即使在同一个数据库中，也可能存在重复的和不完整的数据信息，为了使这些数据能够符合数据挖掘的要求，提高效率和得到清晰的结果，必须进行数据的预处理。 为数据挖掘算法提供完整、干净、准确、有针对性的数据，减少算法的计算量，提高挖掘效率和准确程度。
数据挖掘复习章节知识点整理
数据挖掘：是从大量数据中发现有趣（非平凡的、隐含的、先前未知、潜在有用）模式，这些数据可以存放在数据库，数据仓库或其他信息存储中。 挖掘流程： 1.学习应用域 2.目标数据创建集 3.数据清洗和预处理 4.数据规约和转换 5.选择数据挖掘函数（总结、分类、回归、关联、分类） 6.选择挖掘算法 7.找寻兴趣度模式 8.模式评估和知识展示 9.使用挖掘的知识 概念/类描述：一种数据泛化形式，用汇总的、简洁的和精确的方法描述各个类和概念，通过（1）数据特征化：目标类数据的一般特性或特征的汇总； （2）数据区分：将目标类数据的一般特性与一个或多个可比较类进行比较； （3）数据特征化和比较来得到。 关联分析：发现关联规则，这些规则展示属性-值频繁地在给定数据集中一起出现的条件，通常要满足最小支持度阈值和最小置信度阈值。 分类：找出能够描述和区分数据类或概念的模型，以便能够使用模型预测类标号未知的对象类，导出的模型是基于训练集的分析。导出模型的算法：决策树、神经网络、贝叶斯、（遗传、粗糙集、模糊集）。 预测：建立连续值函数模型，预测空缺的或不知道的数值数据集。 孤立点：与数据的一般行为或模型不一致的数据对象。 聚类：分析数据对象，而不考虑已知的类标记。训练数据中不提供类标记，对象根据最大化类内的相似性和最小化类间的原则进行聚类或分组，从而产生类标号。 第二章数据仓库 数据仓库是一个面向主题的、集成的、时变的、非易失的数据集合，支持管理部门的决策过程。从一个或多个数据源收集信息，存放在一个一致的模式下，并且通常驻留在单个站点。数据仓库通过数据清理、变换、继承、装入和定期刷新过程来构造。面向主题：排除无用数据，提供特定主题的简明视图。集成的：多个异构数据源。时变的：从历史角度提供信息，隐含时间信息。非易失的：和操作数据的分离，只提供初始装入和访问。 联机事务处理OLTP：主要任务是执行联机事务和查询处理。 联系分析处理OLAP：数据仓库系统在数据分析和决策方面为用户或‘知识工人’提供服务。这种系统可以用不同的格式和组织提供数据。OLAP是一种分析技术，具有汇总、合并和聚集功能，以及从不同的角度观察信息的能力。
数据挖掘中分类技术应用
分类技术在很多领域都有应用，例如可以通过客户分类构造一个分类模型来对银行贷款进行风险评估；当前的市场营销中很重要的一个特点是强调客户细分。客户类别分析的功能也在于此，采用数据挖掘中的分类技术，可以将客户分成不同的类别，比如呼叫中心设计时可以分为：呼叫频繁的客户、偶然大量呼叫的客户、稳定呼叫的客户、其他，帮助呼叫中心寻找出这些不同种类客户之间的特征，这样的分类模型可以让用户了解不同行为类别客户的分布特征；其他分类应用如文献检索和搜索引擎中的自动文本分类技术；安全领域有基于分类技术的入侵检测等等。机器学习、专家系统、统计学和神经网络等领域的研究人员已经提出了许多具体的分类预测方法。下面对分类流程作个简要描述： 训练：训练集——>特征选取——>训练——>分类器 分类：新样本——>特征选取——>分类——>判决 最初的数据挖掘分类应用大多都是在这些方法及基于内存基础上所构造的算法。目前数据挖掘方法都要求具有基于外存以处理大规模数据集合能力且具有可扩展能力。 神经网络 神经网络是解决分类问题的一种行之有效的方法。神经网络是一组连接输入/输出单元的系统，每个连接都与一个权值相对应，在将简单的单元连接成较复杂的系统后，通过并行运算实现其功能，其中系统的知识存储于网络结构和各单元之间的连接权中。在学习阶段，通过调整神经网络的权值，达到对输入样本的正确分类。神经网络有对噪声数据的高承受能力和对未经训练数据的模式分类能力。神经网
络概括性强、分类精度高，可以实现有监督和无监督的分类任务，所以神经网络在分类中应用非常广泛。 在结构上，可以把一个神经网络划分为输入层、输出层和隐含层（见图4）。网络的每一个输入节点对应样本一个特征，而输出层节点数可以等于类别数，也可以只有一个，（输入层的每个节点对应一个个的预测变量。输出层的节点对应目标变量，可有多个）。在输入层和输出层之间是隐含层（对神经网络使用者来说不可见），隐含层的层数和每层节点的个数决定了神经网络的复杂度。 除了输入层的节点，神经网络的每个节点都与很多它前面的节点（称为此节点的输入节点）连接在一起，每个连接对应一个权重Wxy，此节点的值就是通过它所有输入节点的值与对应连接权重乘积的和作为一个函数的输入而得到，我们把这个函数称为活动函数或挤压函数。如图5中节点4输出到节点6的值可通过如下计算得到：
学习资料：文本数据挖掘
学习资料：文本数据挖掘（Test Mining） 在当今世界，一个人或一个组织所获得的文本信息集合十分巨大，而且文本信息集合还在不断地更新和增加，信息检索等技术已不能适应当今文本信息处理的需要，因而，人们开始使用文本挖掘技术来解决这一难题。 1、定义 文本数据挖掘(Text Mining)是指从文本数据中抽取有价值的信息和知识的计算机处理技术。顾名思义，文本数据挖掘是从文本中进行数据挖掘(Data Mining)。从这个意义上讲，文本数据挖掘是数据挖掘的一个分支，由机器学习、数理统计、自然语言处理等多种学科交叉形成。 2、功能 文本挖掘可以对大量文档集合的内容进行总结、分类、聚类、关联分析等。 （1）文本总结 文本总结是指从文档中抽取关键信息，用简洁的形式对文档内容进行摘要或解释。用户不需要浏览全文就可以了解文档或文档集合的总体内容。文本总结在有些场合十分有用，例如，搜索引擎在向用户返回查询结果时，通常需要给出文档的摘要。目前，绝大部分搜索引擎采用的方法是简单地截取文档的前几行。 （2）文本分类与聚类 文本分类是指按照预先定义的主题类别，为文档集合中的每个文档确定一个类别。这样，用户不但能够方便地浏览文档，而且可以通过限制搜索范围来使文档的查找更为容易。利用文本分类技术可以对大量文档进行快速、有效的自动分类。 文本聚类与文本分类的不同之处在于，聚类没有预先定义好主题类别，它的目标是将文档集合分成若干个簇，要求同一簇内文档内容的相似度尽可能地大，而不同簇间的相似度尽可能地小。 （3）关联分析 关联分析是指从文档集合中找出不同词语之间的关系。 3、典型应用方法——共词分析 共词分析法主要是对一对词两两统计其在同一篇文献中出现的次数, 以此为基础对这些词进行分层聚类, 揭示出这些词之间的亲疏关系, 进而分析它们所代表的学科和主题的结构变化。 其思想来源于文献计量学的引文耦合与共被引概念, 其中, 共被引指当两篇文献同时被后来的其他文献引用时, 则这两篇文献被称作共被引, 表明它们在研究主题的概念、理论或方法上是相关的。两篇文献共被引的次数越多, 它们的关系就越密切, 由此揭示文献之中的亲疏关系。 同理, 当一对能够表征某一学科领域研究主题或研究方向的专业术语( 一般为主题词或关键词) 在一篇文献中同时出现, 表明这两个词之间存在一定的关系, 同时出现的次数越多, 表明它们的关系越密切、距离越近。 共词分析通常可以分为3个步骤。
基于机器学习的文本分类方法
基于机器学习算法的文本分类方法综述 摘要：文本分类是机器学习领域新的研究热点。基于机器学习算法的文本分类方法比传统的文本分类方法优势明显。本文综述了现有的基于机器学习的文本分类方法，讨论了各种方法的优缺点，并指出了文本分类方法未来可能的发展趋势。 1.引言 随着计算机技术、数据库技术，网络技术的飞速发展，Internet的广泛应用，信息交换越来越方便，各个领域都不断产生海量数据，使得互联网数据及资源呈现海量特征，尤其是海量的文本数据。如何利用海量数据挖掘出有用的信息和知识，方便人们的查阅和应用，已经成为一个日趋重要的问题。因此，基于文本内容的信息检索和数据挖掘逐渐成为备受关注的领域。文本分类(text categorization，TC)技术是信息检索和文本挖掘的重要基础技术，其作用是根据文本的某些特征，在预先给定的类别标记(label)集合下，根据文本内容判定它的类别。传统的文本分类模式是基于知识工程和专家系统的，在灵活性和分类效果上都有很大的缺陷。例如卡内基集团为路透社开发的Construe专家系统就是采用知识工程方法构造的一个著名的文本分类系统，但该系统的开发工作量达到了10个人年，当需要进行信息更新时，维护非常困难。因此，知识工程方法已不适用于日益复杂的海量数据文本分类系统需求[1]。20世纪90年代以来，机器学习的分类算法有了日新月异的发展，很多分类器模型逐步被应用到文本分类之中，比如支持向量机(SVM，Support Vector Machine)[2-4]、最近邻法(Nearest Neighbor)[5]、决策树(Decision tree)[6]、朴素贝叶斯(Naive Bayes)[7]等。逐渐成熟的基于机器学习的文本分类方法，更注重分类器的模型自动挖掘和生成及动态优化能力，在分类效果和灵活性上都比之前基于知识工程和专家系统的文本分类模式有所突破，取得了很好的分类效果。 本文主要综述基于机器学习算法的文本分类方法。首先对文本分类问题进行概述，阐述文本分类的一般流程以及文本表述、特征选择方面的方法，然后具体研究基于及其学习的文本分类的典型方法，最后指出该领域的研究发展趋势。 2．文本自动分类概述 文本自动分类可简单定义为：给定分类体系后，根据文本内容自动确定文本关联的类别。从数学角度来看，文本分类是一个映射过程，该映射可以是一一映射，也可以是一对多映射过程。文本分类的映射规则是，系统根据已知类别中若干样本的数据信息总结出分类的规律性，建立类别判别公式或判别规则。当遇到新文本时，根据总结出的类别判别规则确定文本所属的类别。也就是说自动文本分类通过监督学习自动构建出分类器，从而实现对新的给定文本的自动归类。文本自动分类一般包括文本表达、特征选取、分类器的选择与训练、分类等几个步骤，其中文本表达和特征选取是文本分类的基础技术，而分类器的选择与训练则是文本自动分类技术的重点，基于机器学习的文本分来就是通过将机器学习领域的分类算法用于文本分类中来[8]。图1是文本自动分类的一般流程。
知识发现与数据挖掘
知识发现与数据挖掘 https://www.sodocs.net/doc/a018549871.html, 2007-6-12 宋利 【摘要】本文介绍了知识发现及其数据挖掘的发展历史，数据挖掘常用技术及应用。 【关键词】知识发现，数据挖掘 １、引言 随着数据库技术的成熟和数据应用的普及，人类积累的数据量正在以指数速度迅速增长。进入九十年代，伴随着因特网（Internet）的出现和发展，以及随之而来的企业内部网（Intranet）和企业外部网（Extranet）以及虚拟私有网（VPNVirtualPrivatenetwork）的产生和应用，将整个世界联成一个小小的地球村，人们可以跨越时空地在网上交换数据信息和协同工作。这样，展现在人们面前的已不是局限于本部门，本单位和本行业的庞大数据库，而是浩瀚无垠的信息海洋,数据洪水正向人们滚滚涌来。当数据量极度增长时,如果没有有效的方法,由计算机及信息技术来提取有用信息和知识，人们也会感到面对信息海洋像大海捞针一样束手无策。据估计，一个大型企业数据库中数据，只有百分之七得到很好应用。这样，相对于“数据过剩”和“信息爆炸”,人们又感到“信息贫乏”（Informationpoor）和数据关在牢笼中”(datainjail)，奈斯伯特(JohnNaisbett)惊呼“Wearedrowningininformation，butstarvingforknowledge”（人类正被数据淹没，却饥渴于知识）。 面临浩渺无际的数据，人们呼唤从数据汪洋中来一个去粗存精、去伪存真的技术。从数据库中发现知识(KDD)及其核心技术——数据采掘(DM)便应运而生了。 ２、知识发现过程 知识发现（KDD）是从数据中发现有用知识的整个过程；数据开采（DM）是KDD过程中的一个特定步骤，它用专门算法从数据中抽取模式（patterns）。1996年，Fayyad、PiatetskyShapiror和Smyth将KDD过程定义为：从数据中鉴别出有效模式的非平凡过程，该模式是新的、可能有用的和最终可理解的。 KDD过程是多个步骤相互连接、反复进行人机交互的过程。具体包括： ①学习某个应用领域：包括应用中的预先知识和目标。
数据挖掘和知识工程
1、给出KDD的定义和处理过程。 答：KDD的定义是：从大量数据中提取出可信的、新颖的、有用的且可以被人理解的模式的高级处理过程。因此，KDD是一个高级的处理过程，它从数据集中识别出以模式形式表示的知识。这里的"模式"可以看成知识的雏形，经过验证、完善后形成知识："高级的处理过程"是指一个多步骤的处理过程，多步骤之间相互影响反复调整，形成一种螺旋式上升的过程。 KDD的全过程有五个步骤：1、数据选择：确定发现任务的操作对象，即目标数据，它是根据用户的需要从原始数据库中抽取的一组数据；2、数据预处理：一般可能包括消除噪声、推到技术却只数据、消除重复记录、完成数据类型转换等；3、数据转换：其主要目的是消减数据维数或降维，即从初始特征中找出真正有用的特征以减少数据开采时要考虑的特征或变量个数；4、数据挖掘：这一阶段包括确定挖掘任务/目的、选择挖掘方法、实施数据挖掘；5、模式解释/评价：数据挖掘阶段发现出来的模式，经过用户或机器的评价，可能存在冗余或无关的模式，需要剔除；也有可能模式不满足用户的要求，需要退回到整个发现阶段之前，重新进行KDD过程。 2、阐述数据挖掘产生的背景和意义。 答：数据挖掘产生的背景：随着信息科技的进步以及电子化时代的到来，人们以更快捷、更容易、更廉价的方式获取和存储数据，使得数据及信息量以指数方式增长。据粗略估计，一个中等规模企业每天要产生100MB以上的商业数据。而电信、银行、大型零售业每天产生的数据量以TB来计算。人们搜集的数据越来越多，剧增的数据背后隐藏着许多重要的信息，人们希望对其进行更高层次的分析，以便更好的利用这些数据。先前的数据库系统可以高效的实现数据的录入、查询、统计等功能，但无法发现数据中存在的关系与规则，无法根据现有的数据来预测未来的发展趋势。缺乏挖掘数据背后隐藏的知识的手段。导致了"数据爆炸但知识贫乏"的现象。于是人们开始提出"要学会选择、提取、抛弃信息"，并且开始考虑：如何才能不被信息淹没？如何从中及时发现有用的知识、提高信息利用率？如何从浩瀚如烟海的资料中选择性的搜集他们认为有用的信息？这给我们带来了另一些头头疼的问题：第一是信息过量，难以消化；第二是信息真假难以辨别；第三是信息安全难以保证；第四是信息形式不一致，难以统一处理。面对这一挑战，面对数量很大而有意义的信息很难得到的状况面对大量繁杂而分散的数据资源，随着计算机数据仓库技术的不断成熟，从数据中发现知识（Knowledge Discovery in Database）及其核心技术--数据挖掘（Data Mining）便应运而生，并得以蓬勃发展，越来越显示出其强大的生命力。 数据挖掘的意义：数据挖掘之所以被称为未来信息处理的骨干技术之一，主要在于它正以一种全新的概念改变着人类利用数据的方式。在20世纪，数据库技术取得了重大的成果并且得到了广泛的应用。但是，数据库技术作为一种基本的信息储存和管理方式，仍然是以联机事务处理为核心应用，缺少对决策、分析、预测等高级功能的支持机制。众所周知，随着硬盘存储容量及的激增以及磁盘阵列的普及，数据库容量增长迅速，数据仓库以及Web 等新型数据源出现，联机分析处理、决策支持以及分类、聚类等复杂应用成为必然。面对这样的挑战，数据挖掘和知识发现技术应运而生，并显现出强大的生命力。数据挖掘和知识发现使数据处理技术进入了一个更加高级的阶段。它不仅能对过去的数据进行查询，而且能够找出过去数据之间的潜在联系，进行更高层次的分析，以便更好地作出决策、预测未来的发展趋势等等。通过数据挖掘，有价值的知识、规则或更高层次的信息就能够从数据库的相关数据集合中抽取出来，从而使大型数据库作为一个丰富、可靠的资源为知识的提取服务。3、给出一种关联规则的算法描述，并举例说明。
数据挖掘与数据仓库知识点总结
1、数据仓库定义：数据仓库是一种新的数据处理体系结构，它与组织机构的操作数据库分别维护，允许将各种应用系统一起，为统一的历史数据分析提供坚实的平台，对信息处理提供支持。数据仓库是面向主题的、集成的、相对稳定的、反映历史变化的数据集合，为企业决策支持系统提供所需的集成信息。设计和构造步骤：1）选取待建模的商务处理；2）选取商务处理的粒变；3）选取用于每个事实表记录的维；4）选取事实表中每条记录的变量 系统结构：（1）底层是仓库数据服务器，总是关系数据库系统。（2）中间层是OLAP服务器，有ROLAP 和MOLAP，它将对多维数据的操作映射为标准的关系操作（3）顶层是前端客户端，它包括查询和报表工具、分析工具和数据挖掘工具 2、数据仓库的多维数据模型：（1）星形模式：在此模型下，数据仓库包括一个大的包含大批数据并且不含冗余的中心表，一组小的附属表，维表围绕中心事实表显示的射线上。特征：星型模型四周的实体是维度实体，其作用是限制和过滤用户的查询结果，缩小访问围。每个维表都有自己的属性，维表和事实表通过关键字相关联。【例子：sales数据仓库的星形模式，此模式包含一个中心事实表sales，它包含四个维time, item, branch和location。 （2）雪花型模式：它是星形模式的变种，其中某些维表是规化的，因而把数据进一步分解到附加的表中。特征：雪花模型通过最大限度地减少数据存储量和联合较小的维表来改善查询性能，增加了用户必须处理的表数量和某些查询的复杂性，但同时提高了处理的灵活性，可以回答更多的商业问题，特别适合系统的逐步建设要求。【例子同上，只不过把其中的某些维给扩展了。 （3）事实星座形：复杂的应用可能需要多个事实表共享维表，这种模式可看作星形模式的汇集。 特征：事实星座模型能对多个相关的主题建模。例子：有两个事实表sales和shipping，它们可以共享维表time, item和location。 3、OLAP：即联机分析处理，是在OLTP基础上发展起来的、以数据仓库基础上的、面向高层管理人员和专业分析人员、为企业决策支持服务。特点：1.实时性要求不是很高。2.数据量大。3.因为重点在于决策支持，所以查询一般是动态的，也就是说允许用户随机提出查询要求。 OLAP操作：上卷：通过沿一个维的概念分层向上攀登，或者通过维归约，对数据立方体进行类聚。下钻：是上卷的逆操作，它由不太详细的数据得到更详细的数据，下钻可以通过沿维的概念分层向下或引入附加的维来实现。切片：对给定方体的一个维进行进行选择，导致一个子立方体。切块：通过对两个或多个维执行选择，定义子立方体。转轴：是一种可视化操作，它转动数据的视角，提供数据的替代表示。 OLTP：即联机事务处理，是以传统数据库为基础、面向操作人员和低层管理人员、对基本数据进行查询和增、删、改等的日常事务处理。OLTP的特点有：a.实时性要求高；b.数据量不是很大。C.交易一般是确定的，是对确定性数据进行存取。d.并发性要求高且严格的要求事务的完整性，安全性。 OLTP和OLAP的区别：1）用户和系统的面向性:OLTP面向顾客，而OLAP面向市场；2）数据容：OLTP 系统管理当前数据，而OLAP管理历史的数据；3）数据库设计：OLTP系统采用实体-联系（ER)模型和面向应用的数据库设计，而OLAP系统通常采用星形和雪花模型；4）视图：OLTP系统主要关注一个企业或部门部的当前数据，而OLAP 系统主要关注汇总的统一的数据；5）访问模式：OLTP访问主要有短的原子事务组成，而OLAP系统的访问大部分是只读操作，尽管许多可能是复杂的查询。 7、PageRank算法原理：1）在初始阶段：构建Web图，每个页面初始设置相同的PageRank 值，通过迭代计算，会得到每个页面所获得的最终PageRank值。2）在一轮中更新页面 PageRank得分的计算方法：每个页面将其当前的PageRank值平均分配到本页面包含的出 链上。每个页面将所有指向本页面的入链所传入的权值求和，即可得到新的PageRank得分。 优点：是一个与查询无关的静态算法，所有网页的PageRank值通过离线计算获得；有效减 少在线查询时的计算量，极大降低了查询响应时间。 缺点：1）人们的查询具有主题特征，PageRank忽略了主题相关性，导致结果的相关性和主 题性降低。2）旧的页面等级会比新页面高。因为即使是非常好的新页面也不会有很多上游， 除非它是某个站点的子站点。
文本数据挖掘及其应用
文本数据挖掘及其应用
文本数据挖掘及其应用 摘要：随着Internet上文档信息的迅猛发展，文本分类成为处理和组织大量文档数据的关键技术。本文首先对文本挖掘进行了概述包括文本挖掘的研究现状、主要内容、相关技术以及热点难点进行了探讨，然后通过两个例子简单地说明了文本挖掘的应用问题。 关键词：文本挖掘研究现状相关技术应用 1 引言 随着科技的发展和网络的普及，人们可获得的数据量越来越多，这些数据多数是以文本形式存在的。而这些文本数据大多是比较繁杂的，这就导致了数据量大但信息却比较匮乏的状况。如何从这些繁杂的文本数据中获得有用的信息越来越受到人们的关注。“在文本文档中发现有意义或有用的模式的过程"n1的文本挖掘技术为解决这一问题提供了一个有效的途径。而文本分类
技术是文本挖掘技术的一个重要分支，是有效处理和组织错综复杂的文本数据的关键技术，能够有效的帮助人们组织和分流信息。 2 文本挖掘概述 2.1文本挖掘介绍 数据挖掘技术本身就是当前数据技术发展的新领域，文本挖掘则发展历史更短。传统的信息检索技术对于海量数据的处理并不尽如人意，文本挖掘便日益重要起来，可见文本挖掘技术是从信息抽取以及相关技术领域中慢慢演化而成的。 1）文本挖掘的定义 文本挖掘作为数据挖掘的一个新主题引起了人们的极大兴趣，同时它也是一个富于争议的研究方向。目前其定义尚无统一的结论，需要国内外学者开展更多的研究以进行精确的定义，类似于我们熟知的数据挖掘定义。我们对文本挖掘作如下定义。 定义 2.1.1 文本挖掘是指从大量文本数据中抽取事先未知的可理解的最终可用的信息或知识的过程。直观地说，当数据挖掘的对象完全由文本这种数据类型组成时，这个过程就称为文
《文本数据挖掘》教学大纲
文本数据挖掘教学大纲 课程名称：文本数据挖掘 学分：2 总学时：32 理论学时：24 实验学时：8 先修课程：数据库原理与应用、Python高级语言编程、数据结构 适用专业: 数据工程专业 开课学期：第六学期 01课程性质、定位和教学目标 课程性质：文本数据挖掘是数据工程专业的必修课程，本课程以文本数据挖掘为主要内容，讲述实现文本数据挖掘的各主要功能、挖掘算法和应用，并通过对实际数据的分析更加深入地理解常用的文本数据挖掘模型。 课程定位：“文本数据挖掘技术导论”是针对数据工程专业的专业技术课程，同时也是该专业的核心课程，也是本专业创业创新教育课程。在学生专业培养中起到至关重要的作用。 教学目标：通过“文本数据挖掘技术导论”课程的教学，使学生理解文本数据挖掘的基本概念和方法，学习和掌握中的文本数据挖掘的经典方法。使学生能够借助Python高级语言编程工具进行具体文本数据的挖掘分析。 02教学内容与要求 第一章绪论 【教学目的与要求】 了解文本挖掘研究背景、意义及国内外研究现状，掌握文本挖掘的概念，了解文本挖掘主要研究领域，了解文本挖掘在制药企业应用案例。 【教学内容】 1.1 文本挖掘研究背景及意义 1.2 文本挖掘的国内外研究现状 1.3 文本挖掘概述 1.4 文本挖掘的过程 1.5 文本挖掘在制药企业应用案例 【教学重点与难点】 重点：文本挖掘研究背景、意义国内外研究现状、文本挖掘概念 难点：文本挖掘的过程 【教学手段】 利用网络环境、多媒体课件，案例教学、实理一体化教学方法等
【课后作业】 1. 文本挖掘与数据挖掘有何联系和区别？ 2. 目前文本挖掘的领域主要涉及到哪些？ 第二章文本切分及特征词选择 【教学目的与要求】 掌握文本数据采集的常用方法、了解中文语料库与词典，熟练掌握文本切分和文本特征词选择的方法，熟练掌握Python Jieba分词模块及其用法。 【教学内容】 2.1 文本数据采集 2.2 语料库与词典简介 2.3 文本切分 2.4 文本特征词选择 2.5 Python Jieba分词模块及其用法 【教学重点与难点】 重点：文本切分、文本特征词选择、Python Jieba分词模块及其用法 难点：Python Jieba分词模块及其用法 【教学手段】 利用网络环境、多媒体课件，案例教学、实理一体化教学方法等 【课后作业】 1 利用现代汉语语料库进行一段中文文本的汉语分词、词性自动标注、字频统计和词频统计。 2 用Python实现双向最大匹配的算法。 3 利用jieba进行一段中文文本的三种模式的分词。 第三章文本表示模型 【教学目的与要求】 熟练掌握文本预处理的常用方法、掌握向量模型、概率模型和主题概率模型的概念及Python的实现。 【教学内容】 3.1 文本预处理 3.2 向量空间模型 3.3 概率模型
数据挖掘相关论文
数据挖掘论文 题目：数据挖掘技术在电子商务中的应用系别：计算机学院 专业：11网络工程1班 学生姓名：黄坤 学号：1110322111 指导教师：江南 2014年11月06 日
数据挖掘技术在电子商务中的应用 一、研究原因 电子商务在现代商务活动中的正变得日趋重要，随着大数据时代的到来，商务信息显得尤为重要，在电子商务中谁掌握了有利的市场信息，谁就能在这个竞争激烈电商行业中占据绝对的优势。而数据挖掘技术是获取信息的最有效的技术工具。本文讨论了数据挖掘的主要方法，具体阐述了数据挖掘技术在电子商务中的作用及应用。 在信息经济时代，对企业来说，谁对市场变化反应速度快，谁将在激烈的市场竞争中占据有利的地位，竞争的结果最终将促使企业价值从市场竞争输家转移到赢家，这样就使企业面临一个问题：如何才能把大量的数据资源，转化成自身价值呢？要想使数据真正成为一个公司的资源，只有充分利用它为公司自身的业务决策和战略发展服务才行，否则大量的数据可能成为包袱，甚至成为垃圾。因此，面对“人们被数据淹没，人们却饥饿于知识”的挑战，数据挖掘和知识发现(DMKD)技术应运而生，并得以蓬勃发展，越来越显示出其强大的生命力。 二、2.1国内研究现状 KDD（从数据库中发现知识）一词首次出现在1989年8月举行的第11届国际联合人工智能学术会议上。迄今为止,由美国人工智能协会主办的KDD已经召开了7次,规模由原来的专题讨论会发展到国际学术大会,人数由二三十人到七八百人,论文收录比例从2X1到6X1,研究重点也逐渐从发现方法转向系统应用,并且注重多种发现策略和技术的集成,以及多种学科之间的相互渗透。其他内容的专题会议也把数据挖掘和知识发现列为议题之一,成为当前计算机科学界的一大热点。此外,数据库、人工智能、信息处理、知识工程等领域的国际学术刊物也纷纷开辟了KDD专题或专刊。IEEE的Knowledge and Data Engineering 会刊领先在1993年出版了KDD技术专刊,所发表的5篇论文代表了当时KDD研究的最新成果和动态,较全面地论述了KDD 系统方法论、发现结果的评价、KDD系统设计的逻辑方法,集中讨论了鉴于数据库的动态性冗余、高噪声和不确定性、空值等问题,KDD系统与其它传统的机器学习、专家系统、人工神经网络、数理统计分析系统的联系和区别,以及相应的基本对策。6篇论文摘要展示了KDD在从建
数据挖掘复习知识点整理超详细
必考知识点： 信息增益算法/ ID3决策树(计算) (详细见教材) 使用朴素贝叶斯分类预测类标号(计算) FP-TREE(问答) (详细见教材) 数据仓库的设计(详见第二章)(问答) (见PPT) 数值规约Equi-depth、equi-width、v-optimal、maxdiff(问答) (详细见教材) BUC (这个也要考，但不记得怎么考的了) 后向传播神经网络(名词解释) K-平均，K-中心点，DBSCAN 解析特征化(这个也要考) 总论 数据挖掘：是从大量数据中发现有趣（非平凡的、隐含的、先前未知、潜在有用）模式，这些数据可以存放在数据库，数据仓库或其他信息存储中。 挖掘流程： (1)学习应用域（2）目标数据创建集（3）数据清洗和预处理（4）数据规约和转换（5）选择数据挖掘函数（总结、分类、回归、关联、分类）（6）选择挖掘算法（7）找寻兴趣度模式（8）模式评估和知识展示（9）使用挖掘的知识 概念/类描述：一种数据泛化形式，用汇总的、简洁的和精确的方法描述各个类和概念，通过（1）数据特征化：目标类数据的一般特性或特征的汇总；（2）数据区分：将目标类数据的一般特性与一个或多个可比较类进行比较；（3）数据特征化和比较来得到。 关联分析：发现关联规则，这些规则展示属性-值频繁地在给定数据集中一起出现的条件，通常要满足最小支持度阈值和最小置信度阈值。 分类：找出能够描述和区分数据类或概念的模型，以便能够使用模型预测类标号未知的对象类，导出的模型是基于训练集的分析。导出模型的算法：决策树、神经网络、贝叶斯、（遗传、粗糙集、模糊集）。 预测：建立连续值函数模型，预测空缺的或不知道的数值数据集。 孤立点：与数据的一般行为或模型不一致的数据对象。 聚类：分析数据对象，而不考虑已知的类标记。训练数据中不提供类标记，对象根据最大化类内的相似性和最小化类间的原则进行聚类或分组，从而产生类标号。 第二章数据仓库 数据仓库是一个面向主题的、集成的、时变的、非易失的数据集合，支持管理部门的决策过程。从一个或多个数据源收集信息，存放在一个一致的模式下，并且通常驻留在单个站点。数据仓库通过数据清理、变换、继承、装入和定期刷新过程来构造。面向主题：排除无用数据，提供特定主题的简明视图。集成的：多个异构数据源。时变的：从历史角度提供信息，隐含时间信息。非易失的：和操作数据的分离，只提供初始装入和访问。 联机事务处理OLTP：主要任务是执行联机事务和查询处理。 联系分析处理OLAP：数据仓库系统在数据分析和决策方面为用户或‘知识工人’提供服务。这种系统可以用不同的格式和组织提供数据。OLAP是一种分析技术，具有汇总、合并和聚集功能，以及从不同的角度观察信息的能力。
一种文本分类数据挖掘的技术
一种文本分类数据挖掘的技术 来源：网店装修 https://www.sodocs.net/doc/a018549871.html, 摘要挖掘的理论和应用研究是数据挖掘领域一个新的重要分支，本文介绍了一种文本数据挖掘方法。并给出了一个基于该方法的文本分类系统的实验结果，实验结果表明了该方法的可行性。关键词文本挖掘；文本分类；数据挖掘；VSM 本文首先讨论了文本挖掘技术的定义、功能、分类等问题,接着重点研究了文本分类的关键理论问题,包括分词、特征提取、特征匹配等方面,并简述了我们开发的一个简单的文本分类系统的实验情况,最后是结束语。 1文本挖掘简介 1.1 文本挖掘的定义 文本挖掘作为数据挖掘的一个新主题，引起了人们的极大兴趣，同时，它也是一个富于争议的研究方向，目前其定义尚无统一的结论，需要国内外学者开展更多的研究以便进行精确地定义。类似于我们熟知的数据挖掘定义，我们对文本挖掘作如下定义。定义1：文本挖掘是指从大量文本数据中抽取事先未知的、可理解的、最终可用的信息或知识的过程。 直观的说，当数据挖掘的对象完全由文本这种数据类型组成时，这个过程就称为文本挖掘。文[1]已对Web挖掘与信息检索进行了比较研究，在此，我们不再详细讨论文本挖掘与信息检索的关系，我们认为随着文本挖掘技术研究的发展，将之应用到信息检索领域，必将能进一步提高信息检索的精度和效率。 1.2 文本挖掘的分类
文本挖掘从功能上可以分为总结、分类、聚类、趋势预测等。文本总结是指从文档中抽取关键信息，用简洁的形式对文档内容进行摘要或解释。从而用户不需要浏览全文就可以了解文档或文档集合的总体内容。文本总结在有些场合非常有用，例如，搜索引擎在向用户返回查询结果时，通常需要给出文档的摘要。目前，绝大部分搜索引擎采用的方法是简单地截取文档的前几行。 文本分类是指按照预先定义的分类体系，将文档集合的每个文档归入某个类别。这样，用户不但能够方便浏览文档，而且可以通过限制搜索范围来使文档的查找更为容易。目前，Yahoo仍然是通过人工对Web 文档进行分类，这大大限制了其索引页面的数目和覆盖范围。可以说研究文本分类有着广泛的商业前景和应用价值。 文本聚类与分类的不同在于，聚类没有预先定义的主题类别，是一种典型的无教师的机器学习问题。它的目标是将文档集合分成若干簇，且同一簇内的文档相似度尽可能大。聚类的结果可以用来指导分类。文[2，3]介绍了利用文档进行分布分析和趋势预测的情况。以上功能的研究在国外研究得比较的多，但都是基于英文环境的。在国内，数据挖掘研究者对中文文本的研究还刚刚开始，如何借鉴现有中文处理技术对文本进行挖掘仍有很多问题亟待解决。 2. 文本分类我们开发了一个简单的文本分类系统(STCS)，下面分别介绍其中的各项关键技术。 2.1 文本信息的预处理在对文档进行特征提取前，需要先进行文本信息的预处理，对英文而言需进行Stemming处理，中文的情况则不同，因为中文词与词之间没有固有的间隔符，需要进行分词处理。在中文信息处理领域，对中文自动分词研究已经得比较多了，提出了一些分词方法，如最大匹配法、逐词遍历匹配法、最小匹配法等。文[4]中采用
相关文档
- 数据挖掘与数据库知识发现-统计学的观点
- 知识发现与数据挖掘分析
- 知识发现和数据挖掘
- 12空间数据挖掘和知识发现
- 1213年第2学期《数据挖掘与知识发现》期末考试试卷及答案
- 知识发现与数据挖掘
- 李德仁院士_空间数据挖掘和知识发现解析
- 数据挖掘与知识发现-课程
- 数据挖掘与知识发现(讲稿12---文本挖掘)
- 1213 年第2学期《数据挖掘与知识发现》期末考试试卷及答案
- 第六章数据挖掘与知识发现
- 数据挖掘与知识发现
- 数据挖掘与知识发现
- 机器学习_KDD Cup 1999 Data Data Set(知识发现和数据挖掘杯1999数据集)
- 数据挖掘与知识发现(第二章)
- 数据挖掘与知识发现
- 知识发现和数据挖掘--史忠植
- 知识发现与数据挖掘
- 知识发现与数据挖掘概述
- 空间数据挖掘和知识发现