Weka[4] 特征选择

Weka[4] 特征选择

作者：Koala++/屈伟

特征选择，我对这一部分也不熟，大概讲一下，用AttributeSelection进行特征选择，它需要设置3个方面，第一：对属性评价的类（自己到Weka软件里看一下，英文Attribute Evaluator），第二：搜索的方式（自己到Weka软件里看一下，英文Search Method），第三：就是你要进行特征选择的数据集了。最后调用Filter的静态方法userFilter，感觉写的都是废话，一看代码就明白了。唯一值得一说的也就是别把AttributeSelection的包加错了，代码旁边有注释。

另一个函数懒的解释了（它也不是我写的），基本上是自解释的，不太可能看不懂。package instanceTest;

import java.io.FileReader;

import java.util.Random;

import weka.attributeSelection.CfsSubsetEval;

import weka.attributeSelection.GreedyStepwise;

import weka.classifiers.Evaluation;

import weka.classifiers.meta.AttributeSelectedClassifier;

import weka.classifiers.trees.J48;

import weka.core.Instances;

import weka.filters.Filter;

import weka.filters.supervised.attribute.AttributeSelection;

public class FilterTest

{

private Instances m_instances = null;

public void getFileInstances( String fileName ) throws Exception

{

FileReader frData = new FileReader( fileName );

m_instances = new Instances( frData );

m_instances.setClassIndex( m_instances.numAttributes() - 1 );

}

public void selectAttUseFilter() throws Exception

{

AttributeSelection filter = new AttributeSelection(); // package

weka.filters.supervised.attribute!

CfsSubsetEval eval = new CfsSubsetEval();

GreedyStepwise search = new GreedyStepwise();

filter.setEvaluator(eval);

filter.setSearch(search);

filter.setInputFormat( m_instances );

System.out.println( "number of instance attribute = " +

m_instances.numAttributes() );

Instances selectedIns = https://www.sodocs.net/doc/2218349282.html,eFilter( m_instances, filter);

System.out.println( "number of selected instance attribute = " +

selectedIns.numAttributes() );

}

public void selectAttUseMC() throws Exception

{

AttributeSelectedClassifier classifier = new AttributeSelectedClassifier();

CfsSubsetEval eval = new CfsSubsetEval();

GreedyStepwise search = new GreedyStepwise();

J48 base = new J48();

classifier.setClassifier( base );

classifier.setEvaluator( eval );

classifier.setSearch( search );

// 10-fold cross-validation

Evaluation evaluation = new Evaluation( m_instances );

evaluation.crossValidateModel(classifier, m_instances, 10, new Random(1));

System.out.println( evaluation.toSummaryString() );

}

public static void main( String[] args ) throws Exception

{

FilterTest filter = new FilterTest();

filter.getFileInstances( "F://Program Files//Weka-3-4//data//soybean.arff");

filter.selectAttUseFilter();

filter.selectAttUseMC();

}

}

常见的特征选择或特征降维方法

URL:https://www.sodocs.net/doc/2218349282.html,/14072.html 特征选择(排序)对于数据科学家、机器学习从业者来说非常重要。好的特征选择能够提升模型的性能，更能帮助我们理解数据的特点、底层结构，这对进一步改善模型、算法都有着重要作用。 特征选择主要有两个功能： 1.减少特征数量、降维，使模型泛化能力更强，减少过拟合 2.增强对特征和特征值之间的理解 拿到数据集，一个特征选择方法，往往很难同时完成这两个目的。通常情况下，选择一种自己最熟悉或者最方便的特征选择方法（往往目的是降维，而忽略了对特征和数据理解的目的）。 在许多机器学习的书里，很难找到关于特征选择的容，因为特征选择要解决的问题往往被视为机器学习的一种副作用，一般不会单独拿出来讨论。本文将介绍几种常用的特征选择方法，它们各自的优缺点和问题。 1 去掉取值变化小的特征Removing features with low variance 这应该是最简单的特征选择方法了：假设某种特征的特征值只有0和1，并且在所有输入样本中，95%的实例的该特征取值都是1，那就可以认为这个特征作用不大。如果100%都是1，那这个特征就没意义了。当特征值都是离散型变量的时候这种方法才能用，如果是连续型变量，就需要将连续变量离散化之后才能用，而且实际当中，一般不太会有95%以上都取某个值的特征存在，所以这种方法虽然简单但是不太好用。可以把它作为特征选择的预处理，先去掉那些取值变化小的特征，然后再从接下来提到的特征选择方法中选择合适的进行进一步的特征选择。

2 单变量特征选择Univariate feature selection 单变量特征选择能够对每一个特征进行测试，衡量该特征和响应变量之间的关系，根据得分扔掉不好的特征。对于回归和分类问题可以采用卡方检验等方式对特征进行测试。 这种方法比较简单，易于运行，易于理解，通常对于理解数据有较好的效果（但对特征优化、提高泛化能力来说不一定有效）；这种方法有许多改进的版本、变种。 2.1 Pearson相关系数Pearson Correlation 皮尔森相关系数是一种最简单的，能帮助理解特征和响应变量之间关系的方法，该方法衡量的是变量之间的线性相关性，结果的取值区间为[-1，1]，-1表示完全的负相关(这个变量下降，那个就会上升)，+1表示完全的正相关，0表示没有线性相关。 Pearson Correlation速度快、易于计算，经常在拿到数据(经过清洗和特征提取之后的)之后第一时间就执行。 Pearson相关系数的一个明显缺陷是，作为特征排序机制，他只对线性关系敏感。如果关系是非线性的，即便两个变量具有一一对应的关系， Pearson相关性也可能会接近0。 2.2 互信息和最大信息系数Mutual information and maximal information coefficient (MIC)

特征选择方法在建模中的应用

特征选择方法在建模中的应用 ——以CHAID树模型为例 华东师范大学邝春伟

特征选择是指从高维特征集合中根据某种评估标准选择输出性能最优的特征子集,其目的是寻求保持数据集感兴趣特性的低维数据集合,通过低维数据的分析来获得相应的高维数据特性,从而达到简化分析、获取数据有效特征以及可视化数据的目标。 目前，许多机构的数据均已超载，因此简化和加快建模过程是特征选择的根本优势。通过将注意力迅速集中到最重要的字段（变量）上，可以降低所需的计算量，并且可以方便地找到因某种原因被忽略的小而重要的关系，最终获得更简单、精确和易于解释的模型。通过减少模型中的字段数量，可以减少评分时间以及未来迭代中所收集的数据量。 减少字段数量特别有利于Logistic 回归这样的模型。

SPSS Modeler是一个非常优秀的数据挖掘软件。它的前身是SPSS Clementine及PASW Modeler。该软件 的特征选择节点有助于识别用于预测特定结果的最重要的字段。特征选择节点可对成百乃至上千个预测变量进行筛选、排序，并选择出可能是最重要的预测变量。最后，会生成一个执行地更快且更加有效的模型—此模型使用较少的预测变量，执行地更快且更易于理解。 案例中使用的数据为“上海高中生家庭教育的调查”，包含有关该CY二中的304名学生参与环保活动的信息。 该数据包含几十个的字段（变量），其中有学生年龄、性别、家庭收入、身体状况情况等统计量。其中有一个“目标”字段，显示学生是否参加过环保活动。我们想利用这些数据来预测哪些学生最可能在将来参加环保活动。

案例关注的是学生参与环保活动的情况，并将其作为目标。案例使用CHAID树构建节点来开发模型，用以说明最有可能参与环保活动的学生。其中对以下两种方法作了对比： ?不使用特征选择。数据集中的所有预测变量字段 均可用作CHAID 树的输入。 ?使用特征选择。使用特征选择节点选择最佳的4 个预测变量。然后将其输入到CHAID 树中。 通过比较两个生成的树模型，可以看到特征选择如何产生有效的结果。

常见的特征选择或特征降维方法

URL:https://www.sodocs.net/doc/2218349282.html,/14072.html 特征选择(排序)对于数据科学家、机器学习从业者来说非常重要。好的特征选择能够提升模型的性能，更能帮助我们理解数据的特点、底层结构，这对进一步改善模型、算法都有着重要作用。 特征选择主要有两个功能： 1.减少特征数量、降维，使模型泛化能力更强，减少过拟合 2.增强对特征和特征值之间的理解 拿到数据集，一个特征选择方法，往往很难同时完成这两个目的。通常情况下，选择一种自己最熟悉或者最方便的特征选择方法（往往目的是降维，而忽略了对特征和数据理解的目的）。 在许多机器学习的书里，很难找到关于特征选择的内容，因为特征选择要解决的问题往往被视为机器学习的一种副作用，一般不会单独拿出来讨论。本文将介绍几种常用的特征选择方法，它们各自的优缺点和问题。 1 去掉取值变化小的特征 Removing features with low variance 这应该是最简单的特征选择方法了：假设某种特征的特征值只有0和1，并且在所有输入样本中，95%的实例的该特征取值都是1，那就可以认为这个特征作用不大。如果100%都是1，那这个特征就没意义了。当特征值都是离散型变量的时候这种方法才能用，如果是连续型变量，就需要将连续变量离散化之后才能用，而且实际当中，一般不太会有95%以上都取某个值的特征存在，所以这种方法虽然简单但是不太好用。可以把它作为特征选择的预处理，先去掉那些取值变化小的特征，然后再从接下来提到的特征选择方法中选择合适的进行进一步的特征选择。 2 单变量特征选择 Univariate feature selection

特征选择算法综述20160702

特征选择方法综述 控制与决策2012.2 问题的提出 特征选择框架基于搜索策略划分特征选择方法基于评价准则划分特征选择方法结论 一、问题的提出特征选择是从一组特征中挑选出一些最有效的特征以降低特征空间维数的过程，是模式识别的关键问题之一。对于模式识别系统，一个好的学习样本是训练分类器的关键，样本中是否含有不相关或冗余信息直接影响着分类器的性能。因此研究有效的特征选择方法至关重要。 特征选择算法的目的在于选择全体特征的一个较少特征集合，用以对原始数据进行有效表达按照特征关系度量划分，可分为依赖基尼指数、欧氏距离、信息熵。 、特征选择框架 由于子集搜索是一个比较费时的步骤，一些学者基于相关和冗余分析，给出了下面一种特征选择框架，避免了子集搜索，可以高效快速地寻找最优子集。 从特征选择的基本框架看出，特征选择方法中有4 个基本步骤：候选特征子集的生成（搜索策略）、评价准则、停止准则和验证方法。目前对特征选择方法的研究主要集中于搜索策略和评价准则。因而，本文从搜索策略和评价准则两个角度对特征选择方法进行分类。 三、基于搜索策略划分特征选择方法 基本的搜索策略按照特征子集的形成过程，形成的特征选择方法如下：

图3 基于搜索策略划分特征选择方法 其中，全局搜索如分支定界法，存在问题： 1）很难确定优化特征子集的数目； 2）满足单调性的可分性判据难以设计； 3）处理高维多类问题时，算法的时间复杂度较高。 随机搜索法如模拟退火、遗传算法、禁忌搜索算法等，存在问题： 1）具有较高的不确定性，只有当总循环次数较大时，才可能找到较好的结果。 2）在随机搜索策略中，可能需对一些参数进行设置，参数选择的合适与否对最终结果的好坏起着很大的作用。 启发式搜索如SFS、SBS、SFFS、SFBS等，存在问题： 1）虽然效率高，但是它以牺牲全局最优为代价。 每种搜索策略都有各自的优缺点，在实际应用过程中，根据具体环境和准则函数来寻找一个最佳的平衡点。例如，特征数较少，可采用全局最优搜索策略；若不要求全局最优，但要求计算速度快，可采用启发式策略；若需要高性能的子集，而不介意计算时间，则可采用随机搜索策略。 四、基于评价准则划分特征选择方法

Machine Learning-特征工程之特征选择

特征工程之特征选择 简介 1 Filter（过滤式选择） 1.1 移除低方差特征（variance threshold） 1.2 信息增益（information gain） 1.3 单变量特征选择(Univariate feature selection) 1.3.1 卡方检验(chi-square test) 1.3.2 Pearson 相关系数(Pearson Correlation) 1.3.3 费雪分数（fisher score） 1.4 Relief(Relevant Features) 2 Wrapper（包裹式选择） 2.1 递归特征消除（recursive feature elimination） 2.2 遗传算法（genetic algorithms） 2.3 拉斯维加斯方法（Las Vegas Wrapper） 3 Embedded（嵌入式选择） 3.1 L1（LASSO ） 3.2 决策树、随机森林、极限树 简介 随着科技的发展，数据量越来越大，在建立模型时，考虑的数据维度越来越广，所以建里模型前的降维越来越重要，降温的方式一般有两种，其一是用原始的维度合成新的重要维度，例如SVD和PCA，其二是在原始的维度中保留

重要维度，剔除次要维度。 第一种降维方式的优点是可以简单高效的合成重要维度，缺点是合成的维度失去其现实中的可解释性。第二种降维方式的优点是保持其原始的可解释性，缺点是计算比第一种相对复杂。 所以在图片识别，声音识别等不需要解释中间变量的模型领域经常采用第一种建模方式，在金融领域往往需要追求变量的可解释性，所以经常采用第二种降维方式。 本文主要采用第二种降维方式，也就是在原有的特征中进行特征选择。这种降维的方法其关键分为两大步：第一步：如何遍历所有特征。第二步：如何判断特征的重要性。 如何遍历所有特征。 在第一步中可使用前向搜索，后向搜索和双向搜索方法遍历所有特征，这三种遍历方法全部是贪心算法，最求每一步最优，不是全局最优。 1、前向搜索：首先对单特征进行遍历，找到此次遍历中最重要的特征，然后保留这个特征，遍历这个特征和其他任一特征的组合的主要性，找到第二重要的特征，保留这两个特征，遍历这个两个特征和其他任一特征的组合的重要性，找到第三个特征，保留着三个特征，以次下去，即可对全部特征进行重要性排序。 2、后向搜索：与前向搜索相反，开始在全部特征中遍历剔除一个特征，找到影响重要性最小的特征，将其剔除，然后，在剩下的n-1个特征中遍历剔除一个特征，找到影响重要性最小的特征，以此下去，即可对全部特征进行重要性排序。 3、双向搜索：同时进行向前和向后搜索，但是一定要注意，向后搜索一定不要剔除向前搜索选中的特征。 如何判断特征的重要性。 如何判断特征的重要性，有很多方法，如：信息熵、相关系数、信息价值（Information Value），具体方法下面会具体介绍。 主要方法分类 特征筛选降维的方法主要分为三大类：过滤法（Filter）、包裹法（Wrapper）、嵌入法（Embedded）。这三者的区别和具体算法下面进行具体介绍。

信息熵特征选择方案样本

基于互信息的特征选择 1. 模型 定义D1 病集S 由有关心脏病病种i X ( i =1, 2, …, n) 组成, 令患者的疾病信息熵1-2为: )(1log )()(1i n i i X P X P X H ∑=-= (1) 显然疾病信息熵具有Shannon 信息熵的性质, 反映了临床中具体病人的客观信息及实际医疗干预过程中所表现的信息在总体特征上的平均不确定性. 定义D2: 一个诊断病例库能够表示为关于病例特征的矩阵形式 n m ij x Casebase ?=][ (2) 其中, ij x —病例库中第j 个病例的第i 个属性值; m —病例特征数量; n —病例库规模; 定义D3: 一个信息系统( IS) 能够表示为 ,,,r r f R I U R V f ∈=<> (3) 其中, U 是对象的非空有限集合, R 是属性的非空有限集合, r r R V V ∈= 是属性值 的集合, V r 表示了属性任意r R ∈时的属性值范围, :r f U R V ?→ 是一个信息函数, 它指定U 中每一个对象 x 的属性值. 1 马笑潇, 黄席樾, 等. 基于信息熵的诊断过程认知信息流分析[J]. 重庆大学学报: 自然科学版, ,25(5):25-28. 2 王园, 吉国力, 魏磊. 信息熵在临床定量诊断分析中的研究及应用[J]. 厦门大学学报: 自然科学版, ,43(B08):353-356.

当R 中的属性集可进一步分解为条件属性集合C 和决策属性集合D, 且满足 ,R C D C D =? ?=?时, 信息系统(IS)称为决策系统(DS)3. a i 为某一条件属性, 则决策属性D 对某一条件属性a i 的依赖程度能够利用下式计算4-5: ( 4) 式中, R C 、 R D 分别表示条件属性集合C 和策属性集合D 在论域上的等价关 系.()D C R H R 表示R D 相对于R C 的条件熵.(,)i I a D 的值越大, 则条件属性a i 对决策属性D 的重要性越大.如果(,)0i I a D =, 则说明a i 对于D 不起作用, 能够删除.在基于属性信息增益的约简方法中, 计算案例库属性集的每个属性的信息增益, 并约定属性的信息增益大于某个阈值时就将该属性归入最优属性子集, 否则弃用属性. 1.3 基于互信息的特征选择6: 三种经典的基于互信息的特征选择算法, 分别为信息增益、 互信息和交叉熵, 以及于互信息最大化的特征选择算法7。 3 张文宇. 数据挖掘与粗糙集方法[M]. 西安电子科技大学出版社, : 49. 4 屈利, 苑津莎, 李丽. 基于事例推理的电力系统短期负荷预测[J]. 电力科学与工程, ,24(2):59-63. 5 程其云, 孙才新, 周湶, 等. 粗糙集信息熵与自适应神经网络模糊系统相结合的电力短期负荷预测模型及方法[J]. 电网技术, ,28 (17): 72-75. 6 Li Y F, Xie M, Goh T N. A study of mutual information based feature selection for case based reasoning in software cost estimation [J]. Expert Systems with Applications, , 36(3, Part 2): 5921-5931. 7唐亮,段建国,许洪波,梁玲.基于互信息最大化的特征选择算法及应用[J]. 计算机工程与应用, ,44(13):130-133

新颖的判别性特征选择方法

龙源期刊网 https://www.sodocs.net/doc/2218349282.html, 新颖的判别性特征选择方法 作者：吴锦华等 来源：《计算机应用》2015年第10期 摘要：作为数据预处理的一种常用的手段，特征选择不仅能够提高分类器的分类性能，而且能增加对分类结果的解释性。针对基于稀疏学习的特征选择方法有时会忽略一些有用的判别信息而影响分类性能的问题，提出了一种新的判别性特征选择方法——DLASSO，用于选择出更具有判别力的特征。首先DLASSO模型包含一个L1范式正则化项，用于产生一个稀疏解；其次，为了诱导出更具有判别力的特征，模型中增加了一个新的判别性正则化项，用于保留同类样本以及不同类样本之间几何分布信息，用于诱导出更具有判别力的特征。在一系列Benchmark数据集上的实验结果表明，与已有方法相比较，DLASSO不仅能进一步提高分类器的分类精度，而且对参数也较为鲁棒。 关键词：特征选择；稀疏解； L1范式；判别正则化项；分类 中图分类号： TP181 文献标志码：A Abstract： As a kind of common method for data preprocessing， feature selection can not only improve the classification performance， but also increase the interpretability of the classification results. In sparselearningbased feature selection methods， some useful discriminative information is ignored， and it may affect the final classification performance. To address this problem， a new discriminative feature selection method called Discriminative Least Absolute Shrinkage and Selection Operator （DLASSO） was proposed to choose the most discriminative features. In detail， firstly，the proposed DLASSO method contained a L1norm regularization item， which was used to produce sparse solution. Secondly， in order to induce the most discriminative features， a new discriminative regularization term was introduced to embed the geometric distribution information of samples with the same class label and samples with different class labels. Finally， the comparison experimental results obtained from a series of Benchmark datasets show that， the proposed DLASSO method can not only improve the classification accuracy， but also be robust against parameters. Key words： feature selection； sparse solution； L1norm； discriminative regularization item； classification 0引言 在机器学习和模式识别领域，传统学习算法经常遇到“维数灾难””问题[1]。在此情形下，降低数据维度的方法不仅能够提高计算效率和改善分类的性能，而且能够增加对分类结果的解

特征选择算法综述20160702

特征选择方法综述 控制与决策 2012.2 ●问题的提出 ●特征选择框架 ●基于搜索策略划分特征选择方法 ●基于评价准则划分特征选择方法 ●结论 一、问题的提出 特征选择是从一组特征中挑选出一些最有效的特征以降低特征空间维数的过程，是模式识别的关键问题之一。对于模式识别系统，一个好的学习样本是训练分类器的关键，样本中是否含有不相关或冗余信息直接影响着分类器的性能。因此研究有效的特征选择方法至关重要。 特征选择算法的目的在于选择全体特征的一个较少特征集合，用以对原始数据进行有效表达按照特征关系度量划分，可分为依赖基尼指数、欧氏距离、信息熵。 二、特征选择框架 由于子集搜索是一个比较费时的步骤，一些学者基于相关和冗余分析，给出了下面一种特征选择框架，避免了子集搜索，可以高效快速地寻找最优子集。 从特征选择的基本框架看出，特征选择方法中有4个基本步骤：候选特征子集的生成（搜索策略）、评价准则、停止准则和验证方法。目前对特征选择方法的研究主要集中于搜索策略和评价准则。因而，本文从搜索策略和评价准则两个角度对特征选择方法进行分类。

三、基于搜索策略划分特征选择方法 基本的搜索策略按照特征子集的形成过程，形成的特征选择方法如下： 图3基于搜索策略划分特征选择方法 其中，全局搜索如分支定界法，存在问题： 1）很难确定优化特征子集的数目； 2）满足单调性的可分性判据难以设计； 3）处理高维多类问题时，算法的时间复杂度较高。 随机搜索法如模拟退火、遗传算法、禁忌搜索算法等，存在问题： 1）具有较高的不确定性，只有当总循环次数较大时，才可能找到较好的结果。 2）在随机搜索策略中，可能需对一些参数进行设置，参数选择的合适与否对最终结果的好坏起着很大的作用。 启发式搜索如SFS、SBS、SFFS、SFBS等，存在问题： 1）虽然效率高，但是它以牺牲全局最优为代价。 每种搜索策略都有各自的优缺点，在实际应用过程中，根据具体环境和准则函数来寻找一个最佳的平衡点。例如，特征数较少，可采用全局最优搜索策略；若不要求全局最优，但要求计算速度快，可采用启发式策略；若需要高性能的子集，而不介意计算时间，则可采用随机搜索策略。 四、基于评价准则划分特征选择方法

有关特征选择内容

特征选择和集成学习是当前机器学习中的两大研究热点,其研究成果己被广泛地应用于提高单个学习器的泛化能力。 特征选择是指从原始特征集中选择使某种评估标准最优的特征子集。其目的是根据一些准则选出最小的特征子集,使得任务如分类、回归等达到和特征选择前近似甚至更好的效果。通过特征选择,一些和任务无关或者冗余的特征被删除,简化的数据集常常会得到更精确的模型,也更容易理解。 滤波式(filter)方法的特征评估标准直接由数据集求得，而无需学习算法进行反馈，其优点是运行效率高，因此非常适用于集成学习.假设用于集成的特征选择算法有k种,,抽取产生m 个子训练集，在每个训练集上利用其中一种特征选择算法选出满足条件的属性作为个体svm训练的输入空间，并训练得到m个svm个体，然后对其他的特征选择算法重复执行上述过程，最后将得到的k*m 个子svm的预测结果集成. 特征选择是从一组数量为D 的原始特征中选出数量为d(D>d)的一组最优特征采用遗传退火算法进行特征选择.随机生成长度为 D 的二进制串个体其中1 的个数为d 。连续产生这样的个体M 个M 为种群规模其大小影响着遗传算法的最终结果及其执行效率M。 特征选择的目的是找出分类能力最强的特征组合需要一个定量准则来度量特征组合的分类能力。度量特征选择算法优劣的判据很多各样本之所以能分开是因为它们位于特征空间的不同区域如果类间

距离越大类内各样本间的距离越小则分类效果越好。 各种新搜索算法和评估标准都应用到特征选择算法中。如粗糙集算法,神经网络剪枝法,支持向量机的评估标准,特征集的模糊嫡评价,马尔可夫算法等

入侵检测系统的数据含有大量的冗余与噪音特征,使得系统耗用的计算资源很大,导致系统训练时间长,实时性差,检测效果不好,引入特征选择算法能够去除高维数据中无用和冗余的信息,保留对分类效果起关键作用的信息,在不影响分类效果的同时减少数据量,降低了数据存储复杂度,减轻系统负荷,提高入侵检测系统的检测速度,增强入侵检测系统的健壮性。 入侵检测问题从机器学习的角度看实际上是一个分类问题,分类器的性能不仅与分类器设计算法有关,而且与选择的特征子集有关。一个高度相关的特征子集可有效改进分类器的性能,因而特征选择(属性约简)具有重要的理论意义和应用价值。 集成学习(Ensemble Learning)是通过将一组学习器以某种方式组合在一起可以显著提高学习系统的泛化能力（有监督的分类器集成和半监督的分类器集成）。 神经网络集成可以显著地提高神经网络系统的泛化能力,被视为