SVM样本如何进行预处理和筛选？
现在要做一个0 1分类，但是在所有样本中有超过90%的都是0，需要对这些样本做怎么的预处理？需要删除大量的0样本吗？ （否则的话一个y=0就可以获得很好的accuracy）
按投票排序
题主问这个问题时需要考虑一下是否样本中1的准确预测比零更重要，或者是相反的情况。这个是数据不对称定义的一个关键点。如果是题主遇到的是上述的情况的话，代价敏感学习是可以的。评价结果我觉得用ROC曲线是比较合适的。如果题主的样本中0和1同等重要的话，题主应考虑一下，你可以同时考虑一下召回率这个指标。以及相关的结合准确率与召回率的耦合的指标。另外楼上说的利用emsemble learning(随机森林，adaboost等)防止过拟合的策略也可以考虑。
这应该是数据挖掘领域里比较经典的不平衡数据分类问题。而这个问题没有什么适用广泛的答案。 我就简单的回答一下我最近看到的一些解决方案。其实，对于一般的不平衡问题我们采用oversample/undersample 的方法可能就能取得比较好的结果。但缺点就是如果overdample的比例过大会导致过拟合，undersample的比例过小可能会导致欠拟合。这个得经过实验去比较分析了。另一种常用的方法就是代价敏感学习算法，对于正负比例不均衡的问题，将正例错分成负例与将负例错分成正例的代价一定是不同的。比如经典的机器人医生问题：对100个人进行分类，将健康的人错分为病人的代价，肯定比将病人分类为健康的人的代价要小的多。因此我们对于这样两种误分类设置不同的惩罚项，使得最终的分类结果代价最小，从而达到优化的目的。还有很多其他的比如SMOTE，Adacost等等。推荐楼主去看这篇综述：Learning from imbalanced data。兴许能够有所启发～当然，在训练数据之前进行数据清洗，训练时采用随机森林，boosting之类的抗过拟合问题的算法兴许也会有所帮助。和楼主一样，我最近也遇到了类似的问题，正负样本比例悬殊，非常棘手，也没有找到一个很完美的解决办法。。。总之，我也是数据挖掘菜鸟一枚，对于回答可能出现的不严谨问题，希望有大神看到之后不吝赐教。谢谢！数据挖掘数据预处理之：异常值检测_爱数据网（)-国内大数据领域最专业的学习社区
数据挖掘数据预处理之：异常值检测
爱数据点评：
& 在中，数据预处理占据了的时间。同时数据预处理过程的好坏，也直接决定了后续数据挖掘模型的预测效果和实用性。这其中很重要一个方面是对于异常数据的识别，因为异常数据的处理直接会造成模型性能。
异常检测方法
异常对象被称作离群点。异常检测也称偏差检测和例外挖掘。
常见的异常成因：数据来源于不同的类（异常对象来自于一个与大多数数据对象源（类）不同的源（类）的思想），自然变异，以及数据测量或收集误差。
异常检测的方法：
（1）基于模型的技术：首先建立一个数据模型，异常是那些同模型不能完美拟合的对象；如果模型是簇的集合，则异常是不显著属于任何簇的对象；在使用回归模型时，异常是相对远离预测值的对象。
（2）基于邻近度的技术：通常可以在对象之间定义邻近性度量，异常对象是那些远离其他对象的对象。
（3）基于密度的技术：仅当一个点的局部密度显著低于它的大部分近邻时才将其分类为离群点。
统计学方法是基于模型的方法，即为数据创建一个模型，并且根据对象拟合模型的情况来评估它们。大部分用于离群点检测的统计学方法都是构建一个概率分布模型，并考虑对象有多大可能符合该模型。离群点的概率定义：离群点是一个对象，关于数据的概率分布模型，它具有低概率。这种情况的前提是必须知道数据集服从什么分布，如果估计错误就造成了重尾分布。异常检测的混合模型方法：对于异常检测，数据用两个分布的混合模型建模，一个分布为普通数据，而另一个为离群点。
& & & &聚类和异常检测目标都是估计分布的参数，以最大化数据的总似然（概率）。聚类时，使用EM算法估计每个概率分布的参数。然而，这里提供的异常检测技术使用一种更简单的方法。初始时将所有对象放入普通对象集，而异常对象集为空。然后，用一个迭代过程将对象从普通集转移到异常集，只要该转移能提高数据的总似然（其实等价于把在正常对象的分布下具有低概率的对象分类为离群点）。（假设异常对象属于均匀分布）。异常对象由这样一些对象组成，这些对象在均匀分布下比在正常分布下具有显著较高的概率。
& & & &优缺点：
（1）有坚实的统计学理论基础，当存在充分的数据和所用的检验类型的知识时，这些检验可能非常有效；
（2）对于多元数据，可用的选择少一些，并且对于高维数据，这些检测可能性很差。
基于邻近度的离群点检测
一个对象是异常的，如果它远离大部分点。这种方法比统计学方法更一般、更容易使用，因为确定数据集的有意义的邻近性度量比确定它的统计分布更容易。一个对象的离群点得分由到它的k-最近邻的距离给定。离群点得分对k的取值高度敏感。如果k太小（例如1），则少量的邻近离群点可能导致较低的离群点得分；如果K太大，则点数少于k的簇中所有的对象可能都成了离群点。为了使该方案对于k的选取更具有鲁棒性，可以使用k个最近邻的平均距离。
（1）简单；
（2）缺点：基于邻近度的方法需要O(m2)时间，大数据集不适用；
（3）该方法对参数的选择也是敏感的；
（4）不能处理具有不同密度区域的数据集，因为它使用全局阈值，不能考虑这种密度的变化。
基于密度的离群点检测
从基于密度的观点来说，离群点是在低密度区域中的对象。一个对象的离群点得分是该对象周围密度的逆。基于密度的离群点检测与基于邻近度的离群点检测密切相关，因为密度通常用邻近度定义。一种常用的定义密度的方法是，定义密度为到k个最近邻的平均距离的倒数。如果该距离小，则密度高，反之亦然。另一种密度定义是使用DBSCAN聚类算法使用的密度定义，即一个对象周围的密度等于该对象指定距离d内对象的个数。需要小心的选择d，如果d太小，则许多正常点可能具有低密度，从而具有高离群点得分。如果d太大，则许多离群点可能具有与正常点类似的密度（和离群点得分）。使用任何密度定义检测离群点具有与基于邻近度的离群点方案类似的特点和局限性。特殊地，当数据包含不同密度的区域时，它们不能正确的识别离群点。为了正确的识别这种数据集中的离群点，我们需要与对象邻域相关的密度概念，也就是定义相对密度。常见的有两种方法：
（1）使用基于SNN密度的聚类算法使用的方法；
（2）用点x的密度与它的最近邻y的平均密度之比作为相对密度。使用相对密度的离群点检测（局部离群点要素LOF技术）：首先，对于指定的近邻个数（k），基于对象的最近邻计算对象的密度density(x,k)，由此计算每个对象的离群点得分；然后，计算点的邻近平均密度，并使用它们计算点的平均相对密度。这个量指示x是否在比它的近邻更稠密或更稀疏的邻域内，并取作x的离群点得分（这个是建立在上面的离群点得分基础上的）。
（1）给出了对象是离群点的定量度量，并且即使数据具有不同的区域也能够很好的处理；
（2）与基于距离的方法一样，这些方法必然具有O(m2)的时间复杂度。对于低维数据使用特定的数据结构可以达到O(mlogm)；
（3）参数选择是困难的。虽然LOF算法通过观察不同的k值，然后取得最大离群点得分来处理该问题，但是，仍然需要选择这些值的上下界。
基于聚类的技术
一种利用聚类检测离群点的方法是丢弃远离其他簇的小簇。这个方法可以和其他任何聚类技术一起使用，但是需要最小簇大小和小簇与其他簇之间距离的阈值。这种方案对簇个数的选择高度敏感。使用这个方案很难将离群点得分附加到对象上。一种更系统的方法，首先聚类所有对象，然后评估对象属于簇的程度（离群点得分）（基于原型的聚类可用离中心点的距离来评估，对具有目标函数的聚类技术该得分反映删除对象后目标函数的改进（这个可能是计算密集的））。基于聚类的离群点：一个对象是基于聚类的离群点，如果该对象不强属于任何簇。离群点对初始聚类的影响：如果通过聚类检测离群点，则由于离群点影响聚类，存在一个问题：结构是否有效。为了处理该问题，可以使用如下方法：对象聚类，删除离群点，对象再次聚类（这个不能保证产生最优结果）。还有一种更复杂的方法：取一组不能很好的拟合任何簇的特殊对象，这组对象代表潜在的离群点。随着聚类过程的进展，簇在变化。不再强属于任何簇的对象被添加到潜在的离群点集合；而当前在该集合中的对象被测试，如果它现在强属于一个簇，就可以将它从潜在的离群点集合中移除。聚类过程结束时还留在该集合中的点被分类为离群点（这种方法也不能保证产生最优解，甚至不比前面的简单算法好，在使用相对距离计算离群点得分时，这个问题特别严重）。
& &对象是否被认为是离群点可能依赖于簇的个数（如k很大时的噪声簇）。该问题也没有简单的答案。一种策略是对于不同的簇个数重复该分析。另一种方法是找出大量小簇，其想法是（1）较小的簇倾向于更加凝聚，（2）如果存在大量小簇时一个对象是离群点，则它多半是一个真正的离群点。不利的一面是一组离群点可能形成小簇而逃避检测。
& & & &优缺点：
（1）基于线性和接近线性复杂度（k均值）的聚类技术来发现离群点可能是高度有效的；
（2）簇的定义通常是离群点的补，因此可能同时发现簇和离群点；
（3）产生的离群点集和它们的得分可能非常依赖所用的簇的个数和数据中离群点的存在性；
（4）聚类算法产生的簇的质量对该算法产生的离群点的质量影响非常大。
您可能感兴趣的文章
lovedata致力成为数据圈的交流与分享的社区，同时也是数据圈牛人们自媒体平台，与各位同行共同推进数据圈发
Ta的文章(811)
爱数据微信数据预处理
数据预处理（data
preprocessing）是指在主要的处理以前对数据进行的一些处理。如对大部分地球物理面积性观测数据在进行转换或增强处理之前，首先将不规则分布的测网经过插值转换
为规则网的处理，以利于计算机的运算。另外，对于一些剖面测量数据，如地震资料预处理有垂直叠加、重排、加道头、编辑、重新取样、多路编辑等
&& 数据挖掘中的数据预处理
　　现实世界中数据大体上都是不完整，不一致的脏数据，无法直接进行数据挖掘，或挖掘结果差强人意。为了提高数据挖掘的质量产生了数据预处理技术。
&&&数据预处理有多种方法：数据清理，数据集成，数据变换，数据归约等。这些数据处理技术在数据挖掘之前使用，大大提高了数据挖掘模式的质量，降低实际挖掘所需要的时间。
　　数据清理例程通过填写缺失的值、光滑噪声数据、识别或删除离群点并解决不一致性来“清理”数据。主要是达到如下目标：格式标准化，异常数据清除，错误纠正，重复数据的清除。
　　数据集成例程将多个数据源中的数据结合起来并统一存储，建立数据仓库的过程实际上就是数据集成。
　　通过平滑聚集，数据概化，规范化等方式将数据转换成适用于数据挖掘的形式。
　　数据挖掘时往往数据量非常大，在少量数据上进行挖掘分析需要很长的时间，数据归约技术可以用来得到数据集的归约表示，它小得多，但仍然接近于保持原数据的完整性，并结果与归
约前结果相同或几乎相同。
　　目前，数据预处理是目前数据挖掘一个热门的研究方面，毕竟这是由数据预处理的产生背景所决定的－－现实世界中的数据几乎都脏数据。
数据预处理的主要任务有：
1.数据清洗2.数据集成3.数据转换4.数据归约
下面一个个地分析。
1.数据清洗
现实世界的数据一般是不完整的、有噪声的和不一致的。数据清理例程试图填充缺失的值，光滑噪声并识别离群点，纠正数据中的不一致。
（1）缺失值处理
①忽略元组：当缺少类标号时通常这样做。除非元组有多个属性缺少值，否则该方法不是很有效。
②人工填写缺失值：一般情况下，该方法很费时。
③使用一个全局常量填充缺失值：将缺失值用同一个常数（如Unknown或﹣∞）替换。如果缺失值都用Unknown替换，则挖掘程序可能误认为它们形成了一个有趣的概念，因为它们都具有相同
的值“Unknown”。因此此方法虽然简单但不可靠。
④使用属性的均值填充缺失值：例如，假定顾客的平均收入为56000美元，则使用该值替换income中的缺失值。
⑤使用与给定元组属同一类的所有样本的属性均值，例如，将顾客按credit_risk分类，则用具有相同信用度给定元组的顾客的平均收入替换income中的缺失值。
⑥使用最可能的值填充缺失值：可以用回归、使用贝叶斯形式化的基于推理的工具或决策树归纳确定。例如，利用数据集中其他顾客的属性，可以构造一棵决策树来预测income的缺失值。
（2）噪声数据处理
噪声（noise）是被测量的变量的随机误差或方差。给定一个数值属性（如price），怎样才能光滑数据，去掉噪声？下面介绍数据光滑技术。
①分箱（binning）：分箱方法通过考察数据的“近邻”来光滑有序数据的值。有序值分布到一些桶或箱中。由于分箱方法考察近邻的值，因此是对数据进行局部光滑。
例如：price排序后数据（美元）：4,8,15,21,21,24,25,28,34
划分为（等频）箱：
箱1:4,8,15
箱2:21,21,24
箱3:25,28,34
用箱均值光滑：
箱2:22,22,22
箱3:29,29,29
用箱边界光滑：
箱1:4,4,15
箱2:21,21,24
箱3:25,25,34
②回归：可以用一个函数（如回归函数）拟合数据来光滑数据。
③聚类：可以通过聚类检测离群点，将类似的值组织成群或簇。直观地，落在簇集合之外的值视为离群点。
（3)数据不一致的处理
作为一位数据分析人员，应当警惕编码使用的不一致问题和数据表示的不一致问题（如日期“”和“25/12/2004”）。字段过载（field
overloading）是另一种错误源，通常是由
如下原因导致：开发者将新属性的定义挤压到已经定义的属性的未使用（位）部分（例如，使用一个属性未使用的位，该属性取值已经使用了32位中的31位）。
清洗工具ETL（Extraction/Transformation/Loading）Potter‘s Whee()
2.数据集成
数据分析任务多半涉及数据集成。数据集成是指将多个数据源中的数据合并并存放到一个一致的数据存储（如数据仓库）中。这些数据源可能包括多个数据库、数据立方体或一般文件。在数据集成时，有许多问题需要考虑。模式集成和对象匹配可能需要技巧。来自多个信息源的现实世界的等价实体如何才能匹配？这涉及实体识别问题。例如，数据分析者或计算机如何才能确信一个数据库中的customer_id和另一个数据库中的cust_number指的是相同的属性？每个属性的元数据包括名字、含义、数据类型和属性的允许取值范围，以及处理空白、零或null值的空值规则。这样的元数据可以用来帮助避免模式集成的错误。元数据还可以用来帮助变换数据（例如，pay_type的数据编码在一个数据库中可以是“H”和“S”，而在另一个数据库中是1和2）。因此，这一步也与前面介绍的数据清理有关。另外冗余也是一个重要问题。一个属性可能是冗余的，如果它能由另一个或另一组属性导出。属性或维命名的不一致也可能导致结果数据集中的冗余。有些冗余可以被相关分析检测到。注意，相关并不意味因果关系。也就是说，如果A和B是相关的，这并不意味着A导致B或B导致A。例如，在分析人口统计数据库时，可能发现一个地区的医院数与汽车盗窃数是相关的，但这并不意味一个导致另一个。实际上，二者必然地关联到第三个属性：人口。对于分类（离散）数据，两个属性A和B之间的相关联系可以通过卡方检验发现。除了检测属性间的冗余外，还应当在元组级检测重复。去规范化表（denormalized
table）的使用是数据冗余的另一个来源。数据集成的第三个重要问题是数据值冲突的检测与处理。例如，对于现实世界的同一实体，来自不同数据源的属性值可能不同。这可能是因为表示方法、比例或编码不同。例如，重量属性可能在一个系统中以公制单位存放，而在另一个系统中以英制单位存放。对于连锁旅馆，不同城市的房价不仅可能涉及不同货币，而且可能涉及不同的服务（如免费早餐）和税。
3.数据变换
数据变换是指将数据转换或统一成适合于挖掘的形式。
（1）数据泛化：使用概念分层，用高层概念替换低层或“原始”数据。例如，分类的属性，如街道，可以泛化为较高层的概念，如城市或国家。类似地，数值属性如年龄，可以映射到较高层
概念如青年、中年和老年。
（2）规范化：将属性数据按比例缩放，使之落入一个小的特定区间。大致可分三种：最小最大规范化、z-score规范化和按小数定标规范化。
（3）属性构造：可以构造新的属性并添加到属性集中，以帮助挖掘过程。例如，可能希望根据属性height和width添加属性area。通过属性构造可以发现关于数据属性间联系的丢失信息，这
对知识发现是有用的。
4.数据归约
（1）数据立方体聚集：聚集操作用于数据立方体结构中的数据。
（2）属性子集选择：通过删除不相关或冗余的属性（或维）减小数据集。属性子集选择的目标是找出最小属性集，使得数据类的概率分布尽可能地接近使用所有属性得到的原分布。对于属性
子集选择，一般使用压缩搜索空间的启发式算法。通常，这些方法是贪心算法，在搜索属性空间时，总是做看上去当时最佳的选择。策略是做局部最优选择，期望由此导致全局最优解。在实
践中，这种贪心算法是有效地，并可以逼近最优解。
①逐步向前选择：该过程由空属性集作为归约集开始，确定原属性集中最好的属性，并将它添加到归约集中。在其后的每一次迭代步，将剩下的原属性集中最好的属性添加到该集合中。
②逐步向后删除：该过程由整个属性集开始。在每一步，删除尚在属性集中最差的属性。
③向前选择和向后删除的结合
④决策树归纳：决策树算法，如ID3、C4.5和CART最初是用于分类的。决策树归纳构造一个类似于流程图的结构，其中每个内部（非树叶）节点表示一个属性的测试，每个分枝对应于测试的一
个输出；每个外部（树叶）节点表示一个类预测。在每个节点，算法选择最好的属性，将数据划分成类。
（3）维度归约：使用编码机制减小数据集的规模，例如：小波变换和主成分分析。
（4）数值归约：用替代的、较小的数据表示替换或估计数据，如参数模型（只需要存放模型参数，不是实际数据）或非参数方法，如聚类、抽样和使用直方图。
（5）离散化和概念分层产生：属性的原始数据值用区间值或较高层的概念替换。数据离散化是一种数据归约形式，对于概念分层的自动产生是有用的。离散化和概念分层产生是数据挖掘强有
力的工具，允许挖掘多个抽象层的数据。
很重要的是，用于数据归约的计算时间不应当超过或“抵消”对归约数据挖掘节省的时间。
已投稿到：
以上网友发言只代表其个人观点，不代表新浪网的观点或立场。这些数据处理技术在数据挖掘之前使用_解决方案网当前位置:& &&&数据挖掘之数据预加工数据挖掘之数据预加工本文收集于网络，只用于方便查找方案，感谢源作者，如果侵权请联系删除数据挖掘之数据预处理
数据预处理
目的：预处理数据，提高数据质量，从而提高挖掘结果的质量
数据预处理的方法包括：数据清理、数据集成和转换、数据归约。
数据清理可以去掉数据中的噪音，纠正不一致。数据集成将数据由多
个源合并成一致的数据存储，如数据仓库或数据方。数据变换（如规范化）也可以使用。例如，规范化可以改进涉及距离度量的挖掘算法的精度和有效性。数据归约可以通过聚集、删除冗余特征或聚类等方法来压缩数据。这些数据处理技术在数据挖掘之前使用，可以大大提高数据挖掘模式的质量，降低实际挖掘所需要的时间。
数据清理例程通过填写遗漏的值，平滑噪音数据，识别、删除局外者，并解决不一致来“清理”数据。脏数据造成挖掘过程陷入困惑，导致不可靠的输出
怎样才能为该属性填上遗漏的值？
忽略元组、除非元组有多个属性缺少值，否则该方法不是很有效。当每个属性缺少值的百分比很高时，它的性能非常差。
人工填写遗漏值
使用一个全局常量填充遗漏值
使用属性的平均值填充遗漏值
使用与给定元组属同一类的所有样本的平均值
使用最可能的值填充遗漏值
噪音是测量变量的随机错误或偏差。去掉噪音：
分箱：分箱方法通过考察“邻居”（即，周围的值）来平滑存储数据的值。存储的值被分布到一些“桶”或箱中。由于分箱方法导致值相邻，因此它进行局部平滑（按平均值平滑、按中值平滑、按边界平滑）
聚类：局外者可以被聚类检测。聚类将类似的值组织成群或“聚类”。直观地，落在聚类集合之外的值被视为局外者。计算机和人工检查结合：可以通过计算机和人工检查结合的办法来识别局外者。回归：可以通过让数据适合一个函数（如回归函数）来平滑数据。线性回归涉及找出适合两个变量的“最佳”直线，使得一个变量能够预测另一个。
数据集成将多个数据源中的数据结合成、存放在一个一致的数据存储
实体识别、冗余问题、数据值冲突的检测与处理需要考虑。
数据变换将数据转换成适合于挖掘的形式。数据变换可能涉及如下内容
n 平滑：去掉数据中的噪音。这种技术包括分箱、聚类和回归。
n 聚集：对数据进行汇总和聚集。例如，可以聚集日销售数据，计算月和年销售额。通常，这一步用来为多粒度数据分析构造数据方。
n 数据泛化：使用概念分层，用高层次概念替换低层次“原始”数据。例如，分类的属性，如，可以泛化为较高层的概念，如或。类似地，数值属性，如，可以映射到较高层概念，如和。
n 规范化：将属性数据按比例缩放，使之落入一个小的特定区间，如到或到。
n 属性构造（或特征构造）：可以构造新的属性并添加到属性集中，以帮助挖掘过程。
最小最大规范化对原始数据进行线性变换
数据集将非常大！在海量数据上进行
复杂的数据分析和挖掘将需要很长时间，使得这种分析不现实或不可行。
数据归约技术可以用来得到数据集的归约表示，它小得多，但仍接近地保持原数据的完整性。
这样，在归约后的数据集上挖掘将更有效，并产生相同（或几乎相同）的分析结果。
数据归约的策略如下：
数据方聚集：聚集操作用于数据方中的数据。
维归约：可以检测并删除不相关、弱相关或冗余的属性或维。
数据压缩：使用编码机制压缩数据集。
数值压缩：用替代的、较小的数据表示替换或估计数据，如参数模型（只需要存放模型参数，而不是实际数据）或非参数方法，如聚类、选样和使用直方图。
5离散化和概念分层产生：属性的原始值用区间值或较高层的概念替换。概念分层允许挖掘多个抽象层上的数据，是数据挖掘的一种强有力的工具
维归约通过删除不相关的属性（或维）减少数据量。通常使用属性子集选择方法。属性子集选择的目标是找出最小属性集，使得数据类的概率分布尽可能地接近使用所有属性的原分布。在压缩的属性集上挖掘还有其它的优点。它减少了出现在发现模式上的属性的数目，使得模式更易于理解。
属性子集选择的基本启发式方法包括以下技术：
逐步向前选择：该过程由空属性集开始，选择原属性集中最好的属性，并将它添加到该集合
中。在其后的每一次迭代，将原属性集剩下的属性中的最好的属性添加到该集合中。
逐步向后删除：该过程由整个属性集开始。在每一步，删除掉尚在属性集中的最坏属性。
向前选择和向后删除的结合：向前选择和向后删除方法可以结合在一起，每一步选择一个最好的属性，并在剩余属性中删除一个最坏的属性。
如果原数据可以由压缩数据重新构造而不丢失任何信息，则所使用的数据压缩技术是无损的。如果我们只能重新构造原数据的近似表示，则该数据压缩技术是有损的。
两种流行、有效的有损数据压缩方法：小波变换和主要成分分析。
离散小波变换（）是一种线性信号处理技术，当用于数据向量时，将它转换成不同的数值向量小波系数。两个向量具有相同的长度。
关键在于小波变换后的数据可以裁减。仅存放一小部分最强的小波系数，就能保留近似的压
主要成分分析
假定待压缩的数据由个元组或数据向量组成，取自维。主要成分分析（，又称或方法）搜索个最能代表数据的维正交向量；这里? 。这样，原来的数据投影到一个较小的空间，导致数据压缩。可以作为一种维归约形式使用。
上一篇：下一篇：
File: 20:24:04数据预处理包括哪些内容？方法有哪些_百度知道
数据预处理包括哪些内容？方法有哪些
我有更好的答案
1.墓于粗糙集( Rough Set)理论的约简方法 粗糙集理论是一种研究不精确、不确定性知识的数学工具。目前受到了KDD的广泛重视，利用粗糙集理论对数据进行处理是一种十分有效的精简数据维数的方法。我们所处理的数据一般存在信息的含糊性(Vagueness)问题。含糊性有三种:术语的模糊性，如高矮;数据的不确定性，如噪声引起的;知识自身的不确定性，如规则的前后件间的依赖关系并不是完全可靠的。在KDD中，对不确定数据和噪声干扰的处理是粗糙集方法的 2.基于概念树的数据浓缩方法 在数据库中，许多属性都是可以进行数据归类，各属性值和概念依据抽象程度不同可以构成一个层次结构，概念的这种层次结构通常称为概念树。概念树一般由领域专家提供，它将各个层次的概念按一般到特殊的顺序排列。 3.信息论思想和普化知识发...
其他类似问题
为您推荐：
等待您来回答
下载知道APP
随时随地咨询
出门在外也不愁