[600128股吧]数据挖掘过程中绝不能犯这11大错误

1.缺少数据（LackData）

关于分类问题或预估问题来说，常常缺少精确标示的事例。

例如：诈骗侦测（FraudDetection）：在上百万的买卖中，或许只要寥寥无几的诈骗买卖，还有许多的诈骗买卖没有被正确标示出来，这就需求在建模前花费许多人力来批改。

信誉评分（CreditScoring）：需求对潜在的高风险客户进行长时刻盯梢（比方两年），然后堆集满足的评分样本。

2.太重视练习（FocusonTraining）

IDMer：就象体育练习中越来越重视实战练习，由于单纯的封闭式练习常常会练习时状况神勇，竞赛时乌烟瘴气。

实践上，只要样本外数据上的模型评分成果才真实有用！（不然的话，直接用参照表好了！）

例如：癌症检测（Cancerdetection）：MDAnderson的医师和研讨人员（1993）运用神经网络来进行癌症检测，惊讶地发现，练习时刻越长（从几天延伸至数周），对练习集的功能改进十分细微，但在测验集上的功能却显着下降。

机器学习或计算机科学研讨者常常企图让模型在已知数据上体现最优，这样做的成果通常会导致过度拟合（overfit）。

处理办法：处理这个问题的典型办法是重抽样（Re-Sampling）。重抽样技能包含：bootstrap、cross-validation、jackknife、leave-one-out…等等。

3.只依靠一项技能（RelyonOneTechnique）

IDMer：这个过错和第10种过错有相通之处，请一起参照其处理办法。没有比照也就没有所谓的好坏，辩证法的思想在此体现无遗。

“当小孩子手拿一把锤子时，整个世界看起来便是一枚钉子。”要想让作业一无是处，就需求一套完好的东西箱。

不要简略地信任你用单个办法剖析的成果，至少要和传统办法（比方线性回归或线性判别剖析）做个比较。

研讨成果：依照《神经网络》期刊的计算，在曩昔3年来，只要1/6的文章中做到了上述两点。也便是说，在独立于练习样本之外的测验集进步行了开集测验，并与其它广泛选用的办法进行了比照。

处理办法：运用一系列好的东西和办法。（每种东西或办法或许最多带来5%~10%的改进）。

4.提错了问题（AsktheWrongQuestion）

IDMer：一般在分类算法中都会给出分类精度作为衡量模型好坏的规范，但在实践项目中咱们却简直不看这个方针。为什么？由于那不是咱们重视的方针。

项目的方针：一定要确定正确的方针

例如：诈骗侦测（重视的是正例！）（Shannon试验室在世界长途电话上的剖析）：不要企图在一般的通话中把诈骗和非诈骗行为分类出来，要点应放在怎么描绘正常通话的特征，然后据此发现反常通话行为。

模型的方针：让计算机去做你期望它做的事

大多数研讨人员会沉迷于模型的收敛性来尽量下降差错，这样让他们可以获得数学上的美感。但更应该让计算机做的工作应该是怎么改进事务，而不是只是偏重模型计算上的精度。

5.只靠数据来说话（Listen(only)totheData）

IDMer：“让数据说话”没有错，关键是还要记住另一句话：兼听则明，偏听则暗！假如数据＋东西就可以处理问题的话，还要人做什么呢？

投机取巧的数据：数据自身只能协助剖析人员找到什么是明显的成果，但它并不能告知你成果是对仍是错。

通过规划的试验：某些试验规划中掺杂了人为的成分，这样的试验成果也常常不行信。

6.运用了未来的信息（AcceptLeaksfromtheFuture）

IDMer：看似不或许，却是实践中很简单犯的过错，特别是你面临不计其数个变量的时分。细心、细心、有条理是数据发掘人员的基本要求。

预告（Forecast）示例：预告芝加哥银行在某天的利率，运用神经网络建模，模型的精确率到达95%。但在模型中却运用了该天的利率作为输入变量。

金融业中的预告示例：运用3日的移动均匀来预告，但却把移动均匀的中点设在今日。

处理办法：要细心检查那些让成果体现得反常好的变量，这些变量有或许是不应该运用，或许不应该直接运用的。给数据加上时刻戳，防止被误用。

7.扔掉了不应疏忽的事例（DiscountPeskyCases）

IDMer：到底是“宁为鸡头，不为凤尾”，仍是“大隐约于市，小隐约于野”？不同的人生态度可以有相同精彩的人生，不同的数据也或许包含相同重要的价值。

反常值或许会导致过错的成果（比方价格中的小数点标错了），但也或许是问题的答案（比方臭氧洞）。所以需求细心检查这些反常。

研讨中最让激动的言语不是“啊哈！”，而是“这就有点奇怪了……”

数据中的不一致性有或许会是处理问题的头绪，深挖下去或许可以处理一个大的事务问题。

例如：在直邮营销中，在对家庭地址的合并和清洗过程中发现的数据不一致，反而或许是新的营销时机。

处理办法：可视化可以协助你剖析许多的假定是否建立。

8.轻信猜测（Extrapolate）

IDMer：依然是辩证法中的观念，事物都是不断发展变化的。

人们常常在经历不多的时分容易得出一些定论。

即使发现了一些反例，人们也不太乐意抛弃原先的主意。

维度咒语：在低维度上的直觉，放在高维度空间中，常常是毫无意义的。

处理办法：进化论。没有正确的定论，只要越来越精确的定论。

9.企图答复一切问题（AnswerEveryInquiry）

IDMer：有点像我爬山时鼓舞自己的一句话“我不知道什么时分能登上山峰，但我知道爬一步就离结尾近一步。”

“不知道”是一种有意义的模型成果。

模型或许无法100%精确答复问题，但至少可以帮咱们估量呈现某种成果的或许性。

10.随便地进行抽样（SampleCasually）

下降抽样水平。例如，MD直邮公司进行呼应猜测剖析，但发现数据会集的不呼应客户占比太高（一共一百万直邮客户，其间超越99%的人未对营销做出呼应）。所以建模人员做了如下抽样：把一切呼应者放入样本集，然后在一切不呼应者中进行系统抽样，即每隔10人抽一个放入样本集，直到样本集到达10万人。但模型竟然得出如下规矩：但凡居住在Ketchikan、Wrangell和WardCoveAlaska的人都会呼应营销。这显然是有问题的定论。（问题就出在这种抽样办法上，由于原始数据集现已依照邮政编码排序，上面这三个区域中不呼应者未能被抽取到样本会集，故此得出了这种定论）。

处理办法：“喝前摇一摇！”先打乱原始数据会集的次序，然后确保抽样的随机性。

进步抽样水平。例如，在信誉评分中，由于违约客户的占比一般都十分低，所以在建模经常常会人为调高违约客户的占比（比方把这些违约客户的权重进步5倍）。建模中发现，跟着模型越来越杂乱，判别违约客户的精确率也越来越高，但对正常客户的误判率也随之升高。（问题出在数据集的区分上。在把原始数据集区分为练习集和测验集时，原始数据会集违约客户的权重现已被进步过了）

处理办法：先进行数据集区分，然后再进步练习会集违约客户的权重。

11.太信任最佳模型（BelievetheBestModel）

IDMer：仍是那句老话－“没有最好，只要更好！”

可解说性并不一定总是必要的。看起来并不完全正确或许可以解说的模型，有时也会有用。

“最佳”模型中运用的一些变量，会涣散人们太多的注意力。（不行解说性有时也是一个长处）

一般来说，许多变量看起来互相都很类似，而最佳模型的结构看上去也千差万别，无迹可循。但需注意的是，结构上类似并不意味着功能上也类似。

处理办法：把多个模型集装起来或许会带来更好更安稳的成果。

数据发掘最重要的要素是剖析人员的相关事务知识和思想形式。丰厚的事务知识是规划有用的相关变量的必要条件，而剖析人员的思想形式从别的一个方面也保证了规划变量的结构化和完好性。所以咱们在把握丰厚的事务知识一起，假如可以依照正确的思想形式去思考问题，将会发现处理问题并不是很困难的。
数据剖析,数据发掘,模型,idmer