[股票知识书籍排行榜]以“上大学分析”为例体验什么是数据挖掘

谈到BI，就会谈到数据发掘(Data mining)。数据发掘是指用某些办法和东西，对数据进行剖析，发现躲藏规则并利的一种办法。下面咱们将经过详细的比如来学习什么是数据发掘。

事例“上大学剖析”-领会什么是数据发掘某社会组织，搜集了许多的学生考大学的数据。该组织期望找出一些规则，以推进更多的学生考大学。该组织托付你来做这个剖析作业，给出详细的能够推进更多学生考大学的主张。

搜集到的数据如下：

你或许会考虑用SQL句子进行查询剖析。但问题是：

1.用什么句子查呢？要组合什么条件呢？

2.你想查到怎样的成果呢？这个成果对决议方案有协助吗？

那数据发掘一下吧！但怎么发掘呢？

不了解数据发掘的人，往往会以为只需求让计算机去发掘一下，计算机就能帮咱们找出想要的东西。计算机哪会这样奇特，在数据发掘之前，咱们必需求自己好好剖析一下。

1.清晰发掘的方针。

咱们看看原始需求是这样的：该组织期望找出一些规则，以推进更多的学生考大学。

你或许会说：该方针也太大了一点吧！现在该组织托付你做这个作业，人家不是专业人士，你还盼望人家什么都帮你做好吗？那要你干嘛！

咱们仔细剖析一下，原始数据有名字、性别、IQ、家庭年收入、兄弟姐妹数量、是否想上大学字段，要推进更多学生考大学，咱们无非便是要剖分出：

1)有上大学方案的人首要原因是什么呢？

2)无上大学方案的人首要原因是什么呢？

剖分出这些原因，就能够提出针对性的主张了。

2.清晰因果联系

看下面这个图：

对原始数据表进行剖析，咱们能够推论出：家庭收入、性别、兄弟姐妹数量、IQ这些要素，很或许会影响有否上大学方案。至于名字会不会影响，咱们能够用常识判别应该不会，故能够扫除。

这样咱们就能够确认输入列有：家庭收入、性别、兄弟姐妹数量、IQ，可猜测列为：有上大学方案否。

数据发掘的方针便是找出输入列与可猜测列的联系，只需找到这个规则，就能够提出针对性的主张，也能够运用这个规则做猜测。

以上作业准备就绪后，咱们就需求挑选适宜的剖析办法来数据发掘了。咱们挑选“决议方案树”的办法，下面是决议方案树的部分剖析成果：

阐明：

1.最上面的一个节点表明有55%的人有方案上大学，45%的人没有方案。

2.第二层节点，以IQ为条件进行区分，IQ大于100的人中，有上大学方案的人有79%之多，而IQ小于等于100的人，有上大学方案的人只要35%，这阐明IQ是很重要的影响要素。

3.第三层节点是年收入，第四层是兄弟姐妹数量。

4.决议方案树算法会剖析原始数据，将影响程度最大的要素排在上面，次之的要素排在后边。

由上面的剖析，咱们能够得到这样的一些信息：

1.越是IQ高的越有上大学的方案。

2.家庭收入越高，越有上大学方案。

3.兄弟姐妹越多，上大学方案就越微。

4.性别没有在这棵树呈现，阐明性别对有否上大学方案没有显着影响。

接下来咱们就能够提出针对性的主张，以推进更多人考大学：

1.大学学位有限，现在要点应该是鼓舞更多的聪明的学生考大学。

2.聪明的学生不方案上大学，首要原因是家庭收入低、兄弟姐妹多，针对这样的状况，政府可考虑下降大学膏火，或对低收入、多子女的家庭进行赞助。

总结一下数据发掘的进程：

1.清晰你的方针，搜集相关数据。 2.依据方针剖析这些数据，找出输入列、可猜测列。 3.挑选适宜的数据发掘办法。 4.剖析数据发掘成果，给出主张。第2、3步或许需求不断地测验和调试，才干找到适宜的剖析成果。

怎么样？这个进程不简单吧？以上这个比如现已经过我的简化和提炼，其方针便是让咱们能简单了解什么是数据发掘，实践作业中的数据发掘难度是很高的，需求具有这些才能：

1.能深彻领会事务的要求，能将客户抽象的需求转化为实在的作业辅导。

2.能剖分出输入列、可猜测列。

3.了解各种数据发掘办法，会挑选适宜的办法进行剖析。

4.能深入剖析数据发掘的成果，概括运用你的各种常识，为客户提出针对性的决议方案主张。

常见的数据发掘办法常见的数据发掘办法有分类、聚类、相关、回归、时刻序列剖析、离散序列分红、误差剖析、贝叶斯、神经网络等等。这些内容都涉及到深沉的数学常识，下面仅仅一些浅薄的介绍，让咱们有个大约的知道，为咱们进一步学习打好根底。

数据发掘算法之分类例：某银行每天收到许多信用卡处理的请求，为进步功率和精确性，想运用数据发掘技能来改进作业，你会怎样考虑呢？

该银行有许多的前史数据，将请求者分为高、中、低三种危险类型，这样输入列便是请求者的学历、收入、工作等信息，而可猜测列便是危险类型。这样对前史数据进行数据发掘后，当有新的请求者提交材料，体系就能够判别该请求者危险类型为高、中仍是低了。

以上的算法便是“分类”，该发掘办法需人工指定类别，然后找出一组特点与该类其他联系，运用这些联系来猜测新的状况。

数据发掘算法之聚类“聚类”与“分类”很类似，同样是找出一组特点与类其他联系，不同的是这类别不是事前指定的，而是由数据发掘自己找出分类。

例：某公司搜集了许多客户的材料，记载了客户的年纪和收入。该公司相对这些数据进行剖析，找出能够要点营销的客户目标。咱们可指定输入列为年纪和收入，经过聚类数据发掘后，发现客户群能够区分为三个集体：低收入年青客户、高收入中年客户、收入相对低的年迈客户。依据这样的剖析成果，公司可采纳决议方案，要点针对高收入中年客户进行营销活动。

数据发掘算法之相关例：在一家超市里，有一个风趣的现象：尿布和啤酒赫然摆在一同出售。可是这个古怪的行动却使尿布和啤酒的销量双双增加了。这不是一个笑话，而是产生在美国沃尔玛连锁店超市的实在事例，并一向为商家所津津有味。本来，美国的妇女们常常会吩咐她们的老公下班今后要为孩子买尿布。而老公在买完尿布之后又要随手买回自己爱喝的啤酒，因而啤酒和尿布在一同购买的时机仍是许多的。

上述这个比如常常会被人拿来说，但很少人会触类旁通地运用这个比如。咱们有许多超市记载了许多的买卖数据，只需对这些买卖数据做一下相关剖析，就很或许会得到不少价值巨大的商业时机。上述这个“尿布+啤酒”的比如，便是运用了相关剖析，发现尿布和啤酒两个东西常常被一同卖掉。相关剖析首要用来找出某些东西“摆在一同“的时机。咱们上网上商城购买东西，你每挑选一个产品，就或许会向你推销一堆其他产品，这很或许便是相关剖析在“作祟”。

数据发掘算法之回归变量X、Y或许存在联系，咱们能够将许多的(X、Y)制作到一张图上，构成一张散点图。假如这些散点更好都在一条直线邻近，那么这条直线的方程就能够近似代表X与Y的联系。

所谓的回归，便是要找到一个函数代表变量X1,X2,X3,…与Y的联系，该函数所制作出来的曲线，能尽量拟合这些“散点”。

下图是某软件公司某项目测验时刻与发现缺点数量的联系图：

回归可分为线性回归和非线性回归，线性回归比较简单操作，但一般状况下数据很难是线性的，而非线性回归就超杂乱了。

上图的线性模型选用的是多阶段的线性回归，指数模型选用的是多阶段的指数回归，而黑色曲线代表的是实在数据，从图中看，好像指数模型的吻合度更高一点。

数据发掘算法之时刻序列剖析例1：炒股的人都想猜测明日是涨仍是跌，实践上咱们现已积累了许多的前史数据，说不定仍是能够猜测的！某股票现已接连涨了3天，明日会不会再涨呢？某股票接连跌了7天了，明日应该不会再跌了吧？

例2：许多商家会在某些节假日时，要点出售某些产品，以求能够卖出更多，圣诞节快到了，应该主推什么产品好呢？实践上各商家的收款体系中，记载了许多的与时刻相关的出售数据，假如对这些数据做一下时刻序列剖析，说不定能找到严重商机。

时刻序列剖析，输入列都是与时刻相关的数据，一起需求考虑时节、前史等要素，这样就能够猜测某个时刻会怎样了。

数据发掘算法之离散序列剖析某网站对访问者的操作进行了计算，如下：

阐明：

1.访问者进入主页后，有20%会进入气候页面，40%进入新闻页面，20%进入商业页面。

2.从主页进入新闻页面的时机是40%，而从气候进入新闻的时机是10%。

以上的剖析关于优化网站是很有协助的，上述的剖析用到了离散序列剖析技能。

离散序列剖析，输入列是一系列有“次第”的数据，经过这一系列有次第的数据猜测别的一个数据状况。

数据发掘算法之误差剖析例：某银行有信用卡反常运用状况的监控体系，假如发现某些用卡行为与客户平常习气不一样时，会宣布正告。

信用卡每次运用状况，包含时刻、地址、金额、商户等信息都会记载下来。运用正常的前史数据对体系进行练习，告知体系这些是“正常”的运用状况，当呈现新的用卡记载与这些正常运用的特征不符时，则能够宣布正告。误差剖析的原理便是用正常的数据去练习体系，由体系去判别新数据是否在正常规模？有没有误差？

软件项目办理假如到达CMMI4级或以上的层次，就会运用基线来办理项目，基线上下限规模内能够为是“正常”的，假如超出上下限，则以为是“误差”，需求剖析原因并采纳办法。这种用基线来办理项目，其实也是一种数据发掘算法-误差剖析。

数据发掘算法之贝叶斯贝叶斯算法是一种依据前史事情产生的概率来估测将来的算法，由巨大的数学家Thomas Bayes所创立的。Thomas Bayes，1702年出生于英国伦敦。

该算法的原理是这样的：假如作业A、作业B、作业C、…、这些作业产生了，那么作业X产生的几率是多少。前面这些作业叫做条件作业，能够是一个到多个，条件作业越多剖析起来就越杂乱但会愈加精确。

举个比如：听说麦当劳当年发现，假如顾客购买了汉堡包和薯条，那么顾客再购买可乐的时机是70%，所以麦当劳就将这三个产品绑缚在一同作为套餐，所以销量大增。关于这个事例，条件事情便是购买汉堡包和购买薯条，要猜测的是顾客会不会买可乐，猜测成果便是有70%时时机买。咱们能够运用贝叶斯原理来进行数据发掘。

数据发掘算法之神经网络人脑其实是由数量巨大的神经细胞组成的，神经细胞巨大的数量及杂乱的结构，让人类充满了才智。人一出生，脑袋是一片空白的，当咱们学会了某样东西的时分，咱们会对起进行推演和概括。比方说咱们知道了这是一条狗，当咱们见到别的一条不同种类狗的时分，咱们会判别这也是一条狗。而计算机的判别一般来说就比较呆板了，假如有纤细的误差就会认不出来。

神经网络算法其实便是经过计算机来结构类似于人脑的神经细胞网络（当然该网络无论怎么不能跟人脑比较），经过一些练习，能让该网络能辨认某一类事物。文字辨认、指纹辨认等都是运用了神经网络技能的。

经过数据练习，咱们能够在输入列与可猜测列之间找到适宜的神经网络，然后经过这个网络对新状况进行判别。

数据发掘技能数据发掘涉及到许多常识，涉及到数学、机器学习、数据库等范畴。

数学方面的常识只需是概率与计算方面的常识，回归、时序、决议方案树、贝叶斯等数据发掘算法都是依赖于这些数学常识的。

电脑的开展让机器学习发挥出无量的威力，神经网络、遗传算法是两种倚赖于计算机学习的算法。

数据仓库、数据集市、数据立方体的存储技能等数据库技能的开展，让数据发掘能够处理越来越许多的数据。

你假如对数据发掘感兴趣，那么请努力学习以上说到的常识吧！

数据发掘是高精尖的技能，是改动国际的一种技能，期望咱们能涌现出一批批实实在在的数据发掘精英，改动咱们的日子，改动咱们的国际！

by：立异工场创业讲堂（灵敏课程）讲师：张传波
金融工程, 数学算法, 数据发掘, 剖析