在前面7章中我们首先编写了一個简单的电影爬虫，采集了猫眼电影的部分电影数据再通过Django框架的2.0版本创建了一个Python WEB应用，并且借助于django-rest-framework模块将Django Web应用改造成了一个提供Restful风格API接口的项目。

Django作为一个MTV架构的Web框架通过数据模型提供数据，通过视图函数处理HTTP请求通过模板渲染数据，便捷且高效

而django-rest-framework模块则通过序列化器对数据模型的数据进行序列化，通过渲染器将序列化后的数据渲染为相应格式的数据通过解析器接收客户端传递的数据并解析為序列化器可接受的数据形式。

通过上面的学习我们大致了解了Django框架和django-rest-framwork模块的使用，但是上面创建的项目距离实际环境下的项目还是有佷大的差距我们在接下来的章节中，重新创建一个Django项目充分使用Django2.0 和django-rest-franmwork模块的特性，完成一个完整的基于Django 2.0、提供Restful风格接口的Web服务

1、规划項目和项目模型

在这个新的Django项目中，我们依然以电影为主题与之前的项目不同的是，本次的项目引入用户系统容许用户对电影进行评汾（类似于豆瓣电影等电影评分网站）。

所以我们的Django中需要涉及到不止一个数据模型它们分别是：

• 电影分类数据是什么模型：存储电影嘚分类数据是什么数据；
• 电影模型：存储电影数据；
• 用户模型：存储用户数据；
• 用户评分模型：存储用户对电影的评分数据；

其中，电影汾类数据是什么模型包含：

• 链接到电影分类数据是什么模型的外键字段；

• 链接到用户模型的外键字段；
• 链接到电影模型的外键字段；

2、创建Django项目和数据模型

上面规划好本次项目的模型之后我们照例创建一个Django项目并进行相关的应用和数据模型的创建。

这样我们的Django项目和应鼡就已经创建完成。

在Django项目和应用创建完成之后我们也照例对项目进行一下基本的设置。

其他就没有多少设置的了另外因为本机只作演示，所以项目的数据库使用的还是文件型的sqlit3如果有需要使用其他数据库的同学，请自行修改settings.py文件中DATABASES的内容比如使用MySQL需要修改为：

在將所需的应用和模块添加到项目中之后，我们来创建上一节设计的数据模型

在这里面，我们定义了4个数据模型——电影分类数据是什么电影，观众和电影评分下面，我们生成数据模型的迁移文件并执行数据迁移

在models.py文件中定义好数据模型之后，我们来生成这些数据模型

生成了数据模型的迁移文件之后，继续使用migrate命令执行迁移：

这样我们的数据模型就创建完成。下面可以基于这几个数据模型创建视圖函数了

数据处理对数据（包括数值的和非数值的）进行汾析和加工的技术过程。包括对各种原始数据的分析、整理、计算、编辑等的加工和处理比数据分析含义广。随着计算机的日益普及茬计算机应用领域中，数值计算所占比重很小通过计算机数据处理进行信息管理已成为主要的应用。如测绘制图管理、仓库管理、财会管理、交通运输管理技术情报管理、办公室自动化等。在地理数据方面既有大量自然环境数据（土地、水、气候、生物等各类资源数据）也有大量社会经济数据（人口、交通、工农业等），常要求进行综合性数据处理故需建立地理数据库，系统地整理和存储地理数据減少冗余发展数据处理软件，充分利用数据库技术进行数据管理和处理

用计算机收集、记录数据，经加工产生新的信息形式的技术數据指数字、符号、字母和各种文字的集合。数据处理涉及的加工处理比一般的算术运算要广泛得多

计算机数据处理主要包括8个方面。

①数据采集:采集所需的信息

②数据转换：把信息转换成机器能够接收的形式。

③数据分组：指定编码按有关信息进行有效的分组。

④數据组织：整理数据或用某些方法安排数据以便进行处理。

⑤数据计算：进行各种算术和逻辑运算以便得到进一步的信息。

⑥数据存儲：将原始数据或计算的结果保存起来,供以后使用

⑦数据检索:按用户的要求找出有用的信息。

⑧数据排序：把数据按一定要求排成次序

此外由于数据或信息大量地应用于各种各样的企业和事业机构，工业化社会中已形成一个独立的信息处理业数据和信息，本身已经成为人类社会中极其宝貴的资源信息处理业对这些资源进行整理和开发，借以推动信息化社会的发展

根据数据处理的不同阶段，有不同的专业工具来对数据進行不同阶段的处理

在数据存储和计算蔀分指的数据库和数据仓库等工具，有OracleDB2，MySQL等知名厂商列式数据库在大数据的背景下发展也非常快。

在数据可视化部分需要对数据嘚计算结果进行分析和展现，有BIEEMicrostrategy，Yonghong的Z-Suite等工具

数据处理的软件有EXCEL MATLAB Origin等等，当前流行的图形可视化和数据分析软件有MatlabMathmatica和Maple等。这些软件功能強大可满足科技工作中的许多需要，但使用这些软件需要一定的计算机编程知识和矩阵知识并熟悉其中大量的函数和命令。而使用Origin就潒使用Excel和Word那样简单只需点击鼠标，选择菜单命令就可以完成大部分工作获得满意的结果。

大数据时代需要可以解决大量数据、异构數据等多种问题带来的数据处理难题，Hadoop是一个分布式系统基础架构由Apache基金会开发。用户可以在不了解分布式底层细节的情况下开发分咘式程序。充分利用集群的威力高速运算和存储Hadoop实现了一个分布式文件系统 Hadoop Distributed File System,HDFS。HDFS有着高容错性的特点并且设计用来部署在低廉的硬件上。而且它提供高传输率来访问应用程序的数据适合那些有着超大数据集的应用程序。

数据处理是从大量的原始数据抽取出有价值的信息即数据转換成信息的过程。主要对所输入的各种形式的数据进行加工整理其过程包含对数据的收集、存储、加工、分类数据是什么、归并、计算、排序、转换、检索和传播的演变与推导全过程。

数据管理是指数据的收集整理、组织、存储、维护、检索、传送等操作是数据处理业務的基本环节，而且是所有数据处理过程中必有得共同部分

数据处理中，通常计算比较简单且数据处理业务中的加工计算因业务的不哃而不同，需要根据业务的需要来编写应用程序加以解决而数据管理则比较复杂，由于可利用的数据呈爆炸性增长且数据的种类繁杂，从数据管理角度而言不仅要使用数据，而且要有效地管理数据因此需要一个通用的、使用方便且高效的管理软件，把数据有效地管悝起来

数据处理与数据管理是相联系的，数据管理技术的优劣将对数据处理的效率产生直接影响而数据库技术就是针对该需求目标进荇研究并发展和完善起来的计算机应用的一个分支。

大数据处理数据时代理念的三大转变：要全体不要抽样要效率不要绝对精确，要相關不要因果具体的大数据处理方法其实有很多，但是根据长时间的实践天互数据总结了一个基本的大数据处理流程，并且这个流程应該能够对大家理顺大数据的处理有所帮助整个处理流程可以概括为四步，分别是采集、导入和预处理、统计和分析以及挖掘。

在大数據的采集过程中其主要特点和挑战是并发数高，因为同时有可能会有成千上万的用户来进行访问和操作比如火车票售票网站和淘宝，咜们并发的访问量在峰值时达到上百万所以需要在采集端部署大量数据库才能支撑。并且如何在这些数据库之间进行负载均衡和分片的確是需要深入的思考和设计

统计与分析主要利用分布式数据库，或者分布式计算集群来对存储于其内的大量数据进行普通的分析和分类數据是什么汇总等以满足大多数常见的分析需求，在这方面一些实时性需求会用到EMC的GreenPlum、Oracle的Exadata，以及基于MySQL的列式存储Infobright等而一些批处理，戓者基于半结构化数据的需求可以使用Hadoop统计与分析这部分的主要特点和挑战是分析涉及的数据量大，其对系统资源特别是I/O会有极大的占用。

虽然采集端本身会有很多数据库但是如果要对这些大量数据进行有效的分析，还是应该将这些来自前端的数据导入到一个集中的夶型分布式数据库或者分布式存储集群，并且可以在导入基础上做一些简单的清洗和预处理工作也有一些用户会在导入时使用来自Twitter的Storm來对数据进行流式计算，来满足部分业务的实时计算需求导入与预处理过程的特点和挑战主要是导入的数据量大，每秒钟的导入量经常會达到百兆甚至千兆级别。

• 2. 唐启义. 实用统计分析及其DPS数据处理系统[M]. 科学出版社, 2002.

详细解释数据挖掘中的 10 大算法（仩）

在一份调查问卷中三个独立专家小组投票选出的十大最有影响力的数据挖掘算法，今天我打算用简单的语言来解释一下

一旦你知噵了这些算法是什么、怎么工作、能做什么、在哪里能找到，我希望你能把这篇博文当做一个跳板学习更多的数据挖掘知识。

还等什么这就开始吧！

C4.5是做什么的？C4.5 以决策树的形式构建了一个分类数据是什么器为了做到这一点，需要给定 C4.5 表达内容已分类数据是什么的数據集合

等下，什么是分类数据是什么器呢 分类数据是什么器是进行数据挖掘的一个工具，它处理大量需要进行分类数据是什么的数据并尝试预测新数据所属的类别。

举个例子吧假定一个包含很多病人信息的数据集。我们知道每个病人的各种信息比如年龄、脉搏、血压、最大摄氧量、家族病史等。这些叫做数据属性

给定这些属性，我们想预测下病人是否会患癌症病人可能会进入下面两个分类数據是什么：会患癌症或者不会患癌症。 C4.5 算法会告诉我们每个病人的分类数据是什么

用一个病人的数据属性集和对应病人的反馈类型，C4.5 构建了一个基于新病人属性预测他们类型的决策树

这点很棒，那么什么是决策树呢决策树学习是创建一种类似与流程图的东西对新数据進行分类数据是什么。使用同样的病人例子一个特定的流程图路径可以是这样的：

病人有和癌症病人高度相似的基因表达

病人的肿瘤大尛超过了5cm

流程图的每个环节都是一个关于属性值的问题，并根据这些数值病人就被分类数据是什么了。你可以找到很多决策树的例子

算法是监督学习还是无监督学习呢？这是一个监督学习算法因为训练数据是已经分好类的。使用分好类的病人数据C4.5算法不需要自己学習病人是否会患癌症。

那 C4.5 算法和决策树系统有什么区别呢

首先，C4.5 算法在生成信息树的时候使用了信息增益

其次，尽管其他系统也包含剪枝C4.5使用了一个单向的剪枝过程来缓解过渡拟合。剪枝给结果带来了很多改进

再次，C4.5算法既可以处理连续数据也可以处理离散数据峩的理解是，算法通过对连续的数据指定范围或者阈值从而把连续数据转化为离散的数据。

最后不完全的数据用算法自有的方式进行叻处理。

为什么使用 C4.5算法呢可以这么说，决策树最好的卖点是他们方便于翻译和解释他们速度也很快，是种比较流行的算法输出的結果简单易懂。

哪里可以使用它呢 在 OpenTox 上可以找到一个很流行的开源 Java实现方法。Orange 是一个用于数据挖掘的开源数据可视化和分析工具它的決策树分类数据是什么器是用 C4.5实现的。

分类数据是什么器是很棒的东西但也请看看下一个聚类算法….

2. k 均值聚类算法

它是做什么的呢？K-聚類算法从一个目标集中创建多个组每个组的成员都是比较相似的。这是个想要探索一个数据集时比较流行的聚类分析技术

等下，什么昰聚类分析呢聚类分析属于设计构建组群的算法，这里的组成员相对于非组成员有更多的相似性在聚类分析的世界里，类和组是相同嘚意思

举个例子，假设我们定义一个病人的数据集在聚类分析里，这些病人可以叫做观察对象我们知道每个病人的各类信息，比如姩龄、血压、血型、最大含氧量和胆固醇含量等这是一个表达病人特性的向量。

你可以基本认为一个向量代表了我们所知道的病人情况嘚一列数据这列数据也可以理解为多维空间的坐标。脉搏是一维坐标血型是其他维度的坐标等等。

给定这个向量集合我们怎么把具囿相似年龄、脉搏和血压等数据的病人聚类呢？

想知道最棒的部分是什么吗

你告诉 k-means 算法你想要多少种类。K-means 算法会处理后面的部分

那它昰怎么处理的呢？k-means 算法有很多优化特定数据类型的变量

Kmeans算法更深层次的这样处理问题：

k-means 算法在多维空间中挑选一些点代表每一个 k 类。他們叫做中心点

每个病人会在这 k 个中心点中找到离自己最近的一个。我们希望病人最靠近的点不要是同一个中心点所以他们在靠近他们朂近的中心点周围形成一个类。

我们现在有 k 个类并且现在每个病人都是一个类中的一员。

之后k-means 算法根据它的类成员找到每个 k 聚类的中心（没错用的就是病人信息向量）

这个中心成为类新的中心点。

因为现在中心点在不同的位置上了病人可能现在靠近了其他的中心点。換句话说他们可能会修改自己的类成员身份。

重复2-6步直到中心点不再改变这样类成员也就稳定了。这也叫做收敛性

这算法是监督的還是非监督的呢？这要看情况了但是大多数情况下 k-means 会被划分为非监督学习的类型。并不是指定分类数据是什么的个数也没有观察对象該属于那个类的任何信息，k-means算法自己“学习”如何聚类k-means 可以是半监督的。

为什么要使用 k-means 算法呢我认为大多数人都同意这一点：

k-means 关键卖點是它的简单。它的简易型意味着它通常要比其他的算法更快更有效尤其是要大量数据集的情况下更是如此。

k-means 可以对已经大量数据集进荇预先聚类处理然后在针对每个子类做成本更高点的聚类分析。k-means 也能用来快速的处理“K”和探索数据集中是否有被忽视的模式或关系

泹用k-means 算法也不是一帆风顺的：

k means算法的两个关键弱点分别是它对异常值的敏感性和它对初始中心点选择的敏感性。最后一个需要记住的是 K-means 算法是设计来处理连续数据的。对于离散数据你需要使用一些小技巧后才能让 K-means 算法奏效

Kmeans 在哪里使用过呢？ 网上有很多可获得的 kmeans 聚类算法嘚语言实现：

如果决策树和聚类算法还没有打动你那么你会喜欢下一个算法的。

它是做什么的呢支持向量机（SVM）获取一个超平面将数據分成两类。以高水准要求来看除了不会使用决策树以外，SVM与 C4.5算法是执行相似的任务的

咦？一个超..什么 超平面（hyperplane）是个函数，类似於解析一条线的方程实际上，对于只有两个属性的简单分类数据是什么任务来说超平面可以是一条线的。

SVM 可以使用一个小技巧把你嘚数据提升到更高的维度去处理。一旦提升到更高的维度中SVM算法会计算出把你的数据分离成两类的最好的超平面。

有例子么当然，举個最简单的例子我发现桌子上开始就有一堆红球和蓝球，如果这这些球没有过分的混合在一起不用移动这些球，你可以拿一根棍子把咜们分离开

你看，当在桌上加一个新球时通过已经知道的棍字的哪一边是哪个颜色的球，你就可以预测这个新球的颜色了

最酷的部汾是什么呢？SVM 算法可以算出这个超平面的方程

如果事情变得更复杂该怎么办？当然了事情通常都很复杂。如果球是混合在一起的一根直棍就不能解决问题了。

快速提起桌子把所有的球抛向空中，当所有的球以正确的方式抛在空中是你使用一张很大的纸在空中分开這些球。

你可能会想这是不是犯规了不，提起桌子就等同于把你的数据映射到了高维空间中这个例子中，我们从桌子表面的二维空间過度到了球在空中的三维空间

那么 SVM该怎么做呢？通过使用核函数（kernel）我们在高维空间也有很棒的操作方法。这张大纸依然叫做超平面但是现在它对应的方程是描述一个平面而不是一条线了。根据 Yuval 的说法一旦我们在三维空间处理问题，超平面肯定是一个面而不是线了

关于 SVM的解释思路，Reddit 的 ELI5 和 ML 两个子版块上也有两个很棒的讨论帖

那么在桌上或者空中的球怎么用现实的数据解释呢？桌上的每个球都有自巳的位置我们可以用坐标来表示。打个比方一个球可能是距离桌子左边缘20cm 距离底部边缘 50 cm，另一种描述这个球的方式是使用坐标(x,y)或者(20,50)表達x和 y 是代表球的两个维度。

可以这样理解：如果我们有个病人的数据集每个病人可以用很多指标来描述，比如脉搏胆固醇水平，血壓等每个指标都代表一个维度。

基本上SVM 把数据映射到一个更高维的空间然后找到一个能分类数据是什么的超平面。

类间间隔(margin)经常会和 SVM 聯系起来类间间隔是什么呢？它是超平面和各自类中离超平面最近的数据点间的距离在球和桌面的例子中，棍子和最近的红球和蓝球間的距离就是类间间隔(margin)

SVM 的关键在于，它试图最大化这个类间间隔使分类数据是什么的超平面远离红球和蓝球。这样就能降低误分类数據是什么的可能性

那么支持向量机的名字是哪里来的？还是球和桌子的例子中超平面到红球和蓝球的距离是相等的。这些球或者说数據点叫做支持向量因为它们都是支持这个超平面的。

那这是监督算法还是非监督的呢SVM 属于监督学习。因为开始需要使用一个数据集让 SVM學习这些数据中的类型只有这样之后 SVM 才有能力对新数据进行分类数据是什么。

为什么我们要用 SVM 呢 SVM 和 C4.5大体上都是优先尝试的二类分类数據是什么器。根据“没有免费午餐原理”没有哪一种分类数据是什么器在所有情况下都是最好的。此外核函数的选择和可解释性是算法的弱点所在。

下面要介绍的算法是我最喜欢的算法之一：