当前位置：
&求助大家！单因素回归分析与多因素回归分析结果不一致，怎么处理呢？谢谢！
求助大家！单因素回归分析与多因素回归分析结果不一致，怎么处理呢？谢谢！
作者 S103427
有一个课题，用一个量表评定800多名人员的性格特征及是否患某病。每个受试者的性格特征用该量表中五类性格因子的得分表示（用ABCDE表示），我想看看这五类因子是否是受试者患该病的风险因素。
我用SPSS二元回归分析，先进行单因素Logistic回归分析，将是否患病作为因变量，分别将每个受试者A,B,C,D,E 因子的得分作为协变量单独进行统计，发现只有A因子的P值&0.05,&&我再将ABCDE五个因子同时作为协变量用SPSS进行多因素回归分析，结果发现，AB因子与Logistic回归关系都是P&0.05.
请问大家，是不是我在哪个环节出错了？如果出错了，请大家指出我的错误，
如果没出错，这种情况应该怎么处理呢？A B 都是患该病的风险因素吗？
附件是多因素回归结果。
谢谢大家！
多因素回归分析.jpg
从数据处理的角度来看，根据你给的数据表格，应该首先剔除倒数第二项，从P值来看它对实验结果的影响最小，继续回归分析，得到的最后结果和你的专业知识不吻合，那么你选择使用的统计模型可能有误，就是说实验因素和实验结果不存在对数回归关系。希望能帮到你。
引用回帖:: Originally posted by yhm131115 at
从数据处理的角度来看，根据你给的数据表格，应该首先剔除倒数第二项，从P值来看它对实验结果的影响最小，继续回归分析，得到的最后结果和你的专业知识不吻合，那么你选择使用的统计模型可能有误，就是说实验因素和 ... 首先，非常谢谢你的解答。我先做的单因素回归分析的结果请见附件。（原帖子中是5个因子一起做的多因素回归）。是不是先把单因素回归中，B值最接近0的，即责任意识 那一项剔除了，再做多因素回归分析呢？
单因素回归分析.jpg
引用回帖:: Originally posted by S103427 at
首先，非常谢谢你的解答。我先做的单因素回归分析的结果请见附件。（原帖子中是5个因子一起做的多因素回归）。是不是先把单因素回归中，B值最接近0的，即责任意识 那一项剔除了，再做多因素回归分析呢？
谢谢你 ... 你这个思路首先是认为个因素之间不存在交互作用。如果假设正确，一般是看显著性水平剔除不重要的项吧。
单因素分析的结果和多因素分析的结果不一样是很正常的事情
因为单因素分析往往存在混杂因素的影响
我们要明白在建立多元回归模型之前，单因素分析的主要作用是起到筛选的作用，通常选取p小于0.1或者0.2的因素进入
多元回归模型，而多元回归模型中偏回归系数有意义才是真正的有意义；如果多元回归模型中偏回归系数没有意义，就算单因素有意义也是没有意义的。
因此，我认为你不需要对模型中没有意义的指标剔除后在进行回归分析。因为剔除后，建立的模型回归系数没有达到控制该因素的效果。
24小时热帖
下载小木虫APP
与700万科研达人随时交流以下试题来自：
判断题回归分析中，回归方程的截距项b。表示解释变量每增加一个单位，被解释变量相应地平均变化b0个单位。 错
为您推荐的考试题库
您可能感兴趣的试卷
你可能感兴趣的试题
1.判断题 错2.判断题 对3.判断题 对4.判断题 错5
A.这两个变量之间是正相关
B.这两个变量之间存在着线性相关关系
C.对这两个变量之间的相关系数进行检验时使用t检验
D.对这两个变量之间的相关系数进行检验时使用F检验
E.这两个变量中一个变量增加一个单位时，另外一个变量随之增加0.91个单位我的机器学习笔记(二) - 单变量线性回归 - 简书
我的机器学习笔记(二) - 单变量线性回归
简书无法显示MathJax数学公式，请到这里阅读:
课程地址：
课程Wiki：
扩展阅读：
什么是训练集(Training Set)？有训练样例(training example)组成的集合就是训练集。如下图所示，右边的两列数据就是本例子中的训练集， 其中\((x, y)\)是一个训练样例，\((x^{(i)}, y^{(i)})\)是第\(i\)个训练样例。
通过训练集和学习算法我们就可以得到假设函数(Hypothesis Function)，假设函数记为h。在房屋的例子中，我们的假设函数就相当于一个由房屋面积到房屋价格的近似函数，通过这个假设就可以得出相应面积房屋的估价了。如下图所示：
那么我们该如何表示假设函数呢？在本例中，只有一个变量x(房屋的面积)，我们可以将假设函数h以如下的形式表示：&font size='4'&$${h_\theta(x)=\theta_0+\theta_1x}$$&/font&为了方便$h_\theta(x)$也可以记作$h(x)$。这个就叫做单变量的线性回归(Linear Regression with One Variable)。(Linear regression with one variable = Univariate linear regression，univariate是one variable的装逼写法。) 如下图所示。
在刚才的假设函数中有两个未知的参数$\theta_0$和$\theta_1$，当选择不同的$\theta_0$和$\theta_1$时，我们模型的效果肯定是不一样的。如下图所示，列举了三种情况下的假设函数。
那么我们该如何选择这两个参数呢？我们的想法是选择$\theta_0$和$\theta_1$，使得对于训练样例$(x,y)$，$h_\theta(x)$最接近$y$。即，使每个样例的估计值与真实值之间的差的平方的均值最小。用公式表达为:
&font size='4'&$${\mathop{minimize}\limits_{\theta_0,\theta_1} \frac{1}{2m}\sum_{i=0}m\left(h_\theta(x{(i)})-y{(i)}\right)2}$$&/font&
将上面的公式minimize右边部分记为$J(\theta_0,\theta_1)$：
&font size='4'&$${J(\theta_0,\theta_1)=\frac{1}{2m}\sum_{i=0}m\left(h_\theta(x{(i)})-y{(i)}\right)2}$$&/font&
这样就得到了我们的代价函数(Cost Function)$J(\theta_0,\theta_1)$，我们的目标就是&font size='4'&$$\mathop{minimize}\limits_{\theta_0,\theta_1}J(\theta_0,\theta_1)$$&/font&
代价函数II
现在为了更方便地探究$h_\theta(x)$与$J(\theta_0,\theta_1)$的关系，我们先令$\theta_0$等于0。这样我们就得到了简化后的假设函数，相应地也可以得到简化的代价函数。如图所示:
简化之后，我们再令$\theta_1=1$，就得到$h_\theta(x)=x$如下图左所示。图中三个红叉表示训练样例，通过代价函数的定义我们计算得出$J(1)=0$，对应下图右中的$(1,0)$坐标。
重复上面的步骤，再令$\theta_1=0.5$，得到$h_\theta(x)$如下图左所示。通过计算得出$J(0.5)=0.58$，对应下图右中的$(0.5,0.58)$坐标。
对于不同的$\theta_1$，可以得到不同的假设函数$h_\theta(x)$，于是就有了不同的$J(\theta_1)$的值。将这些点连接起来就可以得到$J(\theta_1)$的曲线，如下图所示：
代价函数III
在上一节中，我们令$\theta_0$等于0，得到$J(\theta_1)$的曲线。如果$\theta_0$不等于0，例如$\theta_0=50$, $\theta_0=0.06$，此时就有两个变量，很容易想到$J(\theta_1)$应该是一个曲面。
这个图是教授用matlab绘制的，由于3D图形不太方便我们研究，我们就使用二维的等高线(上图右上角教授写的contour plots/figures)，这样看上去比较清楚一些。如下图右，越往里表示$J(\theta_0,\theta_1)$的值越小(对应3D图中越靠近最低点的位置)。下图左表示当$\theta_0=800$, $\theta_1=0.15$的时候对应的$h_\theta(x)$，通过$\theta_0$, $\theta_1$的值可以找到下图右中$J(\theta_0,\theta_1)$的值。
我们不断尝试直到找到一个最佳的$h_\theta(x)$，使得$J(\theta_0,\theta_1)$最小。当然我们不可能随机猜测或者手工尝试不同参数的值。我们能想到的应该就是通过设计程序，找到最佳的$h_\theta(x)$，也就是最合适的$\theta_0$和$\theta_1$。
我们先直观的感受一下什么是梯度下降(Gradient Descent)。想要找到最合适的$\theta_0$和$\theta_1$，我们可以先以某一$\theta_0$和$\theta_1$开始，然后不断改变$\theta_0$和$\theta_1$的值使得$J(\theta_0,\theta_1)$值不断减小，直到找到一个最小值。
如下图所示，从某一点开始，每次沿着一定的梯度下降直到到达一个极小值为止。
当从不同的点开始时(即不同的$\theta_0$和$\theta_1$)，可能到达不同的最小值(极小值)，如下图：
现在我们大概知道什么是梯度下降了，就好比下山一样，不同的山路有不同的坡度，有的山路走得快有的走得慢。一直往地处走有可能走到不同的最低点。那么我们每次该如何应该如何改变$\theta_0$和$\theta_1$的值呢？如下图所示，这里提到了梯度下降算法(Gradient Descent Algorithm)，其中$:=$表示赋值，$\alpha$叫做学习率，$\frac{\partial}{\partial\theta_j}J(\theta_0, \theta_1)$叫做梯度。这里一定要注意的是，算法每次是同时(simultaneous)改变$\theta_0$和$\theta_1$的值，如图下图所示。
梯度下降II
现令$\theta_0$等于0，假设一开始选取的$\theta_1$在最低点的右侧，此时的梯度是一个正数。根据上面的算法更新$\theta_1$的时候，它的值会减小，即靠近最低点。
类似地假设一开始选取的$\theta_1$在最低点的左侧，此时的梯度是一个负数，根据上面的算法更新$\theta_1$的时候，它的值会增大，也会靠近最低点。
如果一开始选取的$\theta_1$恰好在最适位置，那么更新$\theta_1$时，它的值不会发生变化。
学习率$\alpha$会影响梯度下降的程度。如果$\alpha$太小，根据算法，$\theta$的值每次会变化的很小，那么梯度下降就会非常慢；相反地，如果$\alpha$过大，$\theta$的值每次会变化会很大，有可能直接越过最低点，可能导致永远没法到达最低点。
随着越来越接近最低点斜率(绝对值)会逐渐减小，每次下降程度就会越来越小。所以并不需要减小$\alpha$的值来减小下降程度。
梯度下降III
现在我们所要做的就是将梯度下降算法应用到线性回归模型中去，而其中最关键的就是计算其中的偏导数项，如下图所示。
我们将$h_\theta(x{(i)})=\theta_0+\theta_1x{(i)}$带入到$J(\theta_0,\theta_1)$中，并且分别对$\theta_0$和$\theta_1$求导得:
由此可得到我们的第一个机器学习算法，梯度下降算法:
在我们之前讲到梯度下降的时候，我们用到的是这个图：
起始点不同，会得到不同的局部最优解。但事实上，用于线性回归的代价函数总是一个凸函数(Convex Function)。这样的函数没有局部最优解，只有一个全局最优解。所以我们在使用梯度下降的时候，总会得到一个全局最优解。
下面我们来看一下梯度下降的运行过程：
迭代多次后，我们得到了最优解。现在我们可以用最优解对应的假设函数来对房价进行预测了。例如一个1,250平方英尺的房子大概能卖到250k$，如下图所示：
最后我们在介绍几个相关的概念。刚才我们用到的梯度下降也叫作批梯度下降(Batch Gradient Descent)。这里的‘批’的意思是说，我们每次更新$\theta$的时候，都是用了所有的训练样例(training example)。当然也有一些其他的梯度下降，在后面的课程中会介绍到。
在后面的课程中我们还会学习到另一种不需要像梯度下降一样多次迭代也能求出最优解的方法，那就是正规方程(Normal Equation)。但是在数据量很大的情况下，梯度下降比较适用。
博客地址：http://daniellaah.github.io
二、单变量线性回归（Linear Regression with One Variable） 2.1 模型表示 notation(符号): m = Number of trainging examples x's = &input& variable / features ...
转载-刘建平Pinard-www.cnblogs.com/pinard/p/5970503.html 在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的方法之一，另一种常用的方法是最小二乘法。这里就对梯度下降法做一个完...
作者按：简书的文艺气息还是比较浓的。我们来捣捣乱，搞一篇全部数学公式的文章，用实际行动推动简书加入 MathJax 支持。不过这种文章这年头估计没人会看了吧......如果万一有人感兴趣，可以移步这里得到完整的阅读体验。 本文总结了线性回归算法里用到的一些微积分知识，接着根...
AI人工智能时代，机器学习，深度学习作为其核心，本文主要介绍机器学习的基础算法，以详细线介绍 线性回归算法 及其 数学原理 探究，做到知其然知其所以然，打好理论基础。 目录 机器学习及人工智能 机器学习分类 有监督学习 无监督学习 线性回归算法 线性回归 代价函数 数学模型...
我们的第一个学习算法是线性回归算法。在这段视频中，你会看到这个算法的概况，更重要的是你将会了解监督学习过程完整的流程。 模型表示（Model Representation） 让我们通过一个例子来开始：这个例子是预测住房价格的，我们要使用一个数据集，数据集包含俄勒冈州波特兰市...
经常在网上看到一些“韩语怎么学”、“快速学习韩语”、“韩语快速入门”这样的攻略，作为一名资深的韩语老师，我非常负责任的告诉你们，韩语怎么学乃至任何一门语言都没有捷径可以走，像那种说让你快速学习的攻略其实一点用都没有，今天我来分享一些真正的良心干货。 如果你想学好一门语言，只...
将来有个像小笨周一样乖巧活泼的女儿。 挺好的。 我想。
来到了美式大乡村 后，对周边环境不太熟悉，每天一大早就是去公园散步一圈回来后做早餐，白天最高气温时就居家休息，下午三四点钟准备晚餐，年轻人回来后饭后也就是6点左右，此时窗外还是艳阳高照的样子，抓紧时间开车就近游玩，几天来除了去超市购物，年轻人在地图上寻得一处风景秀丽的山水风...
打扫卫生的时候，发现洗碗池下漏水，随手就拿了不个不用的不锈钢锅来接在下面。现在用电压力锅电饭煲，煮饭煲汤的都有了，我就认为：物尽其用。挺好。 同事王玉一看，眉头皱了一下说：&用这个，太可惜了。& 我心想：盖都没有，锅耳也缺了一边，闲在那里很久了。所以不以为然地说：&能拿来做...
赵公专祠的变迁 一、赵公专祠 赵公专祠位于青岩古镇南街。系赵氏（国澍）专祠，清代同治年间，朝廷降旨所建。以大山门、通道、过厅、两厢及大殿组成一大建筑群，坐南向北，占地1600多平方米，建筑面积为923平方米。专祠东与文昌阁一墙之隔，南与青岩书院连为一体，西抵南街，北靠青岩朝...运用SPSS进行logistic 回归分析，发现有两个问题：1、因素（自变量）纳入，我看见有的是先做单因素分析，
本回答由提问者推荐
var sogou_ad_id=731547;
var sogou_ad_height=160;
var sogou_ad_width=690;