请教如何确定二元logistic回归中的调节效应存在？ - 服事人的（路22:26） --
查看: 3990|回复: 1
最后登录注册时间威望0 金钱63 贡献3 阅读权限20积分66日志记录帖子主题精华0好友
书生, 积分 66, 距离下一级还需 434 积分
注册时间最后登录积分66精华0主题帖子
Kenney，你好！我是Jane的学生。昨天意外的发现这个论坛，很开心。有个问题想请教您。由于我是第一次处理数据，所以比较弱智，让您见笑了。 我现在做的是一个调节效应分析，即通常所说的自变量X与因变量Y的关系受到调节变量M的影响。具体如下：因变量Y是虚拟变量，取值为0或1。X是连续变量。M设为虚拟变量。根据一个连续变量A的中位数将样本划分为两组。低于A的中位数的样本为一组，取值为0。高于A的中位数的样本为一组，取值为1。按照M的取值0或1，做了分组二元logistic回归。M=1的这一组，X的系数为正，且是***的显著性，说明X与Y是显著正相关；而M=0的这一组，X的系数是完全不显著，说明X与Y没有关系。 后来Jane告诉我，必须做加入乘积项的回归，看其系数是否显著，才能判断是否有调节作用。于是，我把X中心化为X1，M中心化为M1，将X、M、X1*M1三项都放入二元logistic回归方程，做总体样本的回归。一共做了三个层级回归，如下：(1)& &&&只加入控制变量若干，发现其中有一个控制变量是不显著的，其余控制变量显著。(2)& &&&加入控制变量、自变量X、调节变量Y，都显著。(3)& &&&加入控制变量、自变量X、调节变量Y、乘积项X1*M1，控制变量都显著，自变量X、调节变量Y不显著，乘积项是***的显著性。我看了陈晓萍等（2008）主编的《组织与管理研究的实证方法》，阅读了您和Jane编写的第十四章“调节变量和中介变量”。根据第321页的图5，交互项的系数显著可以说明调节作用的存在。& &综上所述，我觉得可以认定M的调节效应确实存在。 现在的问题是：第一，& &根据上面的分析，这样下结论可以吗？第二，& &上述的书中提到还要通过R方来检验，但是二元logistic回归的R方好像与一般的线性回归的R方含义不同。我看了spss上run数据之后的伪R方值。上述的（2）这一次层级回归结果的Cox & Snell R 方为0.354，Nagelkerke R 方为0.481。（3）这一次层级回归结果的Cox & Snell R 方为0.355，Nagelkerke R 方为0.482。这个结果说明了什么，我搞不清楚。 请您不吝赐教！谢谢！
最后登录注册时间威望250 金钱16844 贡献11936 阅读权限255积分29030日志记录帖子主题精华0好友
注册时间最后登录积分29030精华0主题帖子
eudaemonia， 你问了&&Jane 一半。 为什么这个问题不继续的问Jane呢？有一个活的老师在身边，不是比我这个在网上的哑老师好吗？3 C6 K* j" G# t" q. K
1. 我建议你不放心的话，找Jane看看好了。) C* V- D. ^&&f2 V&&c' }
2. 没有R-平方，可以用 log likelihood 吗？我不熟 logistic regression。不过，-2Log 应该是一个拟合的指标，而且是卡方分布的。两个卡方之差又是卡方，不就可以验证吗？ 不过，这纯粹是猜测而已。
2009年度勋章
2009年度勋章机器学习（4）
Sigmod函数和Logistic回归分类器
最优化理论
梯度下降最优化算法
数据中的缺失项处理
生活中有许多最优化问题，如到达两地的最短时间、发动机油耗最小产生最率最大。本章将使用最优化算法训练一个非线性函数用于分类。这里所说的非线性函数（分类器），就是logistic回归分类器。
假设有一些数据点，用一条直线对这些数据点进行拟合（该线称为最佳拟合直线），这个拟合过程就称为回归。利用logistic回归来分类的主要思想为：根据现有数据对分类边界建立回归公式，通过该回归公式进行分类。
回归一词来源于最佳拟合，表示找到最佳拟合参数集。训练分类器时，采用最优化算法，寻找最佳拟合参数。
(1)收集数据：任意方法。
(2)准备数据：数值型数据，结构化数据格式。
(3)分析数据：任意方法。
(4)训练算法：找到最佳的分类回归参数。
(5)测试算法：使用测试数据，测试算法准确度。
(6)使用算法：输入数据，转化格式，使用训练好的回归参数进行回归计算，判定属于的类别。
基于logistic回归的和Sigmoid函数的分类
优点：计算代价不高。
缺点：容易欠拟合，分类精度可能不高。
Sigmod函数：
f(x)=11+e-x
当x值为0时，sigmod函数值为0.5.随着x值的增大，对应的sigmod值逼近1。随着x的减少，对应的sigmod值逼近0。
为了实现分类任务，在将每一个特征乘以一个回归系数，然后把所有值相加，将这个值作为sigmod函数的输入，从而得到一个范围在0~1之间的数值。如果大于0.5，属于分类1，反之属于分类0.
现在，我们要解决的任务就是：最佳回归系数？
基于最优化方法的最佳回归系数缺点
z=w0x0+w1x1+w2x2+...+wnxn
采用向量改写上述公式：
其中z为sigmod函数的输入，x是分类器的输入数据，w是最佳参数（系数）。为了寻找最佳参数，需要用到最优化。
梯度上升法
梯度上升法是一种最优化算法，其基本思想是：为了找到某个函数的最大值，沿着该函数的梯度方向寻找。函数f(x,y)的梯度由下式表示：
?f(x,y)=[?f(x,y)?x?f(x,y)?y]
这个梯度意味着，找找到函数最大的值，需要沿x的方向移动
沿y的方向移动
其中f(x,y)必须是可微。移动方向有了，需要移动多少？移动量的大小称为步长，记做
梯度算法的迭代公式如下：
w:=w+α?f(w)
该过程迭代执行，直到满足某个停止条件。
梯度下降，只是把上式中的+改为-号，它寻找函数关于参数w的最小值：
w:=w-α?f(w)
上面两式，梯度上升用来求函数的最大值，梯度下降用来求函数的最小值。对于梯度下降公式的理解：用来训练的数据是准备好的，不变的。但是非线性函数f的系数是可以改变的，通过改变系数w，求得函数f的最小值。
训练算法：使用梯度下降找到最佳参数
初始化每个回归系数(1)
计算整个数据集的梯度
使用alpha(步长)x梯度更新回归稀疏
返回回归系数
logistic回归梯度下降算法
def loadDataSet():
dataMat = []; labelMat = []
fr = open('testSet.txt')
for line in fr.readlines():
lineArr = line.strip().split()
dataMat.append([1.0, float(lineArr[0]), float(lineArr[1])])
labelMat.append(int(lineArr[2]))
return dataMat,labelMat
def sigmoid(inX):
return 1.0/(1+exp(-inX))
def gradAscent(dataMatIn, classLabels):
dataMatrix = mat(dataMatIn)
labelMat = mat(classLabels).transpose()
m,n = shape(dataMatrix)
alpha = 0.001
maxCycles = 500
weights = ones((n,1))
for k in range(maxCycles):
h = sigmoid(dataMatrix*weights)
error = (h-labelMat)
weights = weights -alpha * dataMatrix.transpose()* error
return weights
这里是计算真实类别和预测类别的差值，按照差值的方向调整回归系数。
画出决策边界
考虑sigmod(x)，当函数sigmod的输入即（w0x0+xw1+yw2）为0时，是两个类别的决策边界。下面代码画出分割线，便于理解。
def plotBestFit(wei):
import matplotlib.pyplot as plt
dataMat,labelMat=loadDataSet()
dataArr = array(dataMat)
n = shape(dataArr)[0]
xcord1 = []; ycord1 = []
xcord2 = []; ycord2 = []
for i in range(n):
if int(labelMat[i])== 1:
xcord1.append(dataArr[i,1]); ycord1.append(dataArr[i,2])
xcord2.append(dataArr[i,1]); ycord2.append(dataArr[i,2])
fig = plt.figure()
ax = fig.add_subplot(111)
ax.scatter(xcord1, ycord1, s=30, c='red', marker='s')
ax.scatter(xcord2, ycord2, s=30, c='green')
x = arange(-3.0, 3.0, 0.1)
y = (-weights[0]-weights[1]*x)/weights[2]
y=y.transpose()
ax.plot(x, y)
plt.xlabel('X1'); plt.ylabel('X2');
plt.show()
训练方法：随机梯度下降
之前 的梯度下降方法，每次更新回归系数时需要遍历整个数据集，如果处理大量（千万、亿）条数据时，每个数据点包含上百个特征时，该方法的计算复杂度太高。一种改进方法：一次仅用一个样本点来更新回归系数，该方法称为随机梯度下降法。
采用这种方法可以在新的样本点到来时对分类器进行增量式更新，因此随机梯度下降法是一个在线学习算法。与在线学习相对应的，一次处理所有数据称为批处理
随机梯度下降算法伪码
初始化回归系数
对数据集中每一个样本
计算该样本的梯度
alpha*gradient更新回归系数
返回回归系数
随机梯度下降法
def stocGradAscent0(dataMatrix, classLabels):
dataMatrix=array(dataMatrix)
m,n = shape(dataMatrix)
alpha = 0.01
weights = ones(n)
for i in range(m):
h = sigmoid(sum(dataMatrix[i]*weights))
h-classLabels[i]
weights = weights - alpha * error * dataMatrix[i]
return weights
上述代码相当于在整个数据集上运行一次，我们可以改进该算法，使得在整个数据集上迭代150次，另外固定的步长可能导致回归系数收敛时来回波动（这个问题可以理解为，回归系数因为步长过大，在收敛值左右跳动），因此需要随着训练次数的增长，适当减少步长。
改进的随机梯度下降算法
def stocGradAscent1(dataMatrix, classLabels, numIter=150):
dataMatrix=array(dataMatrix)
m,n = shape(dataMatrix)
weights = ones(n)
for j in range(numIter):
dataIndex = range(m)
for i in range(m):
alpha = 4/(1.0+j+i)+0.0001
randIndex = int(random.uniform(0,len(dataIndex)))
h = sigmoid(sum(dataMatrix[randIndex]*weights))
h-classLabels[randIndex]
weights = weights -alpha * error * dataMatrix[randIndex]
del(dataIndex[randIndex])
return weights
Logistic回归的目标就是寻找非线性函数Sigmod的最佳拟合参数，这个求解过程可以用最优化算法完成。梯度下降（上升）法较为常用，随机梯度下降算法比梯度下降算法占用的资源更少，且是一个在线算法，可以在新数据到来时进行更新，而不需要读取整个数据集进行批处理运算。
testSet.txt(训练数据)
参考知识库
* 以上用户言论只代表其个人观点，不代表CSDN网站的观点或立场
访问：43020次
排名：千里之外
原创：52篇
评论：33条
(1)(4)(1)(6)(1)(1)(2)(2)(2)(2)(10)(10)(2)(1)(2)(3)(4)