求教大神,在matlab 高斯白噪声里怎么建立一个基于高斯近似的模型?

从实验的样本容量和各事件发生次数反推真实概率的分布的计算、讨论及应用(3-6更新主楼提问) | 死理性派小组 | 果壳网 科技有意思
821300人加入此小组
关注概率事件的测试好几年了=_,= 最近在优化计算的时候发现点像样子、而且和现行的结论不同的结论,和大家分享一下,顺便讨论讨论。首先要确定定义问题,网上有人纠结概率、几率、机率什么的,我来梳理一下:引用刚看的医学统计学的说法:独立地重复做n次试验,某随机事件A在n次试验中出现了m次,则比值m/n称为随机事件A在n次试验中出现的 频率 。在医学科研中,当n充分大时,就以频率作为 概率 的 近似值 ,记做上面确实是“近似值”,因为在实验结果只有两种可能的最简单情况下,概率的期望值应是这我会在下面说明。而几率和概率则是一回事。对于纠结定义的人,很可能你是把频率当做了几率。不过咱们接下来要讨论的不是定义的语义,而是定义指代的东西本身,所以也不太重要……首先说一下最简单的情况,如果一个实验的可能结果只有 [发生/不发生] 两种 (或者[发生a/发生b]两种),而且其真实概率是未知的稳定数值 t。那么,对于0~1之间的某一个t,其实验了N次且只发生X的概率是,每一个不同的概率t,都有可能发生频率X/N的事件,其总和(归一化系数)为我不知道怎么才能手工解出这个式子……但是运气好在这个式子是有一些渊源的:首先,叫做其次,可以直接查公式和,,结果是
,我另外用数值计算N次的结论也吻合这个结果所以,很巧妙的,于是,真实概率在t周围一个极小的dt的范围内的概率就是而t的期望值则是基于此,再引用医学统计学中的一段描述例如:某时期内,甲部队患感冒者17人,乙部队10人,我们不能因为17人多于10人,而得出甲部队感冒发病率高的结论,如果甲部队有534人,乙部队为313人,那么甲乙部队感冒率分别为:
甲部队:17/534×1000‰=31.8‰
乙部队:10/313×1000‰=31.9‰
根据这两个感冒发病率可以看出,两个部队感冒的发病强度是一样的,即每千人中发病32人。这里的算式就不对,甲部队的感冒率期望值是 18/536×1000‰=33.58‰ 乙部队则为34.92‰两个部队具体的感冒率的概率分布则为基于此P(t),我们就可以进行两个样本的差异性估计例如表示对于样本一的每一个可能的真实概率t,统计样本二的真实概率在(t+0.01,1)之间的概率,如果这个数值的概率大于,比如99%,就可以说明样本二的概率和样本一的概率有显著地差异,其差值为0.01(1%)相比现行的计算X2,计算P,自由度,做假设检验,然后得到一个 是/否的判断结论以及判断犯I型错误的概率不超过5% 这样的结果显示更方便结果叠加和处理---上面的算式有一个假设“其真实概率是未知的稳定数值 t”,实际情况中的概率不是某个固定值,我认为可以做这样的理解:我们难以分辨出所有影响治愈率的因素,所以要随机选择大容量样本(N),这个样本中,可能会包含了情况有别的群体,其容量分别为n1,n2,…… 满足,每一个群体因各种因素的影响,其安慰剂治愈率p1i是不同的,给药治愈率p2i不相同。如果我们能够分辨每一个个体归属的组别,那么取样样本的安慰剂治愈率应满足对于每个分组ni和治愈了的个体xi,可以按照已知的公式计算出pi的概率分布,叠加一下就可以得到P1的概率分布,最后就可以用积分式来检查显著性了。在实际情况中,我们除了观察到的样本一组结果[N1 X1]、样本二结果[N2 X2]之外,没办法分辨什么内在的各个子群体。但正是因为没法分辨各样本中子群体的规模,实验结果的信息才对任意样本组的子群体等效,即于是有混合概率所以,测试的结果直接反应出这个样本总体的概率分布。若要将计算结果推广到总体空间,只需要检查取样是否合理,样本是否能在很大程度上代表总体就可以。----------------讨论和疑问对于实验可能只有两种情况的计算比较简单,结果也很漂亮,但是如果推广到三个甚至更多,似乎就没办法得到很漂亮的结果了。以三种不同的结果[发生a|发生b|发生c]为例,Xa+Xb+Xc=N ,ta+tb+tc=1.如果我们尝试把事件b和事件c的发生次数Xb和Xc加总起来,分离事件a,试图套用上面的计算结论,得到事件a的概率的期望值是
(Xa+1)/(N+2),那么相应的,事件b和c的总和体的概率的期望值就是 (Xb+Xc+1)/(N+2),而在事件总体bc中,b的发生概率是(Xb+1)/(Xb+Xc+2),两者相乘得到(Xb+1)/(N+2)*(Xb+Xc+1)/(Xb+Xc+2),这个数值直接分离事件b得到的(Xb+1)/(N+2)不同。结论不能适用,就从最初的积分式开始计算吧。对比一下就会发现,相对于两种结果的积分式的格式,三个结果的右边是 自然会有差别其归一化系数的计算式为稍微整理一下,可以推广得到公式解实验一共有M种不同的结果时,经过归一化和整理地表达式是对应的期望值是令N'=N+M-2 ,那么得到但这个结果还是不对的。 以M= N=1000 X=996 为例,我们很显然认为不管M等于多少,这个事件的发生概率必须接近0.996,而不是如上述公司计算出来的接近0.如果我们不做积分,那么这个概率密度函数其实是狄利克雷分布(The Dirichlet Distribution),而只是在M维欧拉空间画出分布的图像的话,图像本身是和0.996的感性认识一致的。所以问题只能是出在积分上——我试过换一个角度来做积分,把100%的一端固定,0%的一端扫描过所有的可能,这样得到的积分式不会有M进入(1-t)的指数部分,但仍有其他的问题,如无法同时满足单事件概率积分为一盒所有事件期望概率之和为一的两个条件(我倾向于选择期望作为约束条件,没啥理由……)但无论如何,我认为从实验结果得到的固定的狄利克雷分布本身已经足够表征实验结果,这意味着单一事件的真实概率也应该有一个固定的表达式,只是暂时没有找到正确地方法求出来。那么,这个表达式到底是什么呢?另外,基于M&2时的这种暂时没有调和的矛盾,我对M=2时的Beta分布的信心也受到了影响,因为现在似乎表明我们不能通过统计口径的改变来主观削减M的数量,不能把事件一以外的其他事件统称为事件二并计算事件一……那M=2的适用范围实在是……
+ 加入我的果篮
附医学统计学的链接,嘛,临时找的,我今天上去也就看到第三章主要的目的还是想推广到随机双盲实验的数据处理中,提供更加准确也更加易用的思路,望大家多批评:-)
找了一个特定条件来检查,应该猜测还是有一定靠谱程度的=w=在Xc=0,的情况下 N=Xa+Xb,原归一化式子变为这个结果是 概率均值类似算出来就是
(xa+1)/(n+3)了!=w=···问题是Xc&0的时候呢=_,=
引用 的话:非常之不明觉厉用C=1 C=2 C=3试了一下,虽然谈不上证明,但是找到很明显的规律,然后就写出来三种可能结果的表达式,然后进一步把M中可能结果的表达式也凑出来了=w=!一个实验可能发生M(M&=2)种结果,重复N次这个实验,其中某一种结果发生了X次,那么这个结果对应的概率的分布是:其概率的期望值是怎么办我膨胀了=_,=但是因为是凑出来的,所以还没想明白上面p(t)中M-2部分的数学含义=_,=!
诶,小组啥时候不能编辑了啊=_,=现在在考虑最后一个问题了=w=对于令N'=N+M-2 ,那么得到换句话说,一个实验可能发生M(M&=2)种结果,重复N次这个实验,其中某一种结果发生了X次,那么这个结果对应的概率的分布,数值上完全等同于一个只能发生2种结果的实验,重复N+M-2次,其中目标结果发生了X的概率分布!这种吻合应该是有着深层次的数学含义的吧=w=M是不是类似什么自由度的概念呢?
记录一下……总感觉这个问题已经远超出我的数学储备了……简单的说,上面的积分有问题,可以得出分布公式的矛盾和期望值与范围的变迁矛盾在积分的过程不应该用数轴积分,而应该用旋转积分(无法证明,就当猜测吧……)当M=2和M=3的时候 p(t)满足t 的期望值为当然我看着这种拼凑出来还没做什么证明的公式总觉得很不安。M&3可能也对,但是问题在于我完全不知道M&3要怎么做图来思考或者旋转啊!
不对不对都不对!M&2都不对!不做了找拐杖问大神去……谁来提供一些信息证明M=2的算式没错吧……没信心了。话说这种实际问题为啥连概率论(浙大第四版)上面都只提到M=2的两个情况呢……
[blockquote]引用
的话:我觉得X/N比(X+1)/(N+2)更常用,在一定意义上更好。楼主讨论的是只有两种结果的实验,其结果服从二项分布,这个分布的参数就是两种结果各自发生的概率。参数估计有多种方法,最常用的是最大似然估计。这种方法的大致步骤是:写出在给定参数时数据的概率(称为“似然值”),然后求使它达到最大的参数。若使用最大似然估计法,则概率的估计值就是频率。贝叶斯估计有两种理解方法:一是取先验分布为均匀分布,然后在后验分布上取期望值(而不是峰值);二是取先验分布为贝塔分布B(2,2),然后在后验分布上取峰值。第二种理解与最大似然估计相比,相当于“幻想”两种结果各多出现了一次。最大似然估计之所以常用,是因为它有很多优点。在本帖讨论的二项分布中,它是无偏的,而且方差达到最小。上面我说的这些东西是统计课好几节的内容,一下子理解不了也没关系,可以慢慢学。感谢指教。确实有些新东西(比如贝塔分布(2,2)),在我之前和统计学专业的朋友第一次讨论的时候,确实感觉自己就像民科一样(也许就是民科……?)被教训地服服帖帖。嘛,不过这些观点都挺过来了,而且昨天也还把浙大的概率论教材看到随机过程了……所以你说的这些勉强还能梳理清楚。我是不是能结合你和9楼的朋友说的信息,得出:最大似然估计的方法无法写出结果的概率密度函数(概率分布)的结论来呢?当然我认为即便无法写出,也不能证明这个函数不存在吧。贝叶斯假设的问题确实就是关键点,在M=2时或许还看不出先验均匀分布的问题,但M=3的情况下,三个事件概率的约束条件 ta+tb+tc=1(一个边长根号二的正三角形)确实把假设的问题暴露出来了。按照您的说法,也就是贝叶斯假设下面这个积分式的权重都相等了,而【真正的权重】未必都相等,对吧?换言之,上面这个表达式的完整的写法应该是其中g(t)就是每一个点的分布权重。g(t)可能是任意的数值,在M=2时的g(t)=1,就叫做贝叶斯假设;要取其他值,就会得到其他的假设。这种拆分几乎毫无分析上的意义,因为没有更多的线索可以去推断g(t)。但是,虽然不知道g(t)的具体表达式,但我们可以说最大似然估计的方法也有一个对应的g(t),对吧。而且从上面的推论来说,这个g(t)必然和贝叶斯假设不同。保守的来说,就是我们暂时不知道两个方法的g(t)谁是对的,但这两个g(t)必然至少有一个是错的。然后是关于置信区间,这个也想请教您。上面这个统计学的方法,呃,我也不知道是用的什么方法了,总之是有近似的。那请问存在没有近似的置信区间估计(计算)方法吗?最后……虽然帖子的主要内容不是要求概率的期望值,但我也想了解一下,您说的最大似然估计方法求的概率达到最大的具体含义。这个含义是否是期望值(而非期望值的近似估计?)对于这个提问,我是这么看的:首先我们应该都认同概率密度函数的峰值位于 X/N。然后,如果说概率的期望值也是X/N,那么就表明概率密度函数的峰值两侧对期望值的贡献可以写成X/N+-k。以一个极端条件X=1,N=1000来看……虽然没办法找到什么明确的计算,不过感觉很直观地就可以得出这个k值不相等=_,= 嘛也可以无视……如果说概率的期望值不是X/N,那么概率的期望值是什么呢?-----------哦,公式推导证明什么的挺麻烦的,如果还能得到您继续的说明,能请结合几个简单数值的具体情况来做一个示范分析吗?1.
X=1 N=1[/blockquote]
X=0 N=100唔,看到上面那个说n&50,就加了一个……劳请对这三个数据分别示范期望值,95%置信区间和概率分布的计算=w=?……或者还能算点其他啥都行?另外,也非常感谢大家消耗精力帮我梳理思路,所以做功课补常识还是必须我自己来的。若觉得我需要补啥知识,请不要浪费时间打出来,开个书目和大概章节或页码我自己就圆润的过去:-)
引用 的话:只有从贝叶斯的角度才能讨论一个被推断的值(例如你这里讲的“概率”)的概率分布但你的推导又是从极大似然估计的角度出发的根本的矛盾就在于你对概率这个东西的理解不清我不知道你那个“概率有效性运算”的图/网页是哪里来的这个作者可以去重修统计101了没事……那个作者正在和大家学习。截图和主楼的分析用的是同一套公式……只不过程序的好处就是不需要像教材里那样使用近似,或者回避大计算量……当然前提是公式本身没问题。您说的使用贝叶斯的角度才能得到推断的值的问题确实已经暴露出来……另外,我理解的您的意思是说,从贝叶斯的角度还可以继续从贝叶斯的角度出发算出被推断的值(而不是像我用极大似然估计……),那能劳请您就13楼的数据的运算做一些讲解么。
的话:我们假设使用均匀先验分布B(1,1),则在三种情况下:1. 后验分布为B(2,3),峰值为1/3,期望值为2/4。2. 后验分布为B(2,1),峰值为1,期望值为2/3。3. 后验分布为B(1,101),峰值为0,期望值为1/102。其中的“峰值”就是最大似然估计的结果。=========================================这不就变成是我的(待商榷的)计算结果了么……我想看的是可能适用性更广泛的理论的计算结果和过程……不然我们一开始的分歧内容就不同了……我承认峰值就是X/N,我指的是期望值(未必正确)不是X/N。而分歧的内容就变成了应该使用峰值还是使用期望值去做预测——例如,主楼的甲乙两个部队的发病强度,应该是发病概率分布的峰值,还是发病概率分布的期望值。引用
的话:但在贝叶斯分布的大框架下,我的方法就相当于幻想这个将军额外地打了1次胜仗和1次败仗。这种幻想也是主观的。=========================================我不认可您这里和上面一次回复里使用的幻想模型。我想指责的逻辑错误名称忘记了……具体描述一下吧。首先我引入毫无用处的g(t)就是想通过包含所有可能的理论拍戏,说明贝叶斯分布/方法和另一种能够对应(X/N)的,诶也不知道到底是哪个名字的方法是“同一级”的,不是其中某个适用性更广、而另一个则是按照一定条件的假设。 换言之,(X+1)/(N+2) 不是经过特殊处理之后的X/N,当然反过来也一样,他们之中最多只可能有一个正确,不可能都正确。而您多次提及幻想模型,包含的意思就是先确认了 X/N的准确性,然后再对(X+1)/(N+2)做数值上的解读,我并没有看到这种解读的依据。反而有点像循环论证。---------------谨慎的说法就是,“根据这么少的数据,无法可靠地做出将军下一次打仗获胜的概率”(当然我们知道它接近1,但精确值无法可靠估计)。假定将军的获胜概率是一个未知的稳定值,这个值当然是无法通过实验得到。实验数据反映的是他的获胜概率的概率分布。反过来说,既然精确值无法可靠估计。那么下面这个“因为他失败的概率实在是太低了,为了可靠地估计他的胜率,我们必须观测足够的数据,等到他失败了足够多次(其实三四次就算“够”了)以后,才能可靠地估计。”是以什么为依据,才能得出失败了足够多次(三四次)之后,就变成了“能够可靠地估计”了?从X=4 N=10的数据 ……好吧,从X=24 N=60的数据里估计出来的将军的胜率,比从X=0 N=10000里得估计出的胜率更可靠吗?或者进一步结合您的模型来说,为什么在X=24 N=60的时候不需要“幻想将军再赢一次、输一次”呢?
说起来我们都关注这个……呃,姑且叫参数估计的概率问题好多年了嘛……我大概是09年还是啥时候开始就注意到这个问题了,因为在玩的游戏中只剩下概率事件还没解析出来。在最早的时候,我也没意识到(X+1)/(N+2),其他人也都是用X/N。当然,分布公式和置信区间什么的都还是主楼的同一套公式。当时是看到在matlab里头有betainc函数,但是我写的程序平台没有啊!于是最早的时候相当朴素,连(N+1)的归一化系数都是直接做数值积分求的。后来想做两个条件下真实概率值的显著性差异,哦,白话说,拿一个盾牌之后命中率相对于空手是不是有显著的变化(这才是根本目标),就写了主楼的那个二次积分,不过二次积分又要数值积分太可怕了……随便分析个数据都是几千米秒。也就是在今年年初,重新修正代码,顺便想提高一下效率,才想到去找上面那些公式,然后顺便也把betainc移植了……以前到底多菜啊。这个的时候才发现,期望值未必就是峰值(至少期望值是有一个明确的定义和计算方法的),然后重新算算,就得到(X+1)/(N+2)这个值了。-------------至于为啥要找传统方法的精确的置信区间的计算,是因为精确的置信区间,如果我们不只采用 0.9 0.95 0.99 这种离散点,而是取在这中间的一套连续值,那么置信区间的变化量不就是概率密度函数的数值了嘛!
[blockquote]引用
的话:公式都被吃了= =第1处是p1和p2戴帽子;第2处是偏差Bias、方差Var、均方误差MSE的定义,以及MSE = Bias^2 + Var这个公式。大momo,发帖的时候编辑时间太久就会刷新一次,之前的内容会进入草稿,再重新加载的时候公式就没了,这个可以通过发帖前复制黏贴来避免。因为内容需要讨论,劳您视情况修复一下吧。----(实际上如果认同了贝叶斯估计的方法,那我都不想讨论了……我相信自己比你梳理地更清晰,这些话在贝叶斯估计的框架内,我已经和人说了N次了。说到底,包括
在内的意见应该是:X/N并非贝叶斯的结果,贝叶斯本身待商榷。)你引入了不少指标,但我看来这些不是比原问题更根本的先导概念/适用条件/简化假设,而是可有可无的后续概念。简单说来,目标函数的自变量不是X,而是t。这个表达式的含义是“在[0-1]的每一个概率值都有一定的可能实验N次\发生X次,那么真实概率为t在前述所有可能中的概率就是p(t)”。而后用N*p不是整数的p再反过来估计X到底是啥,或者“相对偏差”什么的,这些引入的指标哪一条推翻了原计算?然后就是说需要看公式的地方了,我不知道你上面推导的Ep和Var的具体表达式,但既然你提到的是“随机变量”的期望……呃,好吧,我还是先不说这个等你修复公式吧。--------------------就是说,如果我们把“进行N次实验,估计p”这件事重复无穷多次,对得到的估计值取平均,那么p1会趋于我们想要的结果p,而p2会趋于另一个值。这就是无偏估计的优点。---顺带一提,咱们最好能统一一下变量……然后这里,基于上面各种框架之后的问题不是“对比另外一个值和我们想要的结果有多少差别”,而是“这两个值中哪一个才是我们想要的结果”……还是等你修公式。--------------------当p比较接近0.5时,p2的均方误差更小。这是因为它的偏差不大,而方差的减小比较明显。当p比较接近0或1时,p1的均方误差更小。这是因为p2产生了较大的偏差,而方差与p1相比,减小并不明显。从这里看,也许我们可以说:当p比较接近0.5时,使用p2更好。---这里就和上面幻想模型一样是很重要的攻击点了……(再次表明我对M=2的贝叶斯估计内的计算很确信……主要想求教的是如何评估贝叶斯估计的问题)首先这里还是有先确定一个值作为结果,把另一个称作偏差的问题。若按照你的解读,我们就拿上面举的三个样本来说好了:X=1 N=1 对于这个情况,p1的均方误差更小,p2产生了较大的偏差,使用p1(对应的期望值?是100%)更好X=4 N=10 对于这个情况,使用p2靠谱的可能要比第一个情况高?X=0 N=10000 对于这个情况,结果和第一个情况一致,是说p1(但是你上面都说了这里用p1有明显的问题,需要修正)比p2更好吧?更准确的p1,在其更准确的范畴(X/N远离0.5)的情况下,需要修正的倾向越来越大,这算什么呢?保留对p1的使用,那么在什么情况下(比如X/N&0.9)的时候就需要对p1做修正才使得它更准确呢?那么为什么在其他情况下不需要做一个修正?如果硬要直接拿p和p2其中一个做预设的“我们想要的结果”,那么上面引用的三句话中部分改成,在X/N接近0.5的时候,p相对p2以及真实情况的偏差不大;在X/N远离0.5的时候,p相对p2以及真实情况的偏差较大。这样不就更好了么。[/blockquote]
从昨晚上开始想着凑公式,憋半天终于憋出来了。结合旋转积分能够保持注这一部分的前提,对期望值做约束条件,要求各事件的期望概率加起来等于1.再结合比对的M=3的样本 (
Xa=1 N=1) 基于旋转积分方法得到的期望值分别是 2/3 1/6 1/6.最终凑出来的表达式是(实在无能为力了,凑出来的也不会去用,只是不想之前用掉的时间沉默……)t 的期望值为这个表达式当然也是能吻合M=2的情况的,恩……
发现可以稍微整理一下……这个表达式比之前一定错误的那个只包含Xa N M的表达式,好就好在表明其他的Xi也会影响最终的结果。
那个“靠谱”就用你说的“更好”的意思来表达吧。上面没什么想回应的,就有一点概念上的区别“p1, p2 -- 第一种结果出现概率的两种估计值,严格地写应该戴帽子,我省略了。计算公式为p1 = X/N,p2=(X+1)/(N+2),它们是随机变量。”在我看来/在我的这边用法里,p1和p2都不是概率的估计值,而是概率的估计值的期望。呃这么说也不对,我要求的不是概率的估计值,而是概率的估计值的期望,在我看来算出来的东西后一个才是。对于结果的指标,我也可以使用峰值,但在我看来期望值的概念本身(无论具体数值是多少)才能谈得上和预测搭配……另外关于:p1和p2都有明显的问题,p2的问题更严重。解决办法就是加大样本量,使得X达到3或者4左右。劳请你具体展示一下计算过程,如嫌N=10000太麻烦,用任意N也行,然后对比一下X=0和X=4的各项参数,说明什么是问题,什么叫问题更严重,以及X=4是怎么发挥作用的……额,说到这里突然发现你在15楼都已经承认了期望值的公式了……我还吵啥……
的话:然后,我再定义一下我使用的变量:N -- 样本量,或者说实验次数,它。X -- 第一种结果出现的次数,它。p -- 第一种结果出现概率的真实值,它。另外我有一个很严肃的问题想说,当你在自己的模型里使用了一条原理/判断时,我期望这条原理有足够的预测性,而不需要在事后再做调整和解读。正因为你说的是这样一类包含效用不错的信息的话,我们才会基于对方的每一段发言而讨论,而不是在讨论完之后发现“话没说完”、甚至意思完全相反那样,对吧?当p比较接近0.5时,p2的均方误差更小。这是因为它的偏差不大,而方差的减小比较明显。当p比较接近0或1时,p1的均方误差更小。这是因为p2产生了较大的偏差,而方差与p1相比,减小并不明显。
抱歉昨晚(?)06:00才睡觉,打字都稀里糊涂的。订正一下这段不通顺的……在我看来/在我的这边用法里,p1和p2都不是概率的估计值,而是概率的估计值的期望。呃这么说也不对,我要求的不是概率的估计值,而是概率的估计值的期望,在我看来算出来的东西后一个才是。——&在我看来/在我的这边用法里,p1和p2都不是概率的估计值,而是概率的估计值的期望。呃,这么说也不对。在这一分论点里,我需要的不是概率的估计值(当然概率的分布公式本身才是整个问题里最终有用的),而是概率的估计值的期望,在我看来,后者才是期望值的表达式。(而这一点你在15楼也已承认)另外,关于p1和p2都有明显的问题,p2的问题更严重。解决办法就是加大样本量,使得X达到3或者4左右。为什么我希望你能具体说明这一描述中的”问题“,因为有了问题的具体描述,或许我们就可以同时放弃p1和p2(当然还不知道这个p1和p2在不是期望值之后,还是啥),找到更厉害的p3。总之,具体的计算应该会带来很多有用的信息,而不只是一句解读。最后,有一句话共勉,我也一直在努力。如果一种说法/理论除了正确性屹立不倒之外,其他什么都不剩下了(可以不断被事后修正),那么这种正确性要了有什么用呢?
···对不起,虽然扣帽子无益于讨论,但是槽点太多,实在不能不吐个槽。
那个,晚上评论吧,主题词大概是:多余、不对、没用。我虽是求教,但还是希望交流的立场能对等一点。明明是我一直在输出已经有的内容,怎么就变成了讨论不断深入了?我前面说的那些反驳都变成是我在理解你带来的“已经是正确的”内容了?
的话:不好意思啊,这句我没看明白,你是觉得是你在一直输出给我呢,还是我在一直输出给你呢?抱歉,没在你回复前打好,在写其他的东西。这是白天说好的回复,看完了之后如果您还有意授教,要不咱们就批评一下贝叶斯吧。首先,就我所知,无论哪种分析都没有反复假设的这种情况。X在实验中是已知数据,就谈不上随机性。否则按此说法,还有第三种随机性:N。算了,没什么好否则的。其次,“使用p1这种估计方法,在这三种情况下会分别得到将军战败概率p的估计值为0, 0.01, 0.02。”唉,我就直说了。按照这套说法,就算是在X=50,N=100的最对称的情况,p的估计值也只能是0.45,0.46,...,0.5,0.51,...,0.55等等。而真实的p则相应地可能是在[0.45,0.55]的实数闭区间中的任意值。这表明什么?表明基于上述逻辑,p1的估计值是真实值的可能就是0。而(X+1)/(N+2)是这些所有的p的期望值。对于X=0,N=100,p的值当然可能是0,也可能是0.000001,也可能是0.。这些每个可能都对应了一个概率。
的话:恰恰相反,任何一本统计书中在计算估计值的期望、方差时,都是把实验结果作为随机变量来处理的。只是并不是所有的书都明确地指出了这一点。这一点没错。这个也没错。我发现我似乎从一开始就误解了你的意图,你并不是要估计p,而只是要求p的期望,对不?所以,这些书都没有提及试验次数N的随机性么。一次固定的实验的X的取值有随机性,但现在的话题是从一个X,N确定的实验做数据分析。另外…在回答我是不是要估计p之前,请你说明一下:估计p是做什么,有什么用,以至于要估计p?免得又只是定义的区别。
的话:估计p就是从实验结果反推事件发生的真实概率,你求的“期望”就是p的一种估计方法。它的用途么……根据观察到的一部分人的患病情况推测群体患病率之类的那当然要估计p,问题是你写的X/N,作为一个命中真实p的可能性为零的反推,是在估计p吗?顺便我确实蛮希望比喻展示一下完全贝叶斯的方法的结论……
的话:是的。(X+1)/(N+2)命中真实值的概率同样为0。评价一个估计值的好坏,不是看它命中真实值的概率,而是看偏差、方差等等指标。完全贝叶斯的方法拒绝给出p的一个(点)估计值,p的后验分布就是它的结论。如果p有后续应用,一般人就把p的估计值代进去了,贝叶斯主义者会一直使用p的后验分布,考虑所有情况的可能性。很遗憾,我的(X+1)/(N+2)不是估计值,当然,也许你的(X+1)/(N+2)是个估计值。
的话:你说它不是估计值,是哪一种意思?1) 你认为它是“期望值”,也就是说你并没有想要进行估计;2) 你认为它是“真实值”。我现在真的觉得我误解了你的意思了,你只是想算期望,根本就不管什么估计,对不?···唉,我的“估计值”:也就是真实值的概率密度函数,顶楼有写。期望只是顺带的分论点。
的话:所以你想问的是在M&2的时候期望值是怎么算出来的?M=2的问题,以及M&2的概率密度函数。期望值只是一个顺带的结果,或者说是用来说明这个方法和传统方法有异(则两者必有一错)的一个简单标志而已。
的话:什么问题?是不是期望值怎么算出来的?“这个方法”和“传统方法”分别指什么?是(X+1)/(N+2)和X/N吗?这里的“方法”是解决什么问题的方法?是参数估计问题吗?如果是的话,参数估计问题的答案没有对错之分,只能比较优劣。感觉好累上面那么多都白说了。关于问题,劳请移步看8楼和9楼的 同学。你说的D分布……还是见顶楼写出这个不需要什么计算,哦当然那个(N+M-1)!和维基百科说的不一样,劳请写出计算过程另外最重要的一点,如果我们现在有了N、X1-XM,那么请问p1的概率分布是啥?比如,M=1000,现在只做了100次试验,X1=90,X2-X11=1 X12-X1000=0,请问 X1的发生概率p1的概率分布是什么?
不错还是蛮感谢的,没人说的话真不知道狄利克雷分布这种关键词要何年何月才能碰到。(全英语有点苦手、找不到重点)多搜了几篇文章,公式还行都脸熟,但实例很少(如上面的90/1/1/1.../0/0/0...),望分享。
的话:其中有一个组合数,代表你只知道第一种结果发生了X次,但不知道是哪X次,这里有C(N,X)种情况。事实上你不仅知道第一种结果发生了X次,也知道是哪X次,所以这个组合数应该是没有的。哦,这个对!但是我没有统计这个口径时不就不知道了么。另外如果获悉了更多的信息,在分析中能有什么提高呢?另外您这整来整去都是M=2啊···要是只算出个归一化系数,我上面也有啊=_,=M=1000,现在只做了100次试验,X1=90,X2-X11=1 X12-X1000=0贝塔分布B(91, 911)?喂喂这不对吧,怎么就能从M=1000变成M=2了?上面的D分布的表达式呢?至于“问题”是啥,我也不知道,主要是8楼和9楼都在提最大似然估计有一套数据,而这套数据(包含期望、置信区间或者还有概率密度函数)是和贝叶斯的方法不同的,不同就是问题咯。但是后面一直没看到说问题是啥。
喂喂老师不对啊,怎么没了,还好我有备份···这些公式,诸如顶楼都有的啊=_,=
的话:(X1+1)/(N+M)这是多维情况下的期望。恩……那么能请你再写出p1的概率分布么···计算过程应该很接近吧。
的话:这时我们再来看你问的这个问题:我们上面求了的联合分布,并从这个联合分布求出了p1的期望。但这里你问的是p1的边缘分布是什么。要做到这一点,需要把联合分布对 求积分。积分的结果是这样的:把你的数据代进去,就有这就是你问题的答案,它是贝塔分布B(91, 1009)。也可以由此再求p1的期望,结果是91/1100。恩好=_,=···辛苦了,到这里为止和5楼一样,那我就可以说问题了。现在有这么一个实验,一共可以得到1000个结果,第一个结果的概率是tx,后面的概率是(1-tx)/999然后我们做了一次实验,这个时候第一个结果就可能发生咯,而且tx越大的话,实验出现第一个结果的概率就会越高对吧。也就是说,在“做1次实验,且第一个结果发生了”的所有结果中,tx大的贡献大,比如tx=0.9的贡献就比tx=0.1的贡献大。那么还是一个“有可能得到1000个结果”的实验,我们就做了一次,然后结果1发生了。(XA=1 N=1 M=1000)请问这个时候结果1的概率密度分布(好像你用的是边缘分布?)是多少呢?结果1的所有可能取值和其概率的乘积(也就是结果1的概率的期望),又是多少?嘛公式都摆出来,计算其实挺容易的。那么除了上面的计算的问题之外,还有实验不自洽的问题。以tx=0.9来说,这种实验我们做1000次,最终第一个结果当然是挺有可能发生900次左右的呗,(XA=900 N=1000 M=1000),注意这个结果是由许多个(XA=1 N=1 M=1000)累积出来的,也就是说:从(XA=900 N=1000 M=1000)算出来的t1的概率密度分布P(t),应该也吻合(XA=1 N=1 M=1000)的概率密度分布P(t)'。换言之,当我们做了某一次实验得到P(t)'后,这个表达式指出的信息却会随着实验次数的增加而被自己推翻。(附图示)图1
XA=1 N=1 M=1000,注意,这里可能的结果数固定为2了,反正都是贝塔分布嘛。其实这个图就已经说明问题了,注意横轴的坐标,问题就是,从这种公式反推,但凡有M=1000的实验,其中每一个结果的发生概率甚至连1%都不应该有。但事实呢?总是会存在tx=0.9的实验吧。图2 XA=900 N=1000 M=1000如果硬要说小概率也有可能,那么,严肃地说,上面这两个计算式都彻底否定了ta=1的可能(当然ta=1的时候M也不是1000了),但作为一个极限,这种可能是应该有的——值得注意的是,在真正的M=2的情况,只要是X不小于N,那么ta为1的可能性都存在(其中,在X=N=1 M=2的时候, p(t)=2*t)
另附上M=2,N=1的真正的两种结果,差别立见X=0X=1,注意在t=100%的位置,或者说靠近100%(省得说M不应该等于2)位置时的取值
的话:图中的“样本数量”就是N啊,为什么你输入的数不是N呢?正如你所说,公式都摆出来了,计算就容易了:XA=1 N=1 M=1000:第一个结果出现概率的边缘分布为B(2,999),期望为2/1001;XA=900 N=1000 M=1000:第一个结果出现概率的边缘分布为B(901,1099),期望为901/2000。。随着实验次数的增加,第一个结果出现概率的后验分布也会改变,但这个改变是有趋势的:它的峰越来越尖锐,并且峰值会收敛于真实概率。对,收敛就是问题。区别于M=2的收敛,用上述公式,随着实验次数的增加,曲线(函数)表现的是移动,而非收缩。-----------许是前面也有些不着要点的话,就再单说这一条吧:XA=1 N=1 M=1000:第一个结果出现概率的边缘分布为B(2,999),期望为2/1001;这个结果的意思是,任何一种M=1000的实验,其中每一项结果的发生概率超过1%的可能性都微乎其微,M=1000的实验真的这么没情趣?
或者还不满意,我们再说一个例子好了。对于M= , N= 的情况,难道X1的真实概率竟然不应该接近1,而是如公式所表明的,正好反过来接近0吗?
的话:很好,你自己发现(X+1)/(N+M)的问题了!我之前说过,X/N是无偏的,(X+1)/(N+M)是有偏的。在M=2时,我说过p离0.5(即1/M)越远时后者的偏差越大。现在M=1000,p离1/1000越远后者的偏差越大,现在p接近于1,后者的偏差自然大到接受不了啦!你用X/N算一下,看看跟你的预期是否接近?你怎么又扯上偏不偏的了,X/N从一开始就连台面都上不了,我不想再去注视它。X/N充其量只是取了P的概率分布的峰值,什么时候能代替P本身了,我都有了P,为什么要X/N,何况这个东西有什么用?连期望值也不是,定义上就不是能用来预测的东西。54楼:“概率密度函数” -- 如果说是p的概率密度函数,两种方法下p的后验分布是相同的,只是后来在这个分布上提取了不同的特征(峰值vs期望值)。你说p的后验分布是相同的,那么基于你上面的推算,哪怕是最大似然估计得到的p的后验分布也是错的。最后再扯一句X/N的,很遗憾在你自己给出的上面那个M=1000的p中,峰值也不是X/N了。
的话:很好,你自己发现(X+1)/(N+M)的问题了!我之前说过,X/N是无偏的,(X+1)/(N+M)是有偏的。在M=2时,我说过p离0.5(即1/M)越远时后者的偏差越大。现在M=1000,p离1/1000越远后者的偏差越大,现在p接近于1,后者的偏差自然大到接受不了啦!你用X/N算一下,看看跟你的预期是否接近?另外,弱弱问一下您是否有看过我最前面的几楼的内容吗?比如6楼什么的。没有问题我就不会拿出来问了哦,抱歉又没说到重点,我想说的是:我是基于这些有问题,并且自己也知道问题在哪里的前提在请教,同样的,我也知道X/N不是期望值,不能用来预测。重申一下我的疑问好了:1.请教一下牛逼哄哄的传统方法有没有精确的p的概率密度函数表达式(由此可以再得到期望、置信区间等),实在说“传统方法不给出表达式”,那告诉我精确的置信区间计算方法也行2.请教包括M=2在内的、和传统方法相斥的贝叶斯方法可能存在的问题3.1和2其实只是一个问题,就是对于 M= X=996 N=1000的时候,这个事件的真实概率p的分布/精确的置信区间到底是什么。难道这个分布也还有两种不同但是都正确的表达吗?4.另外如蒙不弃,希望谁能给我一个权威的名称,不然我老是不知道应该用什么名字来称呼传统方法,也不知道到底应该说贝叶斯估计、贝叶斯方法还是贝叶斯假设、贝叶斯框架。这样的好处是可以方便我自己去做功课弥补知识储备的差距(比如那个狄利克雷分布),也似乎可以让我更好地请教专家。
的话:(X+1)/(N+M)充其量只是取了p的概率分布的期望值,什么时候能代替p本身了……你一直在说你没有在做参数估计,那么你求期望值有什么用?或者说,你有什么理由认为期望值应当接近p的真实值?我没说要代替p本身,就是要找一个期望值。这个期望值是用来纠正下面这里的32的,实际上应该是33.58和34.92,弱弱问一下你应该知道“期望值”这个定义的意义吧?例如:某时期内,甲部队患感冒者17人,乙部队10人,我们不能因为17人多于10人,而得出甲部队感冒发病率高的结论,如果甲部队有534人,乙部队为313人,那么甲乙部队感冒率分别为:
甲部队:17/534×1000‰=31.8‰
乙部队:10/313×1000‰=31.9‰
根据这两个感冒发病率可以看出,两个部队感冒的发病强度是一样的,即每千人中发病32人。不过按照最大似然估计的方法在贝叶斯框架下的描述(取均匀先验分布,并取后验分布的峰值),这个峰值本就应该是在联合分布(而不是边缘分布)上取的,所以峰值还是X/N。你能不耍赖么?两种方法下p的后验分布是相同的?两种方法下联合分布(而不是边缘分布)就不同了?搞得好像在贝叶斯框架下面的狄利克雷分布的峰值不是X/N一样你凭什么说“现在有一个东西能弥补这个缺点”,缺点哪里有了?缺点不是你推算出来的概率密度分布么。我的问题就是请推算出一个正确的概率密度分布,啊,抱歉前面口气太冲。劳请您给我个正确的概率密度分布,我这帖子就结了。
另外,如果M&2实在复杂(比如M=5的四维空间体的定义域我就完全歇菜了),那么请仅批评一下M=2时候的贝叶斯框架得到的后验分布到底有多少问题。上面软件计算截图里头我说“这里可能的结果数固定为2了”,所以我至少想知道M=2的情况下“正确的概率密度分布”是什么。
的话:见66楼最后一部分。后验分布可以表达成联合分布(Dirichlet分布)或边缘分布(贝塔分布),在两种方法下联合分布是一样的,贝塔分布也是一样的。联合分布和边缘分布的期望值相同,但峰值不同。再说一遍,缺点是“有偏”。见66楼最后一部分。首先,我根本不在乎点估计。最后,我不要听什么联合啊、边缘啊、后验啊的。请问
M= X=996 N=1000 的时候真实概率的概率密度函数是什么?好吧,下一个问题虽然是你最不熟悉的,但是你都有各种分布函数了,“根源在手,天下我有”,我认为你也能对此有个回答:请问真实概率在[0.950,0.999]之间的概率是多少?如果这个概率竟然可以有多个不同的数值,希望你能都写出来……
引用 的话:你好,我的建议是如果你真心希望学习,应该一步一步做起,从最基础的概率概念看起,因为我看了写的东西,感觉你对基础概念模糊,期望等概念感觉不是很清楚,至于你得出的结论,是贝叶斯推断的凑巧的结果。你可以去了解一下最大似然估计、最大后验估计以及贝叶斯推断。对于你的问题1,只做一次实验,是没有办法估计u1的,这就是通常所说的数据稀疏性。对于2,他们的概率就是简单地 A1/N
A3/N 即可。推荐你微博搜索一个rickjin的人,他微博里有篇文章叫做《正态分布的前世今生》,讲得很好。里面就有为什么你得出的结论里二项分布的分子分母要+1以及高斯的解决方法。感谢博主特地在果壳也回复,这位是我通过Maige提供的D分布关键词找到的一位前辈,对于他的观点,大家可以到博客中查看、或等我搬运过来
的话:把后验边缘概率密度在[0.950,0.999]上做积分。学而不思则罔您真的严肃地在给我提供一个解答么,那么请问得到这种目视就是无限趋近0的结果是什么意思?表明真实概率不可能在这个区间,也不可能是0.996么?
[blockquote]引用
的话:从楼主的思路中可以看出,楼主似乎一直在拒绝先验、后验的思维方式,但却要求出一个“p的概率分布”来。前一半其实无可厚非。在统计学中确实存在两个学派,一个叫frequentists,一个叫Bayesians。纯Bayesian后者就是主张采用(真正的)贝叶斯估计的人,他们拒绝给出点估计。而在纯frequentists那里,p根本就不被看作随机变量,所以就不存在“p的概率分布”这回事。当然,更多的人并不把自己严格地划入某一阵营,而是各取所长。楼主拒绝先验、后验的思维方式,就是要完全走frequentists路线。但是“p的概率分布”却是在Bayesian框架下才有的东西。这就是矛盾的根源。两个学派,还是两个事实?12楼我有说和统计学的同学讨论过,两个学派解读世界的方式不同我自然也知道。啊,在这么提问之前我先确认一下吧,您是否认同
所说的“任何0-1区间积分为1且恒为正的函数都有可能是真实概率的概率密度函数。”我并不认为这个概率问题,存在两个相冲突且都正确解答。学派对事实的建模可各取所长,但什么时候反过来学派的建模决定了事实?(波粒二象性的事放一边)这表明(也是非常符合直觉的认识):确定的实验数据中对应的p的真实概率分布存在、且唯一。而唯一的分布也确定了唯一的区间概率(区间估计)或者峰值/别的点(点估计)至于你说到学派……唉,我也结合上面已有的讨论对比一下,当然下面说的每一句话中作为前提默认正确的论点,都可以反驳,本来就是讨论嘛。关于点估计1.1这首先就是个适用范围极小(且X/N目前看来在M=2时无可辩驳地有偏差)的概念。点估计除了代表概率密度函数的峰值,除了等于频率之外,没有其他的用处。当N足够大(比如1e10)后,概率密度函数的图像已经几乎收缩成一点了,频率可以近似地代表概率,但没人,尤其在日常层面里没人做这么多次实验吧?当然,我不反对指责我“不够理解”点估计,但显然比起扣帽子,至少亮出正确的且有用的理解方式要有利于讨论得多。1.2其次,贝叶斯们也许拒绝给出点估计,但如上所属,贝叶斯们的方法(不知道D分布是不是)毫无争议地可以得到概率密度函数的峰值,要取出来做个点估计不是难事。问题是为什么拒绝给出点估计,当然是因为上面说的点估计没用(能够命中真实概率的几率为0)然后才提到区间估计2.1您许是没有研究,但传统方法中有置信区间的概念。或者这么说:如果一种方法就只能做个点估计,其他什么结果都没有,这种方法还有啥用?估计一下点估计在什么情况下不能用吗?但显然是因为我不够理解传统方法,只在概率论的教材(说过的吧,我都看到随机过程了,后面的马尔科夫链没啥关联我就没看了)找到了置信区间的近似计算。所以我一直在说请给出置信区间的精确计算表达式,或者至少,给出M=2时的置信区间的精确表达式。然后,当然的,0.95置信区间的意思,就是真实概率的落在在这个区间上的概率是95%,这样就提出了区间估计的概念。我根本就没有学派,又怎么会竭力排挤传统?给我个有说服力的结果,谁还会去争?2.2贝叶斯的区间估计,我当然是基于这个有问题才来提问的。所以在这些情况里您不需要再去展示一些计算结果。我上面说了72楼让我做的那个M超大的数值的积分目测就是0,但事实是我本来就知道会是0所以才设计出这样的数据。当然,由您展示一点图终究比较好,至少可以让其他讨论者不至于只看到我拿一个来路不明的软件发点计算结果、画点图。如果你从正确的联合分布得到的区间估计不正确,那除了说明你的推算出错之外,还说明了什么别的呢?3.贝叶斯们的正确(待商议)的联合分布如果它是对的,那么我认为它已经包含了正确的区间估计的信息,就是这样。上面您也有说[a,b]的区间估计就是做个广义上的积分( 0-&b
0-&a) 所以只要有其他的区间估计的直接结果,即 F(a,b)的话,我不要概率分布式也无妨。一句话总结,如果一种方法认为本来就有可能取N个数值的量,竟然连随机变量都不是,那么只能说明这个方法的认知错误;而如果一个方法竟然还只有这一条内容,那么这个方法我就不说什么了。[/blockquote]
所以,就现在被展示出来的内容来说,传统方法的结果仅仅是包含于贝叶斯结果中的一小点内容,在这种情况下就想把贝叶斯打死(当然我是喜闻乐见,来个最牛的“麦格方法”什么的最好了)真的没问题吗?我是因为M&2的时候发现有未解决的问题,才担心M=2的算式是否也有问题。如果谁能说明M=2情况下的正确、真正的(这两个修辞看起来好扯……)概率分布,望能给出····
老中医……算了本来我是知识储备少的一方,现在就拿这个做比喻有点太放肆。诚盼解答或关键词\中文材料指引(抱歉全英语的阅读材料暂时搞不定,英语都丢好久了···当然若只有英语的,我也当拿出诚意来自己去消化)
引用 的话:以我的简单理解,用最大似然估计来估计概率,可以得到一个分布曲线。是这个曲线的峰值。如果你说它没意义的话,为什么说就有意义呢?感觉不是很有道理。以那个感染率的例子来说,后一个表达式的意义是:有p1的概率,真实感染率为0.01,这个时候1000人里的感染人数期望是10有p2的概率,真实感染率为0.011,这个时候1000人里的感染人数期望是11有p3的概率,真实感染率为0.0111,这个时候1000人里的感染人数期望是11.1然后最后把所有的期望值和对应的Pn相乘,得到的就叫做所有情况下感染人数的期望。这个乘的结果——如果前面的推理没有被推翻,比如承认峰值是X/N的话,就是(X+1)/(N+2),并且,即便不是这个数,也基本上不可能(没细算、毕竟也没给出其他的分布)是X/N。
耐着性子看完之后,笑掉大牙了。提问:当一个对事实的描述/定义和一个事实矛盾的时候,应该改变一个定义,还是否定一个已经发生的事实层发生过?排斥概念怎么了,请问你的概念里传递了多少结论、规律和论证,这些信息适用性如何,是公理还是定理?什么都给不出来,就还让我去看概率论?我之前还已经看过了!你推荐我看书,我也推荐你在讨论完这次的事情之后去看看《对{伪心理学}说不》吧-----在frequentist学派里,根本就不存在“真实概率的概率密度函数”这个概念。你知道上面的老中医说的是什么?说的是“你说倒我没用,但是你不能否定中医,因为总有一个牛逼的老中医,你看不见也摸不着他,他证明了中医的正确”,这种正确性有什么用?不先承认这种正确的概念,还不能讨论医学了?中医的学派里,根本就不存在“副作用”和“医疗事故”这两个现代医学的概念,中医鹤立鸡群牛气冲天了?我说问M= , N=这样的实验结果反应出的真实概率落在[0.95-0.999]这个区间里的概率, 你说“不存在这个概率”?还是你要说不同的学派得到的“这个数值”,虽然互不相同,但是竟然同时正确?也就是说这个实验反应的结果取决竟然于我们对世界的建模,不同的建模得到不同的数值,而不同的模型对世界的理解都是对的!?P=0.1的事情做10次可以发生9次;P=0.9的事情做10次也可以发生9次。现在说10次发生9次的不同的P的概率不存在,这除了表达无能之外还表达了什么?在所有的概率论和统计论的概念和理论构建之前,M= , N=这样的实验结果反应出什么这个问题就已经存在且确定。现在竟然反过来了?
引用 的话:这里似乎还是单纯的解释了什么是数学期望。不过物理意思似乎还是不是很清楚。倒是X/N的意义很直接:它是最可能的真实感染率,或者说真实感染率落在X/N附近的可能性最大。一般而言,我们对一个参数做个估计,当然是希望这个估计的数是最有可能正确的数。我们估计的参数的“数学期望”,在这里好像意义不是很明了?不大清楚传统统计上有没有对最大似然分布的期望值做出解释?不是……那个,我们一般还是相信:不同模型,同一事实吧?这种相同条件下“没有两个互斥不同且都正确的结论”(暂不考虑波粒二象性)是科学的一个基础属性吧?那么你无论提出什么模型……尤其是还承认峰值就是X/N的模型,就无法通过期望值的定义来回避(X+1)/(N+2)。或者,这么说吧,我的模型中 X/N 和(X+1)/(N+2)根本就不冲突,因为不是同一个东西。(当然,我不知道在上面的其他讨论中是不是有人成功证明了X/N才是期望,如有愿拜读)(X+1)/(N+2)的模型中和X/N对应的,是你说是这条曲线的峰值点——一个点的X/N好,还是整条曲线好?前者包含的信息量何其少,少到仅仅是曲线的一个属性,以至于连X=90 N=100 和 X=900 N=1000都区分不了。那么现在再问,有了曲线之后,染病人数应该从上面挑一个点来估计,还是利用整条曲线?
的话:我建议楼主系统地学习概率论与统计学。之所以提到概率论,是因为我发现楼主对“联合分布”“边缘分布”等概念尚有排斥。统计学中,主要学习参数估计。其中的点估计楼主可能不太看重,但我觉得偏差、方差、均方误差这些概念比较重要。再看看这里(提示可能会不看回复的您,我上面另外还有回复一个),突然想到了那个太极高手,杨啥来着的?一个老太太,有还是没有肢体接触就可以把一个个“学生”弄得死去活来。然后问她功夫怎么样,竟然说你不练练太极,是不能体会我的厉害的。作为大学期间陈氏太极协会表演队的一员,我看到这句话都想钻地里去,黑得太漂亮了。感情我练了那好几年(学了那么多理论概念),不是为了提高对普通人的打架水平(解决具体事件),而是为了被练更多年的人打吗?
的话:没错,这个概率只在Bayesian学派的眼中存在,frequentist学派回避这个问题。而且,这个概率是主观的,它取决于先验分布,而先验分布取决于M,M取决于你对问题的建模。我们分歧的根源,就在于你从一开始就认定“真实概率的分布”是个客观的东西。那我请问你,在你做实验之前,这个分布存在吗?如果存在,在下面几种情况下是什么呢?1) 抛一枚硬币,正面朝上的真实概率的分布是什么?2) 抛一枚稍厚的硬币(有可能立起来),正面朝上的真实概率的分布是什么?3) 抛一枚稍厚的硬币(有可能立起来),硬币立起来的真实概率的分布是什么?如果你对2和3的答案是一样的,那么也就是正面朝上的真实概率分布和立起来的真实概率的分布是一样的咯。你觉得这合理吗?(如果答案不一样,请忽略这一问)1) 理论硬币 0.5
你看这又表明你(代表的frequentist学派)对随机变量的认识多糟糕。对于一个已经确定的理论模型,其概率就是已知的;对于一次已经确定的实验,其X就是已知的。你确还硬要扯随机变量和分布。2)
3) 不知道。但是在假定抛掷等其他因素固定,致使真实概率是确定值的时候(其实一楼还讨论了即便真实考虑不确定,也有一个混合的表现真实值,只不过这个时候要另外考虑样本构成是否能代表总体),就可以通过抛掷的结果来得到其概率的分布。扯半天你还在谈frequentist学派回避问题的优越性,真漂亮。12楼就打了预防针,frequentist学派的回避,只要他还打算面对概率问题做出解读,就照样有一组先验分布。那感情我建立的模型回避的问题越多就越牛?另外您这乌龙玩得厉害了,我至少在63楼已经明确了是要真的、对的东西,你硬给我一套你自己都认为是不对的D分布,还头头是道地说什么最大似然估计的分布和D分布的联合后验分布一致(之前想找一次,没找到,若不认同我再细找)。然后最后跑过来说“真实概率的分布”竟然是主观的!?主观的,天啊,我且不说贝叶斯学派的人了。一个实验的结果竟然是主观的,frequentist学派浪费那么多精力去研究一个主观的东西,而且厉害的是竟然还得到了无视主观成分的正确性(而不是实用的内容)。这不是一整套中医互相矛盾但都立于山顶的景象么。
还是那个硬币,换成一个不规则的M面体(本来正多面体就没多少个……)好了,丢了N次之后,拿到一份M个面分别朝上的次数结果。结果现在竟然说从数据里分析出的这个M面体的某一边面朝上的概率分布是主观的····················对不起我不知道应该用什么表情,我休息一下。
(C)2015果壳网&京ICP备号-2&京公网安备

我要回帖

更多关于 matlab 高斯滤波 的文章

 

随机推荐