多类分类下为什么用softmax实现而不是用其他归一化方法

来源：蜘蛛抓取(WebSpider) 时间：2016-04-28 03:50 标签： softmax实现

n 斯坦福李飞飞计算机视觉识别_哔哩哔哩 (゜-゜)つロ 干杯~-bilibili?

学习损失函数svm多分类损失函数与softmax实现

Hinge loss的最大值是无穷最小值是0

减轻模型的复杂度，而不是试图去拟合数据

  • softmax实现 与茭叉熵损失公式分析交叉熵损失的最大值与最小值（softmax实现 求导要会）

交叉熵损失的最大值为无穷大，最小值为0

假设输入softmax实现分类器的向量 其え素最大值为 ，最小值为 对于 ，其max-min归一化的结果为：

从公式可以看到softmax实现的机制是先用自然底数将元素差距扩大再进行归一化。直观嘚感知是：如果不对输入进行归一化处理随着数量级的变大，softmax实现倾向于将所有概率分配给最大的元素显然会弱化其他元素的重要性，是不合理的

不妨做个试验验证一下，令multiplier为

我要回帖

更多关于 softmax实现 的文章

 

随机推荐