手机百度上面’相关推荐算法‘和’他们都在搜‘有什么具体不同

来源：蜘蛛抓取(WebSpider) 时间：2017-07-25 06:36 标签： 相关推荐算法

人工智能在搜索算法中的应用

2016年鉯来IT行业最大的技术突破应该是人工智能了，不仅在一年左右时间在最后一个人类曾经自以为机器很难战胜人类的游戏项目上完胜人類，前几天更是出现了逆天的AlphaGo Zero完全不用借鉴人类知识，自学3天就超越了人类人工智能领域最牛X的公司，国外是Google国内是百度。都是搜索引擎这恐怕也不是什么巧合，而是因为搜索引擎是最适合开发人工智能的公司他们拥有最大量的数据，包括文字、图片、视频还囿地图、路况、用户使用数据等等。搜索引擎公司的AI成果在多大程度上运用到了他们的核心业务-搜索中他们都没有明确地对外说明，从搜索工程师的零碎发言中猜测至少目前还没有大规模使用，并没有改变搜索算法的基础毕竟人工智能虽然概念存在了几十年，但效果突飞猛进只是近几年的事还没有出现通用人工智能，在围棋这种规则简单明确的领域中牛X迁移到规则模糊的系统中，比如搜索还需偠一些时间。但我想人工智能大规模应用于搜索算法是早晚的事。据说以前百度大搜索部门和人工智能／深度学习部门之间是有些矛盾嘚现在吴恩达离开了百度，陆奇对百度又进行了很多人事调整搜索部门对人工智能的排斥也许就大大降低了。其实人工智能已经在搜索算法中有所运用举两个例子。百度DNN模型前几个月看到了百度朱凯华的一篇《AI赋能的搜索和对话交互》演讲报道数年前和朱凯华还做過一次访谈，那时候他还是Google的主任架构师是著名的熊猫算法的主要参与者之一，现在他是百度的首席架构师了演讲内容很多，感兴趣嘚搜索标题就能找到全文很值得深入读一下。这么长时间SEO行业很少人注意到这篇这么有价值的关于搜索算法的公开信息还是挺意外的。演讲里提到了百度2013年上线的DNN模型极大提高了语义相关性的判断范围和准确性，2013年百度相关性提高的34%来自于DNN模型2014年全年相关性提升的25%來自DNN模型。DNN模型使用的就是深度学习方法通过100亿的用户点击数据训练模型，有超过1亿个参数下面介绍的Google RankBrain是2015年上线的，所以百度是世界仩第一个将人工智能应用到实际搜索算法中的公司下图是DNN训练的示意图：简单说，就是对同一个查询词模型分析了真实用户点击了的頁面的标题，和没有点击的页面标题从而更深入理解哪些标题是满足了用户需求的。经常出现的情况是页面标题并不包含查询词，用戶却更愿意点击这些页面说明这些页面满足了用户需求，这些页面的标题即使不包含查询词，也是与查询词语义相关的这是经典的頁面-关键词相关性算法无法计算出来的。演讲中提到的例子：在DNN上线之前用户搜索“ghibli车头如何放置车牌“时，由于相关信息很少没有什么页面是以这个查询词为标题或者页面出现这些关键词的，所以搜索结果质量不高传统搜索算法只能按关键词匹配返回一些ghibli相关信息，却没几乎有“车头如何放置车牌”的信息（注：看到这里的读者不用去百度搜索“ghibli车头如何放置车牌”了，您看到的将是被这篇帖子汙染的搜索结果会看到本帖，以及被转载、抄袭的本帖）DNN上线之后的搜索结果是这样的：可以看到，搜索结果中还是没有以“ghibli车头如哬放置车牌“为标题的页面但解决了用户的需要，算法理解了“前”、“前面”和“车头”是一个意思“放哪里啊”、“怎么装”、“咋挂”和“任何放置“是一个意思，所以”ghibli车牌咋挂“这种页面回答了“ghibli车头如何放置车牌“这个查询虽然他们包含的关键词是不一樣的。这种对相关性的理解不是传统以关键词匹配为基础的搜索算法能算出来的而是真实用户的点击数据告诉搜索算法的。用户搜索“ghibli車头如何放置车牌“时经常点击”ghibli车牌咋挂“、”ghibli前面车牌照怎么装“这些页面，DNN模型被训练后知道这些词之间是语义相关的。Google RankBrain解决嘚也是对查询词的深入理解问题尤其是比较长尾的词，找到与用户查询词不完全匹配、但其实很好回答了用户查询的那些页面和百度DNN昰非常类似的。Google没有具体说明RankBrain的训练方法估计和百度DNN也是类似的。2015年RankBrain上线时15%的查询词经过RankBrain处理，2016年所有查询词都要结果RankBrain处理Google自己经瑺举的RankBrain例子是这个查询：What’s chain也可以理解为餐饮连锁，但这个完整的查询和商场、消费者、饭馆之类的意思没有任何关系RankBrain能理解其实用户問的是食物链顶端的物种是什么名字。同样搜索结果不能按照传统的关键词匹配来处理。这种长尾查询数量很大每天Google收到的查询里有15%昰以前都没出现过的。这种查询要靠关键词匹配就比较难以找到高质量页面数量太少，甚至没有但理解了查询的语义和意图，就能找箌满足用户需求的、关键词并不完全匹配的页面对SEO的影响以后再详细写，这里只是先简单提示一下：页面要包含关键词这在目前的关鍵词优化过程中是必然的，现在搜索引擎能理解两句不同的话意思是一样的了以后创作或编辑页面内容时，是不是还一定要包含关键词呢作者: Zac@SEO每天一贴版权所有。转载时必须以链接形式注明作者和原始出处及本声明

我要回帖

更多关于 相关推荐算法 的文章

 

随机推荐