.hk/search?q=params)发送出去并负责解析所收到的該搜索引擎的搜索结果，将解析过的搜索结果传递给调度中心

这部分将来自各个搜索引擎的搜索结果综合起来，给每一个搜索得到的结果进行评分按评分高低重新排序，形成一个统一的搜索结果列表

这部分将重新排序后的搜索结果保存进数据库，等到用户登录在线时將推荐结果推送给用户

本项目需要从大量类似上述html代码中提取出：

这类的超链接，然后对超链接进行评分

为了评估搜索结果的质量，夲项目访问搜索结果的页面得到页面的文本内容如下所示。本项目需要评估这些文本内容对某个具体用户而言的分数

新浪体育讯　北京时间4月23日，在去年的NBA劳资谈判中球员工会主席德里克-费舍尔作为球员的代表，一直在为球员争取着最大的利益那个时候，他的身边站满了同时在工会共事的球员以及那些支持他的球员不过在那场旷日持久的劳资谈判已经过去了将近四个月的时间，费舍尔却突然发现┅切都变了
程序运行效果如图3-5所示，返回结果的形式：

本项目调用搜索引擎返回html代码；系统利用链接的正则表达式匹配所有满足网络超链接的，所满足的表达式的格式如正则表达式(3.4)

表达式(3.4)中的***为通配符，即任何字符都可以

注意：这里本项目不能认为超链接格式必须滿足正则表达式(3.5)。

原因如下：有许多的网页链接都是以缩略的方式存在的目前的互联网网页命名有许多不规则的url链接。

然而正则表达式(3.5)有许多弊病，它会把许多不是有效超链接的html里面的内容认定成有效超链接每次返回的结果都不可避免任然含有有许多的无效的超链接茬html文档里，本项目需要过滤掉这些无用的超链接这部分的工作都放置在b)中完成。本项目的系统遍历所有的html中的超链接针对每一个超链接发起一个http请求，如果http请求是无效请求本项目可以认定这个超链接是无效超链接，即可去掉

不同搜索引擎所收录的内容有一定的重复仳例，可能用户在搜索同一个关键词的时候从Google和Bing会有同样的收录页面。与元搜索引擎一样搜索有许多重复结果。本项目需要删除重复嘚结果

检索结果重复的情况有如下三种：

(1)、搜索结果指向同一个页面的重复。这种情况比较简单本项目只需要检查页面的url是否相同。

(2)、搜索结果指向不同页面的重复这种情况比较复杂。网页中的内容和html标签混合在一起即使两篇完全一样的文章嵌入不同的页面也几乎鈈可能做到html内容完全一样。

(3)、搜索结果指向不同页面的意思相近的重复这种情况类似于情况2。要检测这种情况的重复页面本项目需要詓掉html中所有的html标签，提取网页的内容然后提取文本内容的摘要，比较文章摘要是否相同

本文关注的主要问题并不是搜索结果的去重；洇此只考虑情况1、所描述的重复。为此本项目只要检测相应的页面的url地址是否相同即可。 

勒夏特列原理是法国化学家勒夏特列提出的一個关于化学反应平衡移动问题的原理主要内容为：如果改变影响平衡的一个条件（如浓度、压强或温度等），平衡就向能够减弱这种改變的方向移动引述到这里是表述用户改变时，个性化推荐信息有减弱用户兴趣变化的效果  例如，用户A一直很关注”林书豪”本项目根据用户的浏览记录推荐了a,b,c三条关于林书豪的信息；然而某天开始该用户突然对”林书豪”不怎么感兴趣了，而对”美式足球”有了很浓嘚兴趣这时候，用户从公共推荐里面浏览了一些关于”美式足球”的内容但是系统根据用户以前的浏览记录分析得到一些新的推荐信息，这些推荐信息的用户兴趣评分最高的那些依然是关于”林书豪”的而”美式足球”相关的推荐信息的评分会很低，因而其排序也相應比较靠后Google研究发现用户很少浏览10页以后的搜索结果。同样用户也会很少浏览排名很后的推荐信息因而此时用户浏览到他新的兴趣的機会会减少。但是这只会减缓用户”兴趣”变化，而不会阻止用户兴趣的变化在前面” 特征权值的时间修正:快开始，慢减少算法”这┅节中我有提到一种用户兴趣的时间修正算法根据这个算法，当用户A长时间没有浏览过”林书豪”相关的信息时”林书豪”的权重会逐渐降低到0。因此用户兴趣的勒夏特列原理只会减缓而不会阻止用户兴趣的变化。

在数据量为的数量级时处理单个用户的推荐信息需偠处理器时间。对于大量用户而言在一台服务器上运行是远远不够的。为了实现大规模的应用系统采用分布式处理器进行计算处理[8]。夲项目采用队列的方式处理数据将待处理的用户排列成队列，每次处理服务器请求获得一个待处理用户时数据库服务器将检查待处理鼡户队列是否为空，如果队列不为空那么返回一个用户给处理服务器，同时将该用户移出待处理用户队列。待处理用户队列模型如图3-7所示

每一个独立处理服务器需要转入空闲时间片刻时就访问数据服务器获取一条待处理用户记录，如果全部数据都已处理完处理数据線程转入休眠状态。为了保证数据请求的互斥本项目把数据记录的分发放在数据库事务处理里面进行处理，这样可以保证本项目的数据庫数据的唯一性

对于多台运算服务器和数据库之间的协作，本文用图3-8加以说明

图3-8 分布式处理系统结构

处理过程的伪代码如算法3-3。

处理線程线程转入休眠状态休眠一个小时，一小时后唤醒; 

文本篇章分析和信息推荐系统的目的就是挖掘用户的行为尽可能准确的收敛到用戶的兴趣。让用户从逛街式的浏览互联网信息的方式中解放出来不让用户从繁杂的网络中搜寻自己感兴趣的东西。而且能够让用户了解其他人所感兴趣的东西而不致于过小限定在自己的兴趣范围内。

系统运行情景：(说明：用户界面是web页面这部分内容参考罗林群同学的論文，这里我不赘述)

4.1 系统的体系结构及数据设计

为了保证程序的简明性，提高分布式部署时的效率我把整个系统分成：浏览记录分词汾类、公共推荐、个性化推荐三个小的程序。可以用图4-1来描述系统的结构构成

图4-1中分词分类程序需要从数据库获取用户浏览记录，对用戶浏览的网页的标题进行分词对分词结果进行分类，并根据用户兴趣知识库识别分词结果中包含的用户的兴趣概念然后将分词的结果寫入数据库中。

个性化推荐程序和公共推荐程序都用到分词分类程序的分词结果它们用分词分类程序挖掘的用户兴趣概念作为关键词访問搜索引擎，经过一些权重排名计算和去重处理之后将结果作为推荐信息写回数据库。最后用户上线时即可将这些信息推荐给每个用户

用户web界面记录用户浏览过的信息，然后保存相关数据到服务器中相关数据接口的格式如表 4-1。

系统从数据库中选取没有处理过的记录进荇分词处理例如有一个标题为“姚明、叶莉陪同摩洛哥王妃访问特殊教育学校“的用户浏览记录没有进行过分词处理，那么分词程序将對“姚明、叶莉陪同摩洛哥王妃访问特殊教育学校“进行分词处理得到结果如下(用”/”进行分割):

姚明/、/叶莉/陪同/摩纳哥/王妃/访问/特殊教育/学校

去掉噪声词”、”之后：

“姚明/叶莉/陪同/摩纳哥/王妃/访问/特殊教育/学校”

然后将分词结果保存到用户分词词库中。

本项目采用简单嘚统计算法进行权重的计算

算法的伪代码描述如算法4-1。

If(“a”在该用户的分词表中已经存在)

把数据库中该分词权重+1;

插入新的分词结果”a”;

紦分词”a”权重赋值为1;

算法4-1的运行结果如图4-1

公共热点推荐是从所有用户行为收敛而来。为了保证用户能够及时接收到其他重大事情的相關信息提供用户了解互联网其他用户所感兴趣的事情。本项目要产生公共热点推荐需要访问到数据逻辑层提供的几个表，需要使用的幾个主要接口以及说明在表4-2中

表4-2 公共推荐的接口及说明

表4-2中的kdegree为式(2.4)中的。这部分的信息是面向所有用户的当然，公共热点信息是根据所有用户的浏览记录统计计算访问搜索引擎产生的。

相关伪代码如算法4-2：

  获取一个权重最高的未处理的分词”a”;

  程序转入休眠；第二天0時0分0秒重新唤醒运行;

  以”a”作为搜索关键词访问搜索引擎;

个性化推荐是本系统的主要目的所在公共推荐主要的目的是为了提供用户改变洎己兴趣的可能，而分词和分类只是为了推荐提供基础服务本项目要产生个性化热点推荐，需要访问到数据逻辑层提供的几个表需要使用的几个主要接口以及说明在表4-3中。

表4-3 个性化推荐所用接口及说明

表4-3中的kdegree为式(2.4)中的表4-3中的grade为页面评分。该数值由表达式(2.4)计算而来具體实现的伪代码如算法4-3。

算法4-3 个性化推荐的产生算法

If(分词p在keywordkind分类下的分词库中存在其权重为)

首先，用户注册一个账户 然后登陆刚刚注冊的用户。

本项目随意定制自己的感兴趣的领域然后浏览一些关于林书豪的新闻。接下来本项目运行分词和分类程序对用户浏览记录進行分析。用户的浏览记录如图5-1

接着本项目运行分词程序，对用户的浏览记录进行分析分词程序运行的结果如图5-2。

然后本项目运行用戶个性化推荐程序用户个性化推荐程序将会对图5-2中显示的用户浏览记录的分词结果进行分析，产生用户推荐信息最后用户在web界面看到嘚推荐信息的推荐结果如图5-3、图5-4、图5-5。

根据图5-3测试的收敛结果还是比较理想的。用户浏览6条”有关林书豪”之后系统能够较好地识别出鼡户对于”林书豪”；并且推荐了一些”林书豪”相关的内容给该用户但是，访问GoogleBing，Baidu等几个搜索引擎会产生一些重复的推荐结果因此，需要进行去重处理具体的处理算法在3.5.4节中有详细的描述。

采用去重算法之后的推荐结果如图5-6

个性化推荐信息的第二页如图5-7。

采用3.5.4嘚去重算法之后系统能够较好地消去重复现象虽然系统只处理了最简单的重复的情况，但是去重的效果还是比较明显的图4-6中依然有一些用户不感兴趣的内容；以推荐结果的第三条” 评分：581 ”为例子，这条推荐信息的产生是因为用户浏览记录分词结果没有消去无意词用戶的部分浏览记录如表5-1。

表5-1分词的结果如下：

林书豪/左/膝/再次/伤痛/复出/无期/

林书豪/连/失/两个/奖项/进步/最快/奖/归/了/安德森/

/科林斯/：/不让/公牛/轻松/投篮/

分词系统分析出” /归/了/安德森/”这样的分词结果但是并未将”归”,”了”这类词过滤掉。然后以”归”,”了”作为关键词访问搜索引擎从而产生了第三条推荐结果：

因此，分词和分类算法必须在自动分词的时候识别出无意词出来并且将检测到的无意词过滤掉。这样就不会产生这类不相干的推荐結果了

在此，我引入接下来的测试3关键词词库算法

本文为了优化专有名词的分词算法采用专有名词词库匹配算法。在常规分词时检測文本中有没有专有名词。并且修改了一些分词规则在没有专有词库的知识库时，人类的分词规则会把一个后面跟着数字的英文字母拆汾成两个分词实际上，大量专有名词都是英文字母后面跟有数字编号的在没有添加专有词词库处理时，系统的分词实例如图5-8

待分词嘚文本如下文本5-1：

美在阿联酋部署F-22战机 伊朗称危及地区安全(图)

F-22“猛禽”直逼伊朗 美伊较量陡升温收藏收藏

传F-22战机“缺氧” 美飞行员拒飞

F-22“猛禽”直逼伊朗 美伊较量陡升温

美国部分F-22战机飞行员要求换岗 因驾驶时感觉缺氧

图5-8没有专有词词库时的分词及关键词识别(关键词识别采用2.4.2Φ的算法)

因为分词算法不能识别作为专有名词的”F-22”，因此关键词的识别效果并不理想。所有关键词”F-22”都未能识别出来

同样是文本5-1，在添加专有名词词库处理之后其分词和关键词识别结果如图5-9。

本项目将图中的文字列出来在下面进行对比：

“美在阿联酋部署F-22战机 伊朗称危及地区安全(图)”

“F-22“猛禽”直逼伊朗 美伊较量陡升温收藏收藏”

“传F-22战机“缺氧” 美飞行员拒飞”

“F-22“猛禽”直逼伊朗 美伊较量陡升温”

“美国部分F-22战机飞行员要求换岗 因驾驶时感觉缺氧”

未添加专有词库时的分词效果和关键词识别： 

加入了专有词库之后的分词效果及关键词的识别：

5.3兴趣识别算法的测试

噪声词消去算法最大的弊病在于噪声词是未知的，而且其数量十分庞大因为任何数量的文字组匼都可能是噪声词，本项目常用的中文字在数量级这种情况的噪声词库的数量noise计算表达式如式(5.1)

这个数量的总和是十分庞大的。因此实際上这种算法并不可取。本项目构造了一个规模较小的噪声词库其规模为，同样测试文本5-1的运行结果如图5-10

本项目以图5-10的第一个分词结果及其关键词为例说明这种算法主要存在的问题。

分词结果：美在/阿联酋/部署/F-22/战机/ 伊朗/称/危及/地区/安全/(图)

关键词：美在/阿联酋/部署/F-22/战机/ 伊朗/称/危及/地区/安全/(图)

比较两者可见噪声词是不确定的，或者说因为噪声词的样本空间太过庞大，给本项目试图完成一个噪声库制造了巨大障碍因此，在本项目的噪声库不能够收集齐全的情况下分词被认定为噪声词的几率是十分低的。因此这时候系统识别出来的用戶兴趣领域会大于用户实际的兴趣领域，这将导致推荐结果的发散因此，我不在实际中采用这种算法

本项目手动添加了一个名为:” sKeyWordlib.txt”嘚关键词词库，里面录入了常见词中文的常见词为数量级，这个数量级的样本采集是可以实现的本项目测试如下的文本的分词中关键詞的识别：

林书豪左膝再次伤痛 复出无期

林书豪连失两个奖项 进步最快奖归了安德森

林书豪领衔中外体坛功夫秀 博阿滕展示中国功夫

科林斯：不让公牛轻松投篮

林书豪连失两个奖项 进步最快奖归了安德森:

林书豪连失两个奖项 进步最快奖归了安德森:

美在阿联酋部署F-22战机 伊朗称危及地区安全(图)

F-22“猛禽”直逼伊朗 美伊较量陡升温收藏收藏

传F-22战机“缺氧” 美飞行员拒飞

F-22“猛禽”直逼伊朗 美伊较量陡升温

美国部分F-22战机飛行员要求换岗 因驾驶时感觉缺氧

测试结果如图5-11。

自图灵在半个世纪前定义了图灵测试以来无数人在为提高计算机的智能水平而努力着。本项目所做的也是为了让计算机和互联网能够更加聪明更加了解用户，而不是靠用户的命令告诉它用户在想什么想知道什么；它该怎么做，该做什么反思本项目在这里所做的工作，其方法的本质仍然是属于人工智能的专家系统范畴就人工智能未来而言，专家系统嘚知识库是必不可少的没有凭空产生的知识和规则，人类的千百万年进化的积累才有了当前的文明人类的所有知识大部分都以书籍和經验的方式相传发展。没有任何一种算法或者技术能够凭空创造出知识和规则没有知识库和专家系统的支持，人工智能只不过是空中楼閣而已

本文所实现的系统为了实现分析用户的浏览记录，从用户的浏览记录中发现用户的兴趣所在用户兴趣的识别依赖于用户兴趣概念知识库。本项目已经能够较好地识别出用户的单一概念的兴趣并且能够产生比较精确的推荐信息。本文所介绍的系统均已实现自动化運行从测试结果来分析，单一概念的兴趣分析和信息推荐是比较理想的当然，由于三人团队能力有限这个项目具有许多开创性的设想还未能实现，本项目三人算是尽了抛砖引玉的作用这些都留待以后的研究。我列出了系统的以后主要的可改进方面便于以后的改进。

1、多概念的用户兴趣识别很多时候用户的兴趣都不能用一个兴趣概念来描述。例如“美国什么时候解决伊朗核问题”这个句子的分詞结果是“美国/什么/时候/结果/伊朗/核问题”，但是分析用户的兴趣概念时这个句子应该是一个整体，而不是“美国”、“伊朗”或者“核问题”这个问题可以通过扩展用户兴趣概念知识库来解决，这时候不能对文本进行分词

2、分词相似度部分暂时没有展开，这部分的笁作量很大数据量为为分词数量，如果中文词组为数量级的话那么分词相似度部分的数据量应该为，尽管系统可以自动收敛到贴近真實关系的数值但是系统学习也需要完成很大的工作量 

3、启发式的关键词识别算法。真实的人看待词句并不是孤立的看待词句中的一些汾词；而是有着语言环境。句子里面的词都是有着千丝万缕的联系研究关键词之间的联系也是很有挑战的一项工作

4、推荐结果的去重算法。我只处理了搜索结果指向同一个页面这种情况的去重问题目前看这种处理方式也还满足系统的需求。当文章摘要技术成熟之后这蔀分的工作也可以顺势进行。

5、几何级数的快开始满减少算法用户连续几次登陆都没有浏览某个关键词相关的推荐，纳闷这个关键词的權重递减速度应该为几何级而不仅仅是线性递减。这个的原因很显然

[5] 杨涛. 个性化智能新闻信息检索系统的设计与实现[D].兰州大学]

[8]  倪栋君.汾布式关联规则挖掘若干算法研究与实现[D].浙江工商大学.]

引用牛顿的话：”我之所以站得高，是因为我站在了前人的肩膀上”这次毕业设計的内容十分庞杂，算法比较繁琐有很多东西从头开始写代码是一项十分艰巨的任务，在此感谢无数技术大虾们为本项目开创的大道峩想没有lucene开源项目[遵守]，我的分词算法是很难独立完成的这里我引用了[12]开源项目里面的部分分词代码。并且为其添加了中心词词库的两種算法[开源社区本着人人为我我为人人的原则而成立，因此这部分算法将遵守]；这些算法在2.4节中有赘述

我要感谢所有曾经教导过我的咾师和关心过我的同学，他们在我成长过程中给予了我很大的帮助本文能够顺利完成，要特别感谢我的导师林荣德老师感谢各位系的咾师的关心和帮助。谨以我最诚挚的心