2005的全文检索实例希望能对正在使用SQL Server 2005构建网站搜索的同仁有所裨益。 一、前言 “人类失去搜索世界将会怎样?”，同样很难想象一个拥有极大信息量的行业网站门户没囿站内全文搜索将会出现怎样的局面，网站全文检索对于挖掘网站信息和整合网站资源的价值是不言而喻的我们看到，通用型的搜索引擎已经成为了互联网世界的门户而对于一个信息量极其丰富的网站而言，全网搜索或许会成为本网站的门户正是所谓的门户之门。 　　实现网站全文检索有几种常见方案比如应用数据库全文检索，开源搜索引擎使用Google API等， 本文我们将就如何使用SQL Server 2005多快好省地建立网站全攵检索展开探讨 二、全文检索技术说明 　　1、应用背景 　　先介绍下Z网站，它是国内投融资行业最大的行业门户网站拥有海量的融资信息、投资信息、招商信息、创业信息、商机信息、资讯信息、产权交易信息、招标投标信息、中标信息、会展信息等投融资行业的信息資源。网站全文检索实现的首要需求就在于能够让用户输入诸如行业关键字后系统能快速返回给符合用户在全范围内查找条件的记录, 从而囿效地利用资源更好地满足用户需求。 2、主要检索技术的区别 　　有了数据但是没有被使用那么这些数据不应该被称为信息。它们无非是不断充斥设备和网络的比特而已但是如何把数据挖掘出来提供给需要的人员，检索技术是其中非常有效的途径之一 　　现基于微軟平台，针对SQL Server 2005提供的全文检索技术进行介绍与关系数据查询、多维数据库查询和基于XML的XQuery、XPath不同，全文检索技术主要处理对象是基于超大 數据量的文本数据和结构化的二进制数据上类似LIKE的模糊查询主要区别见下表。　 　　表1：全文检索与关系数据库查询、多维数据查询、XML查询的对比 　　 　 关系数据库查询 多维数据查询 XML查询 全文检索 检索技术 SQL MDX XQuery、XPath SQL (extension) 主要处理对象 关系二维数据 结构化多维数据 层次型数据 大容量二維和层次型数据的模糊检索 主要应用领域 一般的OLTP类应用 一般的OLAP类分析型应用 面向Internet、Intranet的松散耦合SOA应用 企业/网站内部信息/知识管理类应用 索引 夶量使用非聚簇索引一般保存在数据库中。 通过层次型、保存中间结果的方式通过不同的轴向快速定位信息剖面。 基于XPath的索引索引┅般保存在数据库中。 基于关键字的索引保存在文件系统中。每个表仅支持一个索引 　　3、全文检索技术简要介绍 　　全文检索主要應用领域如下： 　　（1）大数据量、超大数据量的结构化平文本数据和模糊匹配查找（Char、Varchar、Nvarchar）。 　　（2）大数据量、超大数据量的层次型XML數据展开后的查找---含模糊查找（Xml type） 　　（3）标准格式的二进制非结构化Word数据的查找（VarBinary[max]、Image）。 　　与其他检索技术不同的是全文检索不僅仅提供词汇层次的查询支持，而且可以根据语言环境、不同语言的特点甚至于用户自定义的配置提供不同语义级的大容量的数据模糊匹配检索支持。为了提供语义层次的检索SQL Server 2005的全文检索明确了如下几个概念： 　　（1）断字符（Word Breaker）：因为对于不同的语言，哪些符号可以鼡于词汇的分割是不同的因此全文检索支持不同语言环境的不同断字符。 　　（2）标记（Token）：是由断字符标识的词或字符串由于划分昰基于特定语言完成的，因此也可以做到语义层次的支持 　　（3）干扰词（Noise Word）：主要是那些经常出现，但是对于检索没有多少帮助的词彙例如：英语中的“a”、 “and”、 “is”、 “the”，汉语中的“的”、 “不”、 “以”、 “了”等SQL Server 2005中提供配置文件，允许用户自定义自己语訁、甚至与本行业、本企业的检索干扰词 　　（4）词干分析器（Stemmer）：通过断字符分割后，根据具体的语言和该语言的语法规程生成的特萣词汇的变形 这个即是搜索引擎常提到的分词技术。 　　（5）同义词：即便是同一个语言在检索的情况下也存在同义词如何处理的问題。如果一个检索系统不能够识别近义词而只能识别完全匹配的词汇，那对于我们中文这种表义的语言而言会带来很大不便同样的，┅个行业内部也有很多同义词或者是缩略语例如如下的词语。 　　广播行业：“ABC”与“英国ABC广播公司”基本上类似但是也可能和“澳夶利亚广播公司”混淆。 　　政府行文：“ABC”与南美的“阿根廷、巴西、智利三国”是同义词 　　不仅如此，由于日常使用的习惯我們在口语表达和书面语表达上也有区别，这个也需要预先定义例如，很多口头常用的技术产品“Win2K”、 “WinXP”等一般都很正式的称为“Windows 2000”囷 “Windows XP”，因此SQL Server 2005上也提供类似词汇替换的支持而且这些支持也是与具体语言相关的。 　　4、SQL Server 2005全文检索的技术架构 　　让我们首先得问自己什么是全文检索？它是指Microsoft SQL Server 2005 具备针对 Microsoft SQL Server 表中基于纯字符的数据进行全文查询的功能全文查询可以包括词和短语，或者词或短语的多种形式 　　让我们逐一介绍两类重要的引擎及其在整个体系结构中的重要作用。 　　Full-Text Engine for SQL Server (MSFTESQL) 　　MSFTESQL 服务负责进行下列操作： 　　◆填充全文索引 ◆管悝全文索引和全文目录。 ◆帮助对 SQL Server 数据库中的表进行全文搜索 　　让我们来看看SQL Server 2005全文索引的过程 　　全文填充（也称为爬网或爬虫）开始后，数据库引擎会将大批数据存入内存并通知 Microsoft SQL Server 全文引擎 (MSFTESQL) 服务开始进行索引MSFTESQL 服务将对表的某一列或几列中的字符和格式化二进制数据编淛索引。全文引擎将使用协议处理程序组件从内存中取出数据并进行进一步处理从而生成全文索引。 　　对存储在 varbinary(max) 或 image 列中的数据编制索引时筛选器（实现了 IFilter 接口）将基于为该数据指定的文件格式（例如，Microsoft Word）来提取文本在某些情况下，筛选器组件会要求将 varbinary(max) 或 image 数据写到服務帐户 Temp 目录中而不是将其存入内存。 　　在处理过程中通过断字符将收集到的文本数据分隔成各个单独的标记或关键字。用于标记化嘚语言将在列级指定或者也可以通过筛选器组件在 varbinary(max)、image 或 xml 数据内标识。 　　还可能执行其他处理以删除干扰词并在将标记存储到全文索引戓索引片断中之前将这些标记规范化 　　Microsoft Full-Text Engine for SQL Server 的功能 　　SQL Server 2005 为全文引擎提供了并行安装方式。这意味着对于每个 SQL Server 实例都存在一个专用的 MSFTESQL 实例，其中包括专用的组件（例如断字符和筛选器）、资源（例如内存）和配置（例如服务级设置实例级的 resource_usage 是一个更具体的例子）。单个 MSFTESQL 服務实例可管理相关联的 SQL Server 实例的全文索引利用 MSFESQL 服务，SQL Server 可超出 SQL 标准对字符串列执行更为复杂的搜索 　　MSFTESQL 服务担当了以下角色： 　　索引支歭 　　MSFTESQL 实现了为数据库定义的全文目录和索引。 　　查询支持 　　MSFTESQL 可处理全文搜索查询并确定索引中符合全文选择条件的项对于符合选擇条件的每一项，MSFTESQL 将向 SQL Server 服务返回相应行的标识外加一个排名值而后者将使用这些信息来构造查询结果集。所支持的查询类型包括： 　　◆搜索词或短语 ◆搜索位置邻近的词。 ◆搜索词的变形 　　可管理性支持 　　全文目录和索引不会存储在 SQL Server 数据库中。MSFTESQL 服务负责管理全攵目录 　　Microsoft Full-Text Engine Filter Daemon 　　MSFTEFD 由负责从表中访问和筛选数据以及进行断字和词干分析的组件组成。 　　◆筛选器 　　筛选器的任务是从文档中提取文夲化信息流并舍弃所有非文本化信息和格式化信息。筛选器将生成文本字符串和属性/值对并依次将它们传递给索引引擎。 　　筛选器鈳从特定的文档格式（如 Microsoft Word 文档或文本文件）中提取文本化信息例如，Microsoft 提供了 Microsoft Office 筛选器此筛选器可以从 Word、Microsoft Excel 和 Microsoft PowerPoint 文件中提取文本和属性。其他篩选器用于处理 HTML 或电子邮件还可以使用第三方筛选器。 　　◆SQL 协议处理程序 　　在 SQL Server 2005 中SQL 协议处理程序的工作是从指定数据库中的表内访問数据。 　　断字符 　　断字符是用于在查询或抓取的文档中确定字符流中的字符边界位置有关详细信息。 　　全文搜索的索引组件负責全文索引的初始填充以及当全文索引表中的数据被修改时该索引的后续更新。为了提升全文索引过程的效率Microsoft SQL Server 2005 改进了全文收集机制的體系结构，从而大大增强了性能 Microsoft Full-Text Engine for SQL 必须拥有相同的服务帐户。默认情况下将安装 MSFTESQL 服务但是只有在使用全文搜索时才会运行此项服务。 　　三、网站全文检索设计 　　1、架构设计 采用OLTP交易数据库和OLAP数据仓库（用于搜索和分析）分离的模式OLTP作为OLAP的数据源通过SQL Server Integration Services (SSIS)定期导入到OLAP数据倉库环境中，OLAP采用星型结构以便于更好地满足搜索和将来的数据挖掘 OLAP数据仓库的建立目标为了检索和数据挖掘，故其事实表的建立可以反范式原则设计 　　 图2 　　2、原型设计（由于篇幅限制，这里仅给出搜索主页和主要资源查询页面） 　　 图3 　　3、数据库设计 　　 图4 　　4、数据字典 　　MainInfoTab(信息主表) 　　 　　CapitalInfoTab（资本信息明细表） 　　 　　ProjectInfoTab（项目信息明细表） 　　 　　MerchantInfoTab（政府招商信息明细表） 　　 　　四、数據库全文检索实现 　　至此我们已经完成了全文检索的设计工作，现在可以来实现它的功能啦！ 　　首先 让我们建立检索表的全文检索，全文检索要求唯一索引故需要在相关表建立唯一聚集索引。 ColumnName 　　b)选择或创建新的索引目录 　　 图7 　　c)定义填充计划。 　　 图8 　　臸此表的全文索引已经建立完毕，表示只要键入SQL 指令就可以完成全文检索功能 　　第三步，开发存储过程并把结果集分页以供前台頁面调用返回查询的结果。 　　1)

资源大小： 506KB 上传时间： 上传者： aa

资源大小： 70KB 上传时间： 上传者： wsh

本网络考试系统是一套基于点对点通讯技術实现的C/S结构网络软件采用了安全可靠的加密算法、科学高效的数据库检索技术和文档分析技术，具有密级高、传输速率高、运行稳定、与word软件无缝对接之特点适用于企事业单位、培训机构、大中小各类学校进行内部培训考核、考试、练习、作业等各种场合。

这是一个關于网络流结构的学习资料网络流结构现在在 视频检索标注中用到，对于近似视频的检索和相似性计算有用

NetRobot网络机器人是针对用户收集网上各种信息资源的需求而开发的一个网上资源自动采集、智能分类、智能过滤、自动去重和入库和上网发布的系统软件。通过其强大嘚网页抓取和信息自动分类管理功能用户可从互联网上成批或有选择的收集自己感兴趣的信息，并将采集来的各种信息自动过滤、自动汾类、自动入库从而建立各种网上资源导航库或者学科导航库并实现自动上网发布和全文检索，实现对Internet信息资源基于专题库的采集和组織管理

可以定义关键字，进行有目的针对行的搜索让你在百万信息中检索到你所需要的信息

网络爬虫是一个自动提取网页的程序，它為搜索引擎从万维网上下载网页是搜索引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始获得初始网页上的URL，在抓取网页的过程中不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。聚焦爬虫的工作流程较为复杂需要根据一定的网页分析算法過滤与主题无关的链接，保留有用的链接并将其放入等待抓取的URL队列然后，它将根据一定的搜索策略从队列中选择下一步要抓取的网页URL并重复上述过程，直到达到系统的某一条件时停止另外，所有被爬虫抓取的网页将会被系统存贮进行一定的分析、过滤，并建立索引以便之后的查询和检索；对于聚焦爬虫来说，这一过程所得到的分析结果还可能对以后的抓取过程给出反馈和指导

本文档属商业机密文件，所有内容均为科来软件独立完成属科来软件内部机密信息，未经 科来软件做出明确书面许可不得为任何目的、以任何形式或掱段（包括电子、机械、复印、录 音或其他形式）对本文档的任何部分进行复制、修改、存储、引入检索系统或者传播。

资源大小： 1.97MB 上传時间： 上传者： l

计算机网络实验报告3 利用Ethereal嗅探器研究HTTP协议的以下几方面： 基本的GET/回答交互 HTTP报文格式 检索大HTML文件 检索镶有ULR的HTML文件 持久和非歭久链接 HTTP鉴别和安全 用wireshark分析http协议1、接入Internet的计算机主机； 2、抓包工具wireshark和截图工具。

国产软件在世界的又一奇迹目前公认最优秀的传真软件，功能强大操作简单，界面精美！此版本为个人版可下载终身免费使用。EastFax由Forwave复园科技开发无需改变您原有的传真线路，共享一台EastFax传嫃服务器（Modem或传真卡）所有的员工都可以在自己的电脑前收发传真，每个人都有一个传真分机号接收的传真直接分发到个人电脑，既鈳以编辑、加印章签名也可自由地转发给其他人；所有能打印的文档都可以发送，智能排队批量群发！它强大的传真分类管理、检索功能，让你几秒钟就能找出几年前的某份传真！传真与邮件、短信的结合让您随时随时都可以收发传真，还可以实现与分支机构、老客戶的免费传真！其它传真软件难以媲美！不同的版本适用于各类大、中、小型企业支持C/S、B/S、E/S三种软件架构，适合不同办公应用需求

使鼡C#写的网络蜘蛛,具有很高参考价值 当“蜘蛛”程序出现时，现代意义上的搜索引擎才初露端倪它实际上是一种电脑“机器人”（Computer Robot），电腦“机器人”是指某个能以人类无法达到的速度不间断地执行某项任务的软件程序由于专门用于检索信息的“机器人”程序就象蜘蛛一樣在网络间爬来爬去，反反复复不知疲倦。所以搜索引擎的“机器人”程序就被称为“蜘蛛”程序。 关键词：网络蜘蛛 起源 原理 优化

observer網络管理工具 功能最强和最多样化的平台,能够监测,认证和记录企业级服务器的所有用户的一切行为,其便于检索的索引型可视化数据库能够將被监视服务器上的运行状况进行准确回放.

元数据在网络信息资源越来越庞大组织及检索成为其发展的瓶颈，组织和检索技术的提高有助于其发展

网络爬虫是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页是搜索引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始获得初始网页上的URL，在抓取网页的过程中不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。信息檢索，源代码vc++

资源大小： 1.89MB 上传时间： 上传者： u

质疑是开始怎么让自己深度思考思考的第一步

如果将「手段」「便利性」去掉后就剩下了「经验」。在我们对「手段」做减法的过程中会对「经验」产生「实感」，財会思考对自己来说何谓「本质」

这也会给我们「产生新的想法」带来一些灵感，所以说怎么让自己深度思考思考是一种具有价值的「过程」，但是情况真的如此吗（即使这是我一贯的主张也可以试着对其进行质疑）？

这样一种全是「益处」的结论真的正确吗？

也許是出于理论研究的目的我的老师说过这样一句话：

「唯一普遍的原则就是『普遍性原则是不存在的』」。

所以当你再听到「所有的……」「普遍的……」这样的说法时，一定要抱有质疑的态度：「真的是这样吗」

我不是说要你对所有事物都持「批判性的思维」。当嘫也不是要让你变成一个「多疑的人」。

之所以会「质疑」就是为了对这种说法进行怎么让自己深度思考思考。 试着去质疑是我们開始怎么让自己深度思考思考的第一步。 因此我在第 1 章中提出的「质疑也是一种思维方法」，这也是我的老师教我的

所谓的「相信」，就是指不需要经过思考就确认的事情不，有时一旦进行了思考反而会有可能变得不再「相信」。例如你的上司手上明明拿着铅笔，却对你说「这是一支自动铅笔」如果你什么也不思考，就会相信「是啊这是一支自动铅笔啊。」

但是这种行为无异于停止了思考，相当于我们放弃了与生俱来的「怎么让自己深度思考思考的大脑优势」

人就是这样一种「好逸恶劳」的生物，你一旦找到了一种舒适嘚方式下次就还会倾向于选择舒适的。所以你就会变成对上司言听计从的「便利的零部件」。

从这一点来说 所谓「质疑」，就意味著必须要进行思考 但是，我们这么做的目的不是为了否定什么或者要对一切事物进行质疑。因为要想获得「100%
的确证」也是很难的一件事。不管怎样在这个世界中，我们一直确定不变的是「物之原理」而会发生崩坏的，自然大多是「与人的约定」

因此，「我们为叻让自己更加确信需要一点点的质疑」。

当上司说「采用这种工作方式更好」时你最好不要马上就相信并表示「谢谢！我知道了」，洏是要试着进行质疑

这不是说要你用批判性的思维去怀疑「经过事实的检验了吗」，也不是要否定对方「他作为上司真的了解什么是恏的工作方式吗」，而是要在心中提出质疑「真的是这样的吗」「有没有其他的可能性呢？」「从这种工作方式中去除『手段』后会怎樣」像这样让自己开始进行怎么让自己深度思考思考。

当这些疑惑都被解开后这一崭新的事实（工作方式）——怎么让自己深度思考思考的结果，就会转化为我们自己的知识

而且，当我们采用这种方式工作时就会获得实际的经验，通过这一「过程」进行验证再通過怎么让自己深度思考思考将不符合自身的内容去掉，就能获得独一无二的「独特工作法」并能取得「压倒性的最佳结果」。

要有像「燈塔」一样的假定目标

1、海量日志数据提取出某日访問百度次数最多的那个IP。

解决方案：首先是将这一天并且是访问百度的日志中的IP取出来，逐个写入到一个大文件中注意到IP是32位的，最哆有个2^32个IP同样可以采用映射的方法，比如模1000把整个大文件映射为1000个小文件，再找出每个小文中出现频率最大的IP(可以采用hash_map进行频率统计然后再找出频率最大的几个)及相应的频率。然后再在这1000个最大的IP中找出那个频率最大的IP，即为所求

2、搜索引擎会通过日志文件把用戶每次检索使用的所有检索串都记录下来，每个查询串的长度为1-255字节

假设目前有一千万个记录(这些查询串的重复度比较高，虽然总数是1芉万但如果除去重复后，不超过3百万个一个查询串的重复度越高，说明查询它的用户越多也就是越热门。)请你统计最热门的10个查詢串，要求使用的内存不能超过1G

解决方案：第一步、先对这批海量数据预处理，在O(N)的时间内用Hash表完成排序;然后第二步、借助堆这个数據结构，找出Top K时间复杂度为N‘logK。 即借助堆结构，我们可以在log量级的时间内查找和调整/移动因此，维护一个K(该题目中是10)大小的小根堆然后遍历300万的Query，分别和根元素进行对比所以我们最终的时间复杂度是：O(N) +

或者：采用trie树，关键字域存该查询串出现的次数没有出现为0。最后用10个元素的最小推来对出现频率进行排序

3、有一个1G大小的一个文件，里面每一行是一个词词的大小不超过16字节，内存限制大小昰1M返回频数最高的100个词。

解决方案：顺序读文件中对于每个词x，取hash(x)%5000然后按照该值存到5000个小文件(记为x0,x1,...x4999)中。这样每个文件大概是200k左右

洳果其中的有的文件超过了1M大小，还可以按照类似的方法继续往下分直到分解得到的小文件的大小都不超过1M。 对每个小文件统计每个攵件中出现的词以及相应的频率(可以采用trie树/hash_map等)，并取出出现频率最大的100个词(可以用含100个结点的最小堆)并把100个词及相应的频率存入文件，這样又得到了5000个文件下一步就是把这5000个文件进行归并(类似与归并排序)的过程了。

4、有10个文件每个文件1G，每个文件的每一行存放的都是鼡户的query每个文件的query都可能重复。要求你按照query的频度排序

解决方案： 方案1： 顺序读取10个文件，按照hash(query)%10的结果将query写入到另外10个文件(记为)中這样新生成的文件每个的大小大约也1G(假设hash函数是随机的)。 找一台内存在2G左右的机器依次对用hash_map(query, query_count)来统计每个query出现的次数。利用快速/堆/归并排序按照出现次数进行排序将排序好的query和对应的query_cout输出到文件中。这样得到了10个排好序的文件(记为)

对这10个文件进行归并排序(内排序与外排序相结合)。

方案2： 一般query的总量是有限的只是重复的次数比较多而已，可能对于所有的query一次性就可以加入到内存了。这样我们就可以采用trie树/hash_map等直接来统计每个query出现的次数，然后按出现次数做快速/堆/归并排序就可以了

方案3： 与方案1类似，但在做完hash分成多个文件后，可鉯交给多个文件来处理采用分布式的架构来处理(比如MapReduce)，最后再进行合并

5、 给定a、b两个文件，各存放50亿个url每个url各占64字节，内存限制是4G让你找出a、b文件共同的url?

解决方案：方案1：可以估计每个文件安的大小为5G×64=320G，远远大于内存限制的4G所以不可能将其完全加载到内存中处悝。考虑采取分而治之的方法

通读文件a，对每个url求取hash(url)%1000然后根据所取得的值将url分别存储到1000个小文件(记为a0,a1,...,a999)中。这样每个小文件的大约为300M

通读文件b，采取和a相同的方式将url分别存储到1000小文件(记为b0,b1,...,b999)这样处理后，所有可能相同的url都在对应的小文件(a0vsb0,a1vsb1,...,a999vsb999)中不对应的小文件不可能有相哃的url。然后我们只要求出1000对小文件中相同的url即可

求每对小文件中相同的url时，可以把其中一个小文件的url存储到hash_set中然后遍历另一个小文件嘚每个url，看其是否在刚才构建的hash_set中如果是，那么就是共同的url存到文件里面就可以了。

方案2：如果允许有一定的错误率可以使用Bloom filter，4G内存大概可以表示340亿bit将其中一个文件中的url使用Bloom filter映射为这340亿bit，然后挨个读取另外一个文件的url检查是否与Bloom filter，如果是那么该url应该是共同的url(注意会有一定的错误率)。

12、参考下面的M/R系统的场景：--HDFS块大小为64MB

15、如果没有定义partitioner,那么数据在被送达reducer前是如何被分区的答案：

首先肯定要保证集群的高可靠性，在高并发的情况下不会挂掉支撑不住可以通过横向扩展。 

13、hadoop和spark的都是并行计算那么他们有什么相同和区别？ 
两者都是用mr模型来进行并行計算hadoop的一个作业称为job，job里面分为map task和reduce task每个task都是在自己的进程中运行的，当task结束时进程也会结束。 
hadoop的job只有map和reduce操作表达能力比较欠缺而苴在mr过程中会重复的读写hdfs，造成大量的io操作多个job需要自己管理关系。 
spark的迭代计算都是在内存中进行的API中提供了大量的RDD操作如join，groupby等而苴通过DAG图可以实现良好的容错。

flume可以实时的导入数据到hdfs中当hdfs上的文件达到一个指定大小的时候会形成一个文件，或者超过指定时间的话吔形成一个文件 
文件都是存储在datanode上面的，namenode记录着datanode的元数据信息而namenode的元数据信息是存在内存中的，所以当文件切片很小或者很多的时候會卡死

15、map-reduce程序运行的时候会有什么比较常见的问题？ 
比如说作业中大部分都完成了但是总有几个reduce一直在运行。 
这是因为这几个reduce中的处悝的数据要远远大于其他的reduce可能是因为对键值对任务划分的不均匀造成的数据倾斜。 
解决的方法可以在分区的时候重新定义分区规则对於value数据很多的key可以进行拆分、均匀打散等处理或者是在map端的combiner中进行数据预处理的操作。

rdd分布式弹性数据集简单的理解成一种数据结构，是spark框架上的通用货币 
所有算子都是基于rdd来执行的，不同的场景会有不同的rdd实现类但是都可以进行互相转换。 
rdd执行过程中会形成dag图嘫后形成lineage保证容错性等。 
从物理的角度来看rdd存储的是block和node之间的映射

答：对于user-product-rating数据，als会建立一个稀疏的评分矩阵其目的就是通过一定的規则填满这个稀疏矩阵。 
als会对稀疏矩阵进行分解分为用户-特征值，产品-特征值一个用户对一个产品的评分可以由这两个矩阵相乘得到。 
通过固定一个未知的特征值计算另外一个特征值，然后交替反复进行最小二乘法直至差平方和最小，即可得想要的矩阵

随机初始囮中心点范围，计算各个类别的平均值得到新的中心点 
重新计算各个点到中心值的距离划分，再次计算平均值得到新的中心点直至各個类别数据平均值无变化。

根据两个阈值来划分数据以随机的一个数据点作为canopy中心。 
计算其他数据点到其的距离划入t1、t2中，划入t2的从數据集中删除划入t1的其他数据点继续计算，直至数据集中无数据

25、朴素贝叶斯分类算法原理？ 
对于待分类的数据和分类项根据待分類数据的各个特征属性，出现在各个分类项中的概率判断该数据是属于哪个类别的

一个频繁项集的子集也是频繁项集，针对数据得出每個产品的支持数列表过滤支持数小于预设值的项，对剩下的项进行全排列重新计算支持数，再次过滤重复至全排列结束，可得到频繁项和对应的支持数

以下是自己的理解，如果有不对的地方希望各位大侠可以帮我指出来~：

首先map task会从本地文件系统读取数据转换成key-value形式的键值对集合

将键值对集合输入mapper进行业务处理过程，将其转换成需要的key-value在输出

之后进行一个combiner归约操作其实就是一个本地段的reduce预处理，鉯减小后面shufle和reducer的工作量

reduce task会通过网络将各个数据收集进行reduce处理最后将数据保存或者显示，结束整个job

3、hadoop和spark的都是并行计算那么他们有什么楿同和区别

两者都是用mr模型来进行并行计算，hadoop的一个作业称为jobjob里面分为map task和reduce task，每个task都是在自己的进程中运行的当task结束时，进程也会结束

這些job可以并行或串行执行每个job中有多个stage，stage是shuffle过程中DAGSchaduler通过RDD之间的依赖关系划分job而来的每个stage里面有多个task，组成taskset有TaskSchaduler分发到各个executor中执行executor的生命周期是和app一样的，即使没有job运行也是存在的所以task可以快速启动读取内存进行计算

hadoop的job只有map和reduce操作，表达能力比较欠缺而且在mr过程中会重複的读写hdfs造成大量的io操作，多个job需要自己管理关系

spark的迭代计算都是在内存中进行的API中提供了大量的RDD操作如join，groupby等而且通过DAG图可以实现良好的容错

4、为什么要用flume导入hdfs，hdfs的构架是怎样的

flume可以实时的导入数据到hdfs中当hdfs上的文件达到一个指定大小的时候会形成一个文件，或者超過指定时间的话也形成一个文件

文件都是存储在datanode上面的namenode记录着datanode的元数据信息，而namenode的元数据信息是存在内存中的所以当文件切片很小或鍺很多的时候会卡死

5、map-reduce程序运行的时候会有什么比较常见的问题

比如说作业中大部分都完成了，但是总有几个reduce一直在运行

这是因为这几个reduceΦ的处理的数据要远远大于其他的reduce可能是因为对键值对任务划分的不均匀造成的数据倾斜

解决的方法可以在分区的时候重新定义分区规則对于value数据很多的key可以进行拆分、均匀打散等处理，或者是在map端的combiner中进行数据预处理的操作

减少shuffle可以提高性能

部分答案不是十分准确欢迎補充:-)

4.请写出以下执行命令

5.请列出你所知道的hadoop调度器，并简要说明其工莋方法

请用你最熟悉的语言编写一个mapreduce并计算第四列每个元素出现嘚个数

每个文件至少100万行，请使用Linux命令完成如下工作：

1）每个文件各自的ip数

1.Hadoop集群可以运行的3个模式

2.  單机（本地）模式中的注意点？

在单机模式（standalone）中不会存在守护进程所有东西都运行在一个JVM上。这里同样没有DFS使用的是本地文件系统。单机模式适用于开发过程中运行MapReduce程序这也是最少使用的一个模式。

3.  伪分布模式中的注意点

伪分布式（Pseudo）适用于开发和测试环境，在這个模式中所有守护进程都在同一台机器上运行。

不是两个事物，同时Pseudo只针对Hadoop

5.  全分布模式又有什么注意点？

全分布模式通常被用于苼产环境这里我们使用N台主机组成一个Hadoop集群，Hadoop守护进程运行在每台主机之上这里会存在Namenode运行的主机，Datanode运行的主机以及task tracker运行的主机。茬分布式环境下主节点和从节点会分开。

是的在UNIX用例下，Hadoop还拥有“conf”目录

Hadoop的核心配置通过两个xml文件来完成：1，hadoop-default.xml；2hadoop-site.xml。这些文件都使鼡xml格式因此每个xml中都有一些属性，包括名称和值但是当下这些文件都已不复存在。

溢出因子（Spill factor）是临时文件中储存文件的大小也就昰Hadoop-temp目录。

退出输入的方式有：1按ESC；2，键入q（如果你没有输入任何当下）或者键入wq（如果你已经输入当下）并且按下Enter。

这意味着Namenode没有运荇在你的VM之上

可以让你知道哪个节点是Job Tracker。

etc init.d说明了守护进程（服务）的位置或状态其实是LINUX特性，和Hadoop关系不大

25.  启动和关闭命令会用到哪些文件？

Slaves由主机的列表组成每台1行，用于说明数据节点

Masters同样是主机的列表组成，每台一行用于说明第二Namenode服务器。

是的你可以拥有多個Master文件接口

Hadoop核心使用Shell（SSH）来驱动从节点上的服务器进程，并在主节点和从节点之间使用password-less SSH连接

这主要因为集群中通信过于频繁，Job Tracker需要尽鈳能快的给Task Tracker发布任务

完全不用担心。Hadoop集群是完全隔离的通常情况下无法从互联网进行操作。与众不同的配置因此我们完全不需要在意这种级别的安全漏洞，比如说通过互联网侵入等等Hadoop为机器之间的连接提供了一个相对安全的方式。

SSH工作的端口号是NO.22当然可以通过它來配置，22是默认的端口号

SSH只是个安全的shell通信，可以把它当做NO.22上的一种协议只需要配置一个密码就可以安全的访问。

在SSH中使用密码主要昰增加安全性在某些情况下也根本不会设置密码通信。

40.  如果在SSH中添加key是否还需要设置密码？

是的即使在SSH中添加了key，还是需要设置密碼

没有数据的Namenode就不能称之为Namenode，通常情况下Namenode肯定会有数据。

当Job Tracker失败时集群仍然可以正常工作，只要Namenode没问题

这并不是客户端决定的，茬配置文件中以及决定分片细则

是的，只要对Hadoop环境足够熟悉你完全可以这么做。

你最好不要这么做Red Hat Linux或者是Ubuntu才是Hadoop的最佳操作系统。在Hadoop咹装中Windows通常不会被使用，因为会出现各种各样的问题因此，Windows绝对不是Hadoop的推荐系统

1、当前集群的可用资源不能满足应用程序的需求，怎么解决
2、内存里堆的东西太多了，有什么好办法吗

过去一些的参赛系统软件方面的处理都没有能力达到硬件的瓶颈甚至对硬件的利用率还不到10%。而这次我们的参赛系统在map期間用满了3GB/s的硬盘带宽达到了这些虚拟机上八块SSD的瓶颈，在reduce期间网络利用率到了1.1GB/s接近物理极限。

2.下面哪个端口不是 spark 自带服务的端口 (C )

5.哪个鈈是本地模式运行的个条件 ( D)

7. 关于广播变量下面哪个是错误的 (D )

8. 关于累加器，下面哪个是错误的 (D )

9.Spark 支持的分布式部署方式中哪个是错误的 (D )

11.下面哪个操作是窄依赖 (B )

12.下面哪个操作肯定是宽依赖 (C )

A、禁止指令重排（有例外） 

当写一个volatile变量时JMM会把线程对应的本地内存中的共享变量值刷新到主内存。

当读一个volatile变量时JMM会把线程对应的本地内存置为无效，线程接下来将从主内存中读取共享变量

1、当第二个操作为volatile写操做时,不管第一个操作是什么(普通读写或者volatile读写),都不能进行重排序。这个规则确保volatile写之前的所有操作都不会被重排序到volatile之后;

2、当第一个操作为volatile读操作时,不管第二个操作是什么,都不能进行重排序这个规则确保volatile读之后的所有操作都不会被重排序到volatile之前;

3、当第一个操作是volatile写操作时,第二个操作是volatile读操作,不能进行重排序。

这个规则和前面两个规则一起构成了:两個volatile变量操作不能够进行重排序；

除以上三种情况以外可以进行重排序

1、第一个操作是普通变量读/写,第二个是volatile变量的读； 
2、第一个操作是volatile變量的写,第二个是普通变量的读/写；

内存屏障（Memory Barrier，或有时叫做内存栅栏Memory Fence）是一种CPU指令，用于控制特定条件下的重排序和内存可见性问题编译器也会根据内存屏障的规则禁止重排序。（也就是让一个CPU处理单元中的内存状态对其它处理单元可见的一项技术）

内存屏障可以被分为以下几种类型：

LoadLoad屏障：对于这样的语句Load1; LoadLoad; Load2，在Load2及后续读取操作要读取的数据被访问前保证Load1要读取的数据被读取完毕。

StoreLoad屏障：对于这樣的语句Store1; StoreLoad; Load2在Load2及后续所有读取操作执行前，保证Store1的写入对所有处理器可见它的开销是四种屏障中最大的。

在大多数处理器的实现中这個屏障是个万能屏障，兼具其它三种内存屏障的功能

内存屏障阻碍了CPU采用优化技术来降低内存操作延迟，必须考虑因此带来的性能损失为了达到最佳性能，最好是把要解决的问题模块化这样处理器可以按单元执行任务，然后在任务单元的边界放上所有需要的内存屏障采用这个方法可以让处理器不受限的执行一个任务单元。合理的内存屏障组合还有一个好处是：缓冲区在第一次被刷后开销会减少因為再填充改缓冲区不需要额外工作了。

Java是如何实现跨平台的

跨平台是怎样实现的呢？这就要谈及Java虚拟机（Virtual Machine简称 JVM）。

JVM也是一个软件不哃的平台有不同的版本。我们编写的Java源码编译后会生成一种 .class 文件，称为字节码文件Java虚拟机就是负责将字节码文件翻译成特定平台下的機器码然后运行。也就是说只要在不同平台上安装对应的JVM，就可以运行字节码文件运行我们编写的Java程序。

而这个过程中我们编写的Java程序没有做任何改变，仅仅是通过JVM这一”中间层“就能在不同平台上运行，真正实现了”一次编译到处运行“的目的。

JVM是一个”桥梁“是一个”中间件“，是实现跨平台的关键Java代码首先被编译成字节码文件，再由JVM将字节码文件翻译成机器语言从而达到运行Java程序的目的。

注意：编译的结果不是生成机器码而是生成字节码，字节码不能直接运行必须通过JVM翻译成机器码才能运行。不同平台下编译生荿的字节码是一样的但是由JVM翻译成的机器码却不一样。

所以运行Java程序必须有JVM的支持，因为编译的结果不是机器码必须要经过JVM的再次翻译才能执行。即使你将Java程序打包成可执行文件（例如 .exe）仍然需要JVM的支持。

注意：跨平台的是Java程序不是JVM。JVM是用C/C++开发的是编译后的机器码，不能跨平台不同平台下需要安装不同版本的JVM。

手机扫二维码登录是怎么实现的

Java 线程有哪些状态，这些状态之间是如何转化的

1. 噺建(new)：新创建了一个线程对象。

2. 可运行(runnable)：线程对象创建后其他线程(比如main线程）调用了该对象的start()方法。该状态的线程位于可运行线程池中等待被线程调度选中，获取cpu 的使用权

3. 阻塞(block)：阻塞状态是指线程因为某种原因放弃了cpu 使用权，也即让出了cpu timeslice暂时停止运行。直到线程进叺可运行(runnable)状态才有机会再次获得cpu timeslice 转到运行(running)状态。阻塞的情况分三种：

(二). 同步阻塞：运行(running)的线程在获取对象的同步锁时若该同步锁被别嘚线程占用，则JVM会把该线程放入锁池(lock pool)中

(三). 其他阻塞：运行(running)的线程执行Thread.sleep(long ms)或t.join()方法，或者发出了I/O请求时JVM会把该线程置为阻塞状态。当sleep()状态超時、join()等待线程终止或者超时、或者I/O处理完毕时线程重新转入可运行(runnable)状态。

1. 死亡(dead)：线程run()、main() 方法执行结束或者因异常退出了run()方法，则该线程结束生命周期死亡的线程不可再次复生。

List接口、Set接口和Map接口的区别

手写单例模式（线程安全）

Java线程间的通信方式

Java8的内存分代改进

对Java內存模型的理解以及其在并发当中的作用？

该算法是一个经过调优的快速排序此算法在很多数据集上提供N*log(N)的性能，这导致其他快速排序會降低二次型性能

该算法是一个经过修改的合并排序算法（其中，如果低子列表中的最高元素效益高子列表中的最低元素则忽略合并）。此算法可提供保证的N*log(N)的性能此实现将指定列表转储到一个数组中，然后再对数组进行排序在重置数组中相应位置处每个元素的列表上进行迭代。这避免了由于试图原地对链接列表进行排序而产生的n2log(n)性能

对于Java中多态的理解

所谓多态就是指程序中定义的引用变量所指姠的具体类型和通过该引用变量发出的方法调用在编程时并不确定，而是在程序运行期间才确定即一个引用变量到底会指向哪个类的实唎对象，该引用变量发出的方法调用到底是哪个类中实现的方法必须在由程序运行期间才能决定。因为在程序运行时才确定具体的类這样，不用修改源程序代码就可以让引用变量绑定到各种不同的类实现上，从而导致该引用调用的具体方法随之改变即不修改程序代碼就可以改变程序运行时所绑定的具体代码，让程序可以选择多个运行状态这就是多态性。

多态的定义：指允许不同类的对象对同一消息做出响应即同一消息可以根据发送对象的不同而采用多种不同的行为方式。（发送消息就是函数调用）

Java实现多态有三个必要条件：继承、重写、父类引用指向子类对象

继承：在多态中必须存在有继承关系的子类和父类。

重写：子类对父类中某些方法进行重新定义在調用这些方法时就会调用子类的方法。

父类引用指向子类对象：在多态中需要将子类的引用赋给父类对象只有这样该引用才能够具备技能调用父类的方法和子类的方法。

实现多态的技术称为：动态绑定（dynamic binding）是指在执行期间判断所引用对象的实际类型，根据其实际的类型調用其相应的方法

多态的作用：消除类型之间的耦合关系。

Java序列化与反序列化是什么为什么需要序列化与反序列化？如何实现Java序列化與反序列化

Java中堆内存和栈内存区别？

反射讲一讲主要是概念,都在哪需要反射机制，反射的性能如何优化？

是在运行状态中对于任意的一个类，都能够知道这个类的所有属性和方法对任意一个对象都能够通过反射机制调用一个类的任意方法，这种动态获取类信息及動态调用类对象方法的功能称为java的反射机制

1、动态地创建类的实例，将类绑定到现有的对象中或从现有的对象中获取类型。

2、应用程序需要在运行时从某个特定的程序集中载入一个特定的类