软件项目外包之路如何如此坎坷_软件项目管理流程小结_运用hadoop进行大规模数据的全局排序__脚本百事通
稍等，加载中……
^_^请注意，有可能下面的2篇文章才是您想要的内容：
软件项目外包之路如何如此坎坷
软件项目管理流程小结
运用hadoop进行大规模数据的全局排序
软件项目外包之路如何如此坎坷
软件项目外包之路何以如此坎坷？通过软件项目外包的形式获得令人满意的产品并非易事，想想当初为何美国国防部要求卡内基梅隆大学的软件工程研究所（SEI）制定现在广为人知的CMM就明白了。在此，我想就我的工作体会谈一谈软件项目外包之路为何如此坎坷。
首先要明白的一点是，软件外包项目承包商（后面简称为“承包商”）与雇主之间的关系更多的是博奕，而非真正意义上的合作，因为两者之间存在利益冲突。雇主为了确保外包项目获得成功，必然会为承包商制定严格的成功评价标准，比如缺陷数不能大于多少，等等。承包商为了达到雇主所制定的成功评价标准，必然想法设法保证评价标准的稳定。要做到这一点，这就需要雇主做好需求管理
— 提供恰当、稳定的需求，然而即使雇主拥有经验丰富的架构师要做到这一点并非易事，最终结果就是很容易因为需求的不确定性而出现双方扯皮，从而影响了开发效率。
造成承包商与雇主之间成为博奕关系的另一个原因与项目开发时间的估算有关。@Thinker姜志辉在MPD的演讲中指出，“估计项目开发时间的的目的是为了适应变化，而非评估本身有多精确”，他还让与会者通过做硬币游戏的方式深刻理解这一观点。尽管我本人完全认同这一观点，但该观点却无法在软件外包项目上获得认可而实践。理由很简单，雇主是以软件的完成时间支付外包费用的
— 软件开发所花费的时间越长，雇主所支付的报酬就越多。正因为做到精确评估项目所需开发周期不可能，这就使得开发时间的估算成为了承包商与雇主争夺的“制高点”。
在“制高点”的争夺战中，会形成一种有趣的动态变化过程。如果承包商评估的时间存在富裕（这是她生存使然的行为），一旦被雇主感知（后面我们会谈雇主是如何感知的），雇主就会在项目的下一阶段通过某种方式的施压而压缩评估时间。承包商一旦接受，很有可能在开发的过程中发现时间不够，就会采用牺牲长远质量的做法，达到在承诺的时间内“完成”项目，承包商所采取的短视行为让项目欠下了技术债。由于技术债的存在，承包商在下一个阶段中会向雇主施压获取更多的估算时间，雇主由于产品面市方面的压力，即使觉得不合理也会答应承包商的要求（更换承包商会拉长项目周期）。这种“拉锯战”的最终结果往往不会是产品质量稳步上升（功能数量确实会稳步上升），反而是承包商在过程中不断地累积更多的技术债。最终雇主会发现，她花钱为自己制造了壁垒
— 项目只有该承包商可做，否则就得承担更大的损失。
前面还留下了一问题，即雇主是如何感知评估时间是否过于富裕的呢？有两种途径。最“菜”的方式是通过项目阶段性“生产”出的代码行。之所以说这种方法“菜”，是因为这会诱导承包商采用copy-paste的方法“生产”出大量的冗余代码。另一种方式是评估软件的设计质量（注意，不是评估缺陷数量）。很不幸，真正懂软件设计的人其实很少，这一点我在《软件开发：个人与团队是永远的核心》中通过“能力金字塔”已指出。就我在Motorola的经历来看，与承包商打交道的架构师正是因为不懂软件设计而使得不能及时地发现项目中存在的风险（很多架构师虽有其名，但由于长时间脱离代码，最终蜕变成对软件设计质量毫无鉴别能力）。我曾经就某外包项目的软件设计质量对与承包商接口的架构师进言，他当时很气愤地质疑我“show
me evidence”。戏据性的是，该架构师最后因为项目质量问题而调离了岗位，最后项目从承包商手中收回，并由Motorola的美国与中国团队进行了大规模的重新设计。
软件项目外包的困境并非完全来自承包商与雇主之间，还来自承包商的内部。承包商通常不只为一个雇主服务，也很有可能承接多个项目。由于各项目存在不同的优先级，从而使得各项目间存在公司资源竞争。一旦某项目因为无法从公司内部获取好的人才，这势必影响项目的进展和质量。
另外，由于承包商并不拥有产品，对于他们来说只能是做一单是一单，谈不上对所做的产品进行长期规划，这在很大程度上会影响软件人才的培养进程。在这类企业工作的工程师通常不会有很强的归属感，也不容易激发他们的学习兴趣，职场晋升的机会也相对少。如果你怀疑这一点，去了解一下大连的外包产业就知道了，据说大连的一些外包商已经在做相应的转型了。
至此我们不难得出结论，要真正使外包项目成功，不光要承包商具备很强的专业性（不是指通过CMM5认证什么的，如果你还相信CMM能带来成功，多少有点幼稚。我所指的专业性在《软件开发：个人与团队是永远的核心》中有些阐述），还要求雇主对项目质量具备很强的控制能力（主要是架构师的能力。什么？靠项目经理？找死！），否则失败是早晚的事。由于人才的稀缺性，要满足这两个条件中的一个已不是易事，更别说两个。
本文出自李云的博客，请务必保留此出处：http://blog.csdn.net/hzliyun/article/details/7844896。
软件项目管理流程小结
软件项目管理流程总结
项目管理与软件开发的质量、效率、最终成果息息相关，本文主要讲述软件项目的风险评估、成本预算、客户沟通、需要分析、开发管理、成品交付等多个流程。
在现今国内的项目的管理形式十分零乱，对管理欠缺重视，以致很多项目因为失去管理而最终折腰。
很多的实战形人才只重视于开发环节，而对其他的流程欠缺认识（包括本人），因而导致项目欠缺有条理的、阶段化的管理。
本人是一个典型的只重视开发的管理者，在多次的教训中深刻地体会到管理的重要性，因而以此文章对项目管理作出一个总结，当中存在很多的不足之处，敬请各位点评！
文件下载：项目管理流程.docx
客户沟通的过程
面向对象程序设计（略）
软件项目风险是指在整个项目周期中所涉及的成本预算、开发进度、技术难度、经济可行性、安全管理等各方面的问题，以及由这些问题而对项目所产生的影响。项目的风险与其可行性成反比，其可行性越高，风险越低。软件项目的可行性分为经济可行性、业务可行性、技术可行性、法律可行性等四个方面。而软件项目风险则分为产品规模风险、需要风险、相关性风险、管理风险、安全风险等六个方面：
产品规模风险
项目的风险是与产品的规模成正比的，一般产品规模越大，问题就越突出。尤其是估算产品规模的方法，复用软件的多少，需求变更的多少等因素与产品风险息息相关：
估算产品规模的方法
产品规模估算的信任度
产品规模与以前产品规模平均值的偏差
产品的用户数
复用软件的多少
产品需求变更的多少
很多项目在确定需求时都面临着一些不确定性。当在项目早期容忍了这些不确定性，并且在项目进展过程当中得不到解决，这些问题就会对项目的成功造成很大威胁。如果不控制与需求相关的风险因素，那么就很有可能产生错误的产品或者拙劣地建造预期的产品。每一种情况对产品来讲都可能致命的，这些的风险因素有:
对产品缺少清晰的认识
对产品需求缺少认同
在做需求分析过程中客户参与不够
没有优先需求
由于不确定的需要导致新的市场
不断变化需求
缺少有效的需求变化管理过程
对需求的变化缺少相关分析等
相关性风险
许多风险都是因为项目的外部环境或因素的相关性产生的。控制外部的相关性风险， 能缓解策略应该包括可能性计划，以便从第二资源或协同工作资源中取得必要的组成部分，并觉察潜在的问题,与外部环境相关的因素有：
客户供应条目或信息
交互成员或交互团体依赖性
内部或外部转包商的关系
经验丰富人员的可得性
项目的复用性
软件技术的飞速发展和经验丰富员工的缺乏，意味着项目团队可能会因为技巧的原因影响项目的成功。 在早期，识别风险从而采取合适的预防措施是解决风险领域问题的关键，比如：培训、聘请顾问以及为项目团队招聘合适的人才等。关于技术主要有下面这些风险因素：
对方法、工具和技术理解的不够
应用领域的经验不足
对新的技术和开发方法应用不熟悉
尽管管理问题制约了很多项目的成功，但是不要因为风险管理计划中没有包括所有管理活动而感到惊奇。在大部分项目里，项目经理经常是写项目风险管理计划的人，他们有先天性的不足——不能检查到自己的错误。因而，使项目的成功变得更加困难。如果不正视这些棘手的问题，它们就很有可能在项目进行的某个阶段影响项目本身。当我们定义了项目追踪过程并且明晰项目角色和责任，就能处理这些风险因素：
计划和任务定义不够充分
对实际项目状态不了解
项目所有者和决策者分不清
不切实际的承诺
不能与员工之间的进行充分地沟通
软件产品本身是属于创造性的产品，产品本身的核心技术保密非常重要。但一直以来，我们在软件这方 面的安全意识比较淡薄，对软件产品的开发主要注重技术本身，而忽略了专利的保护。软件行业的技术人员流动是很普遍的现象，随着技术人员的流失、变更，很能会导致产品和新技术的泄密，致使我们的软件产品被它公司窃取，导致项目失败。而且在软件方面关于知识产权的认定目前还没有明确的一个行业规范，这也是我们 软件项目潜在的风险。
回避风险的方式
以开发方诱导能保证需求的完整，使需求与客户的真实期望高度一致。再以书面方便形成《用户需求》这一重要的文档，避免疏漏造成的损失在软件系统的后续阶段被逐步地放大。
设立监督制度，项目开发中任何较大的决定都必须有客户参与进行的，在该项目中项目监督由项目开发中的质量监督组来实施。
需求变更需要经过统一的负责人提出,并且要用户需求的审核领导认可,需求变更应该是定期而不是随时的提出,而且开发方应该做好详细的记录,让客户了解需求变更的实际情况。
控制系统的复杂程度，过于简单的系统结构，对用户来使用比例会有明显的折扣，甚至造成软件寿命过短。反之，软件结构的过于灵活和通用，必然引起软件实现的难度增加，系统的复杂度会上升，这又会在实现和测试阶段带来风险。适当控制系统的复杂程度有利于降低开发的风险。
从软件工程的角度看，软件维护费用约占总费用的55%~70%，系统越大，该费用越高。对系统可维护性的轻视是大型软件系统的最大风险。在软件漫长的运营期内，业务规则肯定会不断发展，科学的解决此问题的做法是不断对软件系统进行版本升级，在确保可维护性的前提下逐步扩展系统。
设定应急计划，每个开发计划都至少应该设定一个应急预案去应对出现突发情况和不可遇知的风险。
成本预算方式
自上而下的预算方法
自上而下的预方法主要是依据上层、中层项目管理人员的管理经验进行判断，对构成项目整体成本的子项目成本进行估计，并把这些判断估计的结果传递给低一层的管理人员，在此基础上由这一层的管理人员对组成项目的子任务和子项目的成本进行估计，然后继续向下一层传递他们的成本估计，直到传递到最低一层。
使用此预算方式，在上层的管理人员根据他们的经验进行的费用估计分解到下层时，可能会出现下层人员认为上层的估计不足以完成相应任务的情况。这时，下层人员不一定会表达出自己的真实观点，不一定会和上层管理人员进行理智地讨论，从而得出更为合理的预算分配方案。在实际中，他们往往只能沉默地等待上层管理者自行发现问题并予以纠正，这样往往会给项目带来诸多问题。
自上而下更适用于项目启动的前期，与真实费用相差在30% ~ 70%之间。
Scrum使用自上而下的成本预算方式，它不会立即精确地确定成本，而是以最大限度容纳客户对未来产品要求所产生的变更。
自下而上的预算方法
自下而上方法要求运用WBS（Work Breakdown Structure，工作分解结构）对项目的所有工作任务的时间和预算进行仔细考察。最初，预算是针对资源（团队成员的工作时间、硬件的配置）进行的，项目经理在此之上再加上适当的间接费用（如培训费用、管理费用、不可预见费等）以及项目要达到的利润目标就形成了项目的总预算。自下而上的预算方法要求全面考虑所有涉及到的工作任务，更适用于项目的初期与中期，它能准备地评估项目的成本，与真实费用相差在5% ~ 10%之间。
WBS是面向提交成果对项目的分解，从提交成果的列表可以确定每个提交成果需要执行的活动。Scrum会对WBS进一步细化，把每个迭代分解为更细小的开发任务。
确定项目支出
总体成本预算就是结合下列多个成本预算方式综合计算的开发成本：
零基数预算
在成本预算的初期应该使用零基数的计算原则，而不可以使用类似于：以上一年总体费用加上20% 这样粗略的方式计算项目成本。
软硬件成本、物品成本
物品成本是指类似于：服务器（RAM 硬盘 CPU NIC卡 RAID簇）成本、维护成本、机房租金、光纤通讯成本、软件成本等的成本。
计算成本时需要考虑组装硬盘需时的长短，技术人员需要具备的质素，产品供应商能否提供保证质量，管理时是否需要额外的管理人员这些多方因素。
软件许可证成本
当使用类似：视频、短信、移动电信类服务、门户网站等子项目时可以考虑以外包形式完成，以降低开发成本。
人力资源成本
计算人力资源成本时应该使用以最高和最低的工作效率估算平均效率的方式，计算出人力资源的平均成本。
维修保养成本
客户沟通的过程
从客户沟通的方向出发来看，软件项目可分为：需求识别、方案定制、项目实施、项目结束等4个不同的阶段，各个阶段都具有不同的沟通重点。
需求识别阶段
在需求识别的前期，应该通过问卷、原型展示、界面展示、逻辑处理展示、准化文档模板等方式进行全方位多角度的分析，随时将不明确之处反馈给客户,以期待客户解答。并以文本记录的方式建立需要分析书，并要求客户审核需求分析书，以达到需要分析与客户的真实期望高度一致的结果。
业务逻辑沟通
在进行业务沟通时，应该了解客户的行业语言，以促进业务分析的过程，越过应用需求和开发之间的鸿沟。沟通过程提倡以草图或者可视信息化的方式进行, 针对不同层面的企业用户提供最适合的操作界面。以多角度的方式思考问题，要抓住需求重点,尤其是客户方领导所关注的创新类和实用类需求。
需求变更的规范化管理
需求变更在软件开发类项目中是可以理解的,但必须对需求变更做好规范化的管理，以避免出现需求无止境变更的风险。需求变更必须由统一的负责人提出,并且由用户需求的审核领导者认可。需求变更的提出应该是定期而不是随时的，开发方应该做好详细的文本记录,让客户了解需求变更的实际情况和开发方为之所付出的成本代价。
方案定制阶段
该阶段项目的主要任务是与客户共同制定一个以前期明确的需求、双方的资源、项目开始的阶段、实施的时间约定、项目费用限制等为基础的具有可操作性的项目计划,从本阶段开始争取客户全面参与项目的管理，并以双方的共同利益考虑项目实施的具体计划与风险规避。
项目实施阶段
在该阶段,软件项目团队应该与客户共同领导项目的实施。同时,项目团队应实时评估客户满意度,并通过持续改进的方式提高客户满意度,还应要求客户参加必要的培训,以及在必要时检查项目产品。在出现客户的需求变更前,应主动与客户沟通交流,使客户充分了解项目的每个环节,以及变更带来的影响,减少需求变更。如果出现客户需求变更,应与客户一起共同解决由变更引起的成本、进度、质量变化。
该阶段主要进行项目成果的移交，并把系统交付给维护人员，帮助客户实现商务目标，结清各种款项。完成这些工作后应该进行项目评估，审核此项目的成果并总结项目经验。
售前人员注意事项
在产品型项目作为开发成果时，相关销售人员应该注意：对产品的推销不应该过分承诺。如果过分承诺,会给后续的项目实施带来困难;一旦承诺没有兑现,也会降低客户满意度,影响今后合作。如果有附加承诺,一定要以文本形式记录，让实施项目经理知晓并传达给项目组成员。
注解：在软件项目中,需要明确以下四种客户角色
要明确最终使用部门和用户,要去了解他们现有的工作方式,要让他们知道项目的目标框架,知道项目要解决他们的哪些困难,但绝对不是全部困难,这样可以较好的控制项目范围。
要明确需求的提出者,他或者他们要能够代表最终客户群体。提出产品需求的这类客户要具有一定的技术、业务能力和权威,能够真正代表最终客户团队的意愿和想法,最好有IT基础,能够用IT语言描述问题和需求,以利于双方的沟通、协作,避免产生歧义。
要明确做需求确认的中层领导,他要把握方向。软件开发项目是解决实际生产或者管理问题,同时 也是领导系统建设的具体实现,做需求确认的客户领导,既要了解高层领导的系统建设要点和方向,又要谙熟具体业务和生产管理实际。如果是这样的客户领导来把 握和决策,对企业软件开发项目的顺利进展作用非凡。
要明确谁来对成品提意见,谁来验收。项目验收环节,是项目的收尾环节,如果验收的人对项目初期的需求目标不了解,会从态度和产品实际使用效果上对验收产生负面的影响,对提供产品的企业关闭项目非常不利。根据实践总结,由需求提出人和确认人来做项 目的验收工作,能够促进项目的顺利完成,避免延期。
需求分析的过程
需求过程包括需求开发和需求管理2个部分：
(1) 需求开发就是对开发前期的管理，与客房的沟通过程，可以分为4个阶段：需求获取、需求分析、编写需求和需求验证。
(2) 需求管理：就是软件项目开发过程中控制和维持需求约定的活动。包括：变更控制、版本控制、需求跟踪、需求状态跟踪。
需求的层次
需求的层次包括：业务需求、用户需求、功能需求、非功能需求等4个方面。
需求开发阶段的重点
(1) 提取业务对象
业务对象是指系统使用的真实对象，例如一个供应链管理 (Supply Chain Management ,简称SCM) 业务对象主要包括：生产批发商、零售商、送货商、顾客多个层次。
(2) 提取业务流程
在了解业务逻辑的过程中，应该列举出所开发软件模块的各自职能，并细化每个工作流程，深入分析业务逻辑。
(3) 性能需求
在分析的前期应该注意客户对所开发软件的技术性能指标，如存储容量限制、运行时间限制、安全保密性等。
(4) 环境需求
环境需求是指软件平台运行时所处环境的要求，如硬件方面：机型、外部设备、数据通信接口;软件方面：系统软件，包括操作系统、网络软件、数据库管理系统方面;使用方面：使用部门在制度上，操作人员上的技术水平上应具备怎样的条件。
(5) 可靠性需求
对所开发软件在投入运行后发生故障的概率，应该按实际的运行环境提出要求。对于重要的软件，或是运行失效会造成严重后果的软件，应提出较高的可靠性要求。
(6) 安全保密要求
在需求分析时应当在这方面恰当地做出规定，对所开发的软件给予特殊的设计，使其在运行中，其安全保密方面的性能得到必要的保证。
(7) 用户界面需求
为用户界面细致地规定到达的要求。
(8) 资源使用需求
开发的软件在运行时和开发时所需要的各种资源。
(9) 软件成本消耗与开发进度需求
在软件项目立项后，根据合同规定，对软件开发的进度和各步骤的费用提出要求，作为开发管理的依据。
(10) 开发目标需求
预先估计以后系统可能达到的目标，这样可以比较容易对系统进行必要的补充和修改。
需求分析的任务
需求分析的主要任务是借助于当前系统的逻辑模型导出目标系统的逻辑模型，其流程如下：
(1) 确定对系统的综合需求（功能、性能、运行、扩充需求）
(2) 制作产品需求文档 (PRD)
(3) 分析系统的数据需求（概念模型、数据字典、规范化）
(4) 导出目标系统的详细的逻辑模型（数据流图、数据字典、主要功能描述）
(5) 开发原形系统
(6) 从PRD提取编制软件需求规格说明书（SRS）
备注：SRS格式
2系统概述（项目背景、系统目标、核心业务流程） 3.术语说明 4.系统结构（架构图、功能图）
5.主体功能与业务逻辑（重点） 6.接口需求（内部、外部接口、） 7.网络总体设计（拓扑网络、主机、组网）
8.运行环境（Linux、Windows、IIS、WebLogic、Tomcat、OLAP、OLTP、JDK 8.0 、.NET Framework4.0等）
面向对象程序设计（略）
SRP单一职责链
每个类都应该只负责做一件事。
OCP开封闭合原则
软件的实体（类、模块、函数等）应该是可以扩展的，但是不可修改的。
LSP替换原则
子类必须能替换他们的基类型。
DIP依赖倒置原则
高层模块不应该依赖于低层模块，二者都应该依赖于接口与抽象类。抽象不应该依赖于细节，细节应依赖于对象。
ISP接口隔离原则
不应该强迫客户依赖于并未使用的接口，而应该把胖接口分离。
实现UML建模
业务对象的提取
根据SRS、CRC等实现用况建模
实现业务顺序图
建立类图，根据用况图建立对象之间的关联
绘制活动图、实现协作图、状态图
建立项目计划
(1) 设计总体架构
针对系统的实施需要，采取适当的且成熟的框架结构。
(2) 控制可扩展度
扩展度过大，将提高系统的复杂程度，延长开发时间；扩展度过低，会直接影响系统的二次开发与维护。控制系统的可扩展性，能提高开发效率，降低系统维护的难度。
(3) 建立基础设施
合理分配软、硬件等基础设施的部署所需要的时间与成本（例如：服务器的订购安装、光纤接入、软件平台订购）。
(4) 划分开发任务
利用WBS（Work BreakdownStructure，工作分解结构）对可交付结果进行分类与划分。每个项目都能划分为多个不同阶段，每个阶段又可以分为多个工作包（WorkPackage），工作包是WBS里最小的可交付结果，最后从工作包中分解出多个开发任务列表。
(5) 部署开发进度
一个项目应该按进度划分为多个开发阶段，每个阶段的开发周期一般在30~60个工作日以内。在此阶段内应该与客户举行协商会议，制定产品路线图，在开发过程中邀请客户积极参与并提出反馈意见。然后把该时段内的开发任务按照开发难度，依赖性，重要性等多方条件划分为多个迭代周期。
在Scrum 敏捷软件开发原则中，应该把每个迭代任务进一步细分为多个开发任务列表，开发任务的开发时间应该控制在15个工作小时以内，如果开发时间超出15个工作小时，应该考虑把开发任务再度细化。开发任务建议应该由组员自主选择，而不要使用强制分配的方式。
(5) 测试项目成果
每个工作包都应该同步部署测试工作，提高项目的质量。对出错BUG的工作包应该由测试人员以文本方式记录，向开发人员展示错误所在，让开发人员及时进行修改。
管理开发团队
按照工作任务与项目时间的前提条件建立团队，按团队职责分配人员，一般团队人数应该控制在8~12人之间。当团队人数超过15人时，应该考虑把团队分解成2个独立团队，负责不同的开发任务。
分配开发任务
在每个迭代周期内（一般是15~30个工作日），应该把每个工作包进一步细分为多个开发任务，开发任务的开发时间应该控制在15个工作小时以内，如果开发任务的开发时间超出15个工作小时，应该考虑把任务再度细化。而开发任务应该以自由选择的方式分配给每个组员。
监督开发进度
在迭代的前期举行一次会议，让组员了解开发的进展及流程，并以自主选择的方式分配开发任务。期间可使用Microsoft Project等工具记录开发流程的进展，在每个工作包完成开发后应该进行性功能的测试，并以文本方式记录测试结果。
每天举行一次15分钟的站立会议，让组员交待昨天已完成的开发任务，当天将要做的任务，与开发过程中所遇到的问题。并在每周末举行一次例行会议，交待总体进程。
在迭代末期举行一次冲刺会议，总结项目的进展，交行已完成的任务，回顾该迭代周期内所遇到的问题，为下一个迭代做好准备。
对每个已完成的工作包进行适时的测试，保证系统质量与性能。对测试结果进行文本的记录，并把测试结果与绩效工资收入挂钩，并以真实数据计算组员的绩效收入。
解决开发中所遇到的问题
对开发人员进行前期培训，可适当按工作能力分配任务，指导组员的开发。当遇到问题时应该在当天的站立会议时即时提出，并在15个工作小时内解决所遇到的问题以防止问题进一步扩大。
监管产品质量
质量需要的是计划、设计而并非审查的。在产品建立的初级，必须与“质量保证”（QA）的部门进行协商，以正式文档的方式，决定恰当的质量策略和标准。
在开发过程中使用TDD（测试驱动开发）的模式，提高开发质量。测试人员应该以文本方式记录bug，并与开发人员共同工作的，把突出的缺陷演示给开发人员，以提高修改的效率。
在每个迭代的结束时进行一次产品效果的演示，从客户、使用者、高层领导中收集反馈信息。在团队内部举行评审会议，分析测试结果，了解产品性能，为下次迭代所需要做的改进做好计划。
修改项目计划
在产品需要识别阶段，应该以文档形式记录产品功能与开发流程，在开发计划需要修改时，应该与客户共同探讨，让客户了解计划修改对项目进度所造成的影响。
项目计划的修改应该由统一的负责人提出,并且由用户需求的审核领导者认可。需求变更的提出应该是定期而不是随时的。
计划的变更应该做好详细的文本记录，让客户了解需求变更的实际情况和开发方为之所付出的成本代价。
项目的后期审核
在项目开发最终完成后，对开发人员来说可算是放下工作的重担，但对项目经理来说这往往是项目的关键时刻。前期的风险评估、成本预算、需求分析、软件设计都是为了引导项目走向这一时刻，此时所有的目光都将投向项目管理人员。你可能发现大量而琐碎的工作将要在几个小时内完成，此刻项目经理更需要保持清醒与镇定，把最后的工作视为微型项目来对待。细致地对项目进行后期的审核，分析项目成果、项目团队的效率、可交付产品的价值，以此审核结果可作为项目管理经验总结的一部分。
在项目交付前，应该把项目交给相关的“质量保证”（QA）部门进行质量评审，并邀请典型用户感受产品的质量。
项目的最终交付
正常情况下在项目的前期就会订立项目交付的协议，项目交付方式分为非正式验收与正式验收两种。一般在项目完成后都会先进行非正式验收，让客户体会项目的质量并提出反馈意见，最后在客户肯定产品质量后再以书面协议的形式进行正式的产品验收。
项目的最终报告
在项目的最后，应该制定项目的最终报告，此报告可以视为是对该项目一个记录，但报告不必包含项目的所有方面。一般最终报告应该包含以下方面：
最初引进项目时的初期项目视图
对该项目的价值评估及支持性信息
项目的范围
项目的开发流程及WBS
项目的会议记录
项目变更的报告及变更的理由
与项目相关的沟通过程文件
项目的审核报告与客户验收报告
项目成员的表现报告
(10) 项目的最终成果
作者：风尘浪子
http://blog.csdn.net/leslies2/article/details/7703415
原创作品，转载时请注明作者及出处
运用hadoop进行大规模数据的全局排序
使用hadoop进行大规模数据的全局排序
Hellow hadoop~~!
Hadoop（某人儿子的一只虚拟大象的名字）是一个复杂到极致，又简单到极致的东西。
说它复杂，是因为一个hadoop集群往往有几十台甚至成百上千台low cost的计算机组成，你运行的每一个任务都要在这些计算机上做任务的分发，执行中间数据排序以及最后的汇总，期间还包含节点发现，任务的重试，故障节点替换等等等等的维护以及异常情况处理。谁叫hadoop集群往往都是由一些平民计算机组成，没事儿罢个工什么的，实在是再寻常不过的事情。
而说其简单，则是因为，上面说到的那些，你通通不用管，你所需要做的，就是写一个程序，当然也可以是脚本，从标准输入读入一条数据，处理完之后，把结果输出到标准输出。
现在，或许你就明白了，hadoop就是一个计算模型。一个分布式的计算模型。
1.1Map和reduce
天下大事，分久必合、合久必分。
所谓分布式计算，就是把一大堆用于计算的数据材料切了，扔到多个锅里面，该焯水的焯水，该油炸的油炸。然后都准备的差不多了，按着一定的先后顺序，比如不好熟的先放，好熟的后放什么的，一块下锅炒成一盘菜出来，端出来上桌。
前面的步骤，就是map，分发。Map的作用就是把输入数据打散，做简单的处理，输出。而hadoop则要先将中间数据排序，这个称为shuffle，然后由reduce把中间数据合并到一起。将最终结果输出。
举个简单的例子：公安局要根据数据库内身份证号获得全国每个地市人口数情况（好吧，这个应该是统计局做的），这个任务落到你的头上了，你应该先把所有的身份证号导出到文件中，每行一个，然后把这些文件交给map。Map中的要做的就是截取身份证号的前面六位，把这六位数字直接输出。然后hadoop会把这些身份证号的前六位排序，把相同的数据都排到一起，交给reduce，reduce判断每次输入的号码是否与上一个处理的相同，相同则累加，不同则把之前的号码，和统计的数值输出。这样，你就获得了各地市的人口数统计。
下面这个图就是map和reduce处理的图示。
上图是MapReduce的数据处理视图。分为map，shuffle，reduce三个部分。各map任务读入切分后的大规模数据进行处理并将数据作为一系列key:value对输出，输出的中间数据按照定义的方式通过shuffle程序分发到相应的reduce任务。Shuffle程序还会按照定义的方式对发送到一个reduce任务的数据进行排序。Reduce进行最后的数据处理。
MapReduce计算框架适用于超大规模的数据（100TB量级）且各数据之间相关性较低的情况。
之前，或许你听说过NTFS，VFS，NFS等等等等，没错，HDFS就是hadoop file system。
为什么需要一种专门的文件系统呢？
这是因为hadoop使用过网络松散（说其松散，是因为hadoop集群中的任意一个计算机故障了或是不相干了，都不会对集群造成影响）的组合到一起的。多个计算机需要一个统一的文件访问方式。也就是根据一个路径，不同的计算机可以定位同一个文件。
HDFS就是这样一种分布式文件系统，提供了较好的容错功能和扩展性。
1.3节点与槽位
Hadoop集群是由很多low cost的计算机组成的，这些计算机被称为节点。组成hadoop的计算机通常都是全功能的，没有特别的专门用于计算和存储的部分。
这样带来的好处是明显的，因为特别大的硬盘和特别快的cpu，总是意味着难以接受的价格。而且这样一个配置“特别的”节点计算机挂掉了，找个他的替身将是很困难的事情。
计算节点和存储节点统一的另一个好处是，任务在计算过程中产生的文件，可以直接放在本机的存储节点上，减少网络带宽占用和延迟。
在衡量hadoop的map和reduce的处理能力的时候通常都是以槽位为单位的。槽位就是集群内每个计算机的cpu并发数（cpu数*核心数*超线程数）的总和。每个任务都会安排在一个槽位内允许，安排不到槽位的任务则会等待。
Hadoop应用实例：大规模数据的排序
Hadoop平台没有提供全局数据排序，而在大规模数据处理中进行数据的全局排序是非常普遍的需求。大量的将大规模数据任务切分成小数据规模的数据处理任务都必须先将大规模数据进行全局排序。例如处理两组大的数据集的属性合并，可以对两组数据进行全局排序然后分解成一系列小的二路归并问题实现。
2.1应用hadoop进行大规模数据全局排序的方法
使用hadoop进行大量的数据排序排序最直观的方法是把文件所有内容给map之后，map不做任何处理，直接输出给一个reduce，利用hadoop的自己的shuffle机制，对所有数据进行排序，而后由reduce直接输出。
然而这样的方法跟单机毫无差别，完全无法用到多机分布式计算的便利。因此这种方法是不行的。
利用hadoop分而治之的计算模型，可以参照快速排序的思想。在这里我们先简单回忆一下快速排序。快速排序基本步骤就是需要现在所有数据中选取一个作为支点。然后将大于这个支点的放在一边，小于这个支点的放在另一边。
设想如果我们有N个支点（这里可以称为标尺），就可以把所有的数据分成N+1个part，将这N+1个part丢给reduce，由hadoop自动排序，最后输出N+1个内部有序的文件，再把这N+1个文件首尾相连合并成一个文件，收工。
由此我们可以归纳出这样一个用hadoop对大量数据排序的步骤：
对待排序数据进行抽样；
对抽样数据进行排序，产生标尺；
Map对输入的每条数据计算其处于哪两个标尺之间；将数据发给对应区间ID的reduce
Reduce将获得数据直接输出。
这里使用对一组url进行排序来作为例子：
这里还有一点小问题要处理：如何将数据发给一个指定ID的reduce？hadoop提供了多种分区算法。这些算法根据map输出的数据的key来确定此数据应该发给哪个reduce（reduce的排序也依赖key）。因此，如果需要将数据发给某个reduce，只要在输出数据的同时，提供一个key（在上面这个例子中就是reduce的ID+url），数据就该去哪儿去哪儿了。
2.2注意事项
标尺的抽取应该尽可能的均匀，这与快速排序很多变种算法均是强调支点的选取是一致的。
HDFS是一种读写性能很不对称的文件系统。应该尽可能的利用其读性能很强的特点。减少对写文件和shuffle操作的依赖。举例来说，当需要根据数据的统计情况来决定对数据的处理的时候。将统计和数据处理分成两轮map-reduce比将统计信息合并和数据处理都放到一个reduce中要快速的多。
Hadoop实际是一种以数据为驱动的计算模型，结合MapReduce和HDFS，将任务运行在数据存放的计算节点上，充分利用了计算节点的存储和计算资源，同时也大大节省了网络传输数据的开销。
Hadoop提供了简便利用集群进行并行计算的平台。各种可以隔离数据集之间相关性的运算模型都能够在Hadoop上被良好应用。之后会有更多的利用Hadoop实现的大规模数据基础计算方法的介绍。
如果您想提高自己的技术水平，欢迎加入本站官方1号QQ群：&&，&&2号QQ群：，在群里结识技术精英和交流技术^_^
本站联系邮箱：