看SoftLayer如何用GPU完成高性能计算与云计算云计算

来源：蜘蛛抓取(WebSpider) 时间：2018-07-12 05:52 标签： 高性能计算与云计算

简介：全球云服务商巨头们正在通过适用于不同应用场景的云服务器，希望在人工智能的时代全面到来之前占领行业的制高点。

云计算服务中最基础的模块，就是云服务器。

9月25日，腾讯云正式发布第三代云服务器（CVM）矩阵，并且首次公布了最新的计算、存储、网络和异构计算实例，全面覆盖电商、视频、游戏、金融、基因测序、智能语音、汽车、医疗、物联网等近200种业务场景，开启全行业的计算提速。

所谓异构计算，就是用户可以根据不同场景的实际需求，基于不同实例构建业务。腾讯云方面称，在异构计算上，腾讯云将会推出一款新型GPU计算型GN9实例，这款实例搭载新一代Intel Skylake CPU和最新一代英伟达V100 GPU。

就在腾讯云发布第三代云服务器的前一天，谷歌宣布谷歌云端平台（Google Cloud Platform）将使用英伟达最新的云GPU——Nvidia P100 GPU测试版，这将会让谷歌云平台的性能得到进一步提升，加快工作负载处理速度，包括机器学习训练和推理、地球物理数据处理、模拟、地震分析、分子建模、基因组学及更多高性能计算用例。

谷歌最早是在今年年初通过其云端平台的公共云发布GPU支持的虚拟机（VM）实例。当时亚马逊云AWS，IBM SoftLayer和微软Azure都已经推出了支持GPU的虚拟机实例。谷歌希望凭借其按分钟而非小时计费的机制，和它提供的GPU多元化脱颖而出。

研究机构Gartner研究副总裁、芯片行业分析师盛陵海对第一财经记者表示：“云GPU仍然使用了GPU的架构，但不是用来显示图形的，而是用来为人工智能计算加速的。主要云服务商都会使用云GPU，来推动智能云的发展。”

英伟达是目前唯一一家云GPU的供应商。英伟达针对服务器的GPU芯片NVIDIA Tesla P100是目前最前沿的GPU技术，与传统解决方案相比，在灵活性、性能和成本节约等方面做到了优化。

比如，音乐识别软件Shazam采用GPU来为音乐识别服务提供支持。“我们由此将用户录制的音频片段与我们收录的四千多万首歌曲的目录相匹配，每当用户通过Shazams发现歌曲时，我们的算法就会使用GPU 搜索该数据库，直到找到匹配项。每天成功匹配的次数超过两千万次。”Shazam网站可靠性工程负责人表示。

英伟达方面对第一财经记者表示：“未来云GPU还将在基因组学、计算金融以及机器学习模型训练和推理等应用中发挥更大的作用。”

而腾讯云此次宣布推出的新型GPU计算型GN9实例，在GPU计算性能上相比较第一代GN2实例将会有一个极大的提升，单精度浮点运算性能将提升8倍，双精度浮点运算性能将提升140倍，能够进一步加速人工智能应用在各行业的落地。

腾讯方面对第一财经记者表示：“随着基因测序、智能语音、无人驾驶、物联网等一系列新兴应用场景的不断涌现，企业对于计算力的需求正在发生转变。以构建更强计算力，为产业智能未来赋能为出发点，腾讯云积极采取技术革新与生态建设并举的开放战略，联合更多合作伙伴提供更好的企业级计算服务，让更多业务场景能够在云中落地。”

人工智能浪潮催生的计算迭代需求正在远超摩尔定律，云服务商的竞争也日益激烈。英伟达发言人对第一财经记者表示：“各大云服务商巨头都只会选择为客户提供最好的方案，并且不惜成本。”

本月，阿里云也宣布首次推出全新一代异构加速平台，为人工智能产业提供多场景化的全球加速能力，涵盖GPU、FPGA在内等6款异构实例，可满足从图形渲染到高性能计算及人工智能等复杂应用的计算需求。特别是在人工智能领域，可将深度学习成本缩减一半，大幅降低人工智能计算门槛。同时，也为图形计算、生命科学、材料力学、分子动力学等科研计算领域提供普惠计算能力。

早些时候，百度也推出了GPU服务器来满足人工智能时代开发者对异构计算的需求。百度总裁张亚勤表示：“过去几年，计算的架构有很大的发展，这里面有CPU、GPU、FPGA和专用芯片，让整个AI的运算速度大幅度提升，云是AI发展的重要引擎。”他认为，人工智能算法、万物互联、超强计算推动云计算发生质变，改变了商业模式，影响到每一个行业。

不过Gartner研究总监季新苏对第一财经记者表示，目前云GPU的成本仍然很高，而且存在安全性的担忧，因此还无法在短时期内普及。

此内容为第一财经原创。未经第一财经授权，不得以任何方式加以使用，包括转载、摘编、复制或建立镜像。第一财经将追究侵权者的法律责任。 如需获得授权请联系第一财经版权部：021-或021-；。

摘要：本篇教程介绍了[云计算资讯]eBay宣布拥抱容器，将全面整合Kubernetes和OpenStack，希望阅读本篇文章以后大家有所收获，帮助大家对大数据云计算大数据安全的理解更加深入。

本篇教程介绍了[云计算资讯]eBay宣布拥抱容器，将全面整合Kubernetes和OpenStack，希望阅读本篇文章以后大家有所收获，帮助大家对大数据云计算大数据安全的理解更加深入。


      　　在线拍卖及购物网站eBay比亚马逊(Amazon)成立晚一年，但却比Google、Facebook等众多的巨无霸要早。和其他的伙伴们一样，eBay也为大量的用户提供服务，它在190个国家拥有1.59亿活跃买家而且支撑了超过8亿条商品信息。要支持海量用户并非易事，这需要持续扩展基础架构，所以eBay一直在积极地拥抱新技术。

　　现在，eBay开始在前端使用由Google开源的Kubernetes容器调度系统，而且eBay计划把它与OpenStack结合在一起来管理容器化的应用程序。

　　eBay是世界顶级零售商品牌之一，它的规模不能和诸如Google、Amazon、微软和Facebook这类的超级巨无霸相比。但是，它的基础架构也非常大，而且该公司非常重视基础架构，包括使用集装箱式的数据中心、用燃料电池供电、使用惠普和戴尔的hyperscale(超大规模)级别的主机而且经常使用定制化的超强处理器。(我们听说，eBay喜欢让它的处理器运行时温度高一点儿来获得更高的系统性能，但eBay却没回应过这个传言)。

　　在eBay一个典型的可用性区域拥有5000到20000台服务器，而且服务器会被分配到500个节点的chunk中。有意思的是，根据eBay在过去公布的一些数据，在2013年(在它剥离PayPal之前)它的CPU核数呈现为线性地增长而VM以及部署在其基础架构上的项目的数量则是指数级增长。关于存储，我们猜想eBay拥有超过200PB的容量，它应该运行在相当多的服务器之上。截止今年春天，1.6PB用于Cinder块存储。大约120PB的存储用于支持Hadoop，这也使其成为世界上最大的分析平台之一。

　　Raveendran在eBay所就职的数据及基础架构服务部门每秒钟从应用程序和基础架构监控系统中抽取2百万个指标(metrics)，而且每天生成300TB以上的日志文件因为它每天需要处理十亿次查询并且显示200亿以上的图片。它显然是一个庞大且复杂的操作，而我们简化了一点儿。

　　eBay的平台栈看起来和大多数的现代企业在概念上很类似。

　　OpenStack统一管理服务器和存储，并抽象出计算、存储和网络等资源。当前，eBay的现有系统强制每一个应用程序实例运行在它自己专用的虚拟机中。eBay使用Kubernetes不仅仅是改为用容器来部署应用程序，而是在该公司以基础架构的云计算层为中心来改变应用程序的生命周期 (包括构建、部署、监控并且修复问等开发者和系统管理员需要执行的关键功能)。eBay计划以容器作为运行环境而Kubernetes在OpenStack之上来管理这些容器来实现更佳灵活的部署模型。eBay所采用的Kubernetes使用方式是受到了他们当前在虚拟机里部署应用程序的自主技术的启发。

　　当前的设置如图所示：

　　目前，eBay的大多数程序是用Java开发的。而且和很多基于虚拟机的商业集群一样，eBay的集群也是以静态的方式来调度的。严格地讲，这种方式意味着基础架构云中的服务器节点被分配到每一类负载中，就像这样：

　　在集群中静态地调度节点显然不是一个理想的状态，但是很多公司在部分应用程序存在很大峰值的情况下也同样在其私有云中静态地分配容量。“这些服务对于相应的私有云而言是很大的问题，而且当我们需要容量的时候也不能迅速扩展到公有云上去“，Raveendran解释到。“我们不得不最大化地利用我们的资源”。

　　(除非你能创建和Amazon类似的自己拥有的公有云，当然我们跑题了)。

　　但是为什么诸如Kubernetes和Mesosphere等技术越来越受关注的原因之一是当多个负载共享一台主机时他们对于服务器的开销要小得多，而且可能更重要的是运行扩展负载的容器相比于传统的服务器虚拟化能够以一种快得多的方式启动和终止。曾经老旧的软件容器技术又焕发了新生，而且现在对于那些在过去的十年里使用相当重的技术来进行服务器虚拟化的企业而言很有诱惑力。他们现在开始明白什么时候坚固异常的虚拟机隔离手段并不必要而什么时候容器就可以满足需求了。

　　eBay主动拥抱了容器，但也需要继续在其基础架构云中支持虚拟机，因此它计划使用OpenStack的Magnum插件，请看五月的文章了解该平台的信息，它是用来将Docker Swarm和Kubernetes容器调度器引入OpenStack。

　　如你所见，eBay将用Kubernetes加入Docker容器运行环境的kubelet主机代理进程替代其自主的主机代理进程。应用程序将从一个容器仓库下载并被部署到Kubernetes pod中的一台服务器，而且pod中的所有服务器在需要时可以被共同地管理。这个配置也将在eBay当前的基础架构中淘汰静态的负载均衡器和防火墙，Raveeddran称之为基础架构运维中的一个大瓶颈。当这些都完成了，动态调度看起来就是这样的：

　　Raveendran解释说是Kubernetes能够吸引eBay关注的原因就是因为它是开源软件，有很多人在一起协作而且eBay可以有所贡献也能从中受益。可能更重要的， 在多个运行Docker容器的公有云上Kubernetes可以用于控制器层，这使得eBay在需求发起时有能力扩展到公有云而且工作负载能够从eBay的分布式私有云迁移到一个公有云中。

　　其想法是使用OpenStack的Neutron网络插件来创建一个Kubernetes路由器。Raveendran说在经历了一个漫长的过程后，eBay只是将用于网络三层所有路径的边界网关协议(BGP)下放到服务器主机而非仅仅停留在基础架构中的机柜顶部交换机(TOR)上。这些是eBay的巨无霸伙伴们为了简化网络已经完成的事情，它使得一个单一网络囊括了差不多10万台设备(有时会更多)。

　　eBay担心的另一件事是规模，当然他们正在和Kubernetes社区一起提升Kubernetes的性能。Kubernetes早期发布版本中有一些自行设定的限制，因为Google和他的社区伙伴们试图使得语法和基础适用于混合的负载以及不同于Google内部规范的硬件环境。eBay正在努力构建自己的Kubernetes集群并使用Kubernetes来抽象容器层以便于实现跨数据中心region或者私有云和公有云混合体的扩展。另外，eBay也在尝试一种方式把它的Cinder块存储与Kubernetes容器pods相结合。

本文由职坐标整理并发布，希望对同学们有所帮助。了解更多详情请关注职坐标大数据云计算大数据安全频道！

成立，成为第一家通过网站提供企业应用程序的公司。

  • 1999年，Google成立，所提供的搜索服务可以返回海量搜索结果。
  • 2000年，IEEE颁布了虚拟专用网（Virtual Private Network）VPN标准草案，从而使得私有网络可以跨公网进行建立。
  • 2000年，Citrix桌面虚拟化产品正式发布。
  • 2001年，VMware发布了第一个针对x86服务器的虚拟化产品ESX和GSX，即ESX-i的前身。
  • 2002年，Apache推出了Nutch，即利用Java实现的开源搜索引擎，其包括了全文搜索和Web爬虫工具。
  • 2003年10月，Xen虚拟化项目首次面世推出了推出了DevForce，支持开发人员使用Apex编程语言。
  • 2008年9月，Google推出Google Chrome，以谷歌应用程序为代表的基于浏览器的应用软件发布，将浏览器融入了云计算时代。
  • 2008年10月，微软发布公有云计算平台——Windows Azure Platform。主要目标是为开发者提供一个平台，帮助开发可运行在云服务器、数据中心、Web和PC上的应用程序。
  • 2008年，开源云计算平台OpenNebula推出，后者旗下拥有采用GPLv3授权协议的CloudStack开源项目。
  • 2011年10月，Cisco在数据中心官方博客上宣布会在Nexus交换机上提供对OpenFlow的支持。
  • 2013年，IBM收购SoftLayer，提供业界领先的私有云解决方案。
  • 2013年，Docker发布。其使用了LXC，同时封装了一些新的功能，是一种成功的组合式创新。
  • 2015年4月，Citrix 宣布以企业赞助商的方式加入OpenStack基金会，不久后的7月，谷歌也加入了OpenStack基金会。
  • 2015年10月，Dell宣布将以670亿美元收购EMC，从而成为全球科技市场最大规模的并购交易。
  • 2016年1月，软公司首席执行官萨提亚· 纳德拉在达沃斯论坛上宣布了一项全新的计划——Microsoft Philanthropies。作为计划的其中一部分，微软将在未来三年为7万家非营利组织以及高校科研机构提供价值10亿美元的微软云计算服务，借助云计算提供的数据存储、分析及预测等技术，帮助公益事业构建长期发展能力。
  • 2016年10月，VMware和亚马逊旗下公司Amazon Web Services达成战略联盟，将VMware软件定义数据中心（SDDC）带入AWS Cloud，支持客户在基于VMware vSphere?私有云、公有云以及混合云环境下运行各种应用，并获得对AWS服务的最佳访问。
  • 2017年10月，AWS已经宣布已经创建了新的基于KVM虚拟化引擎，新的C5实例和未来的虚拟机将不使用XEN，而是核心的KVM技术。
  • 2018年1月，Redhat宣布收购Kubernetes与容器原生解决方案创新者与领导厂商CoreOS，交易金额2.5亿美金。Redhat表示：“该收购将进一步增强利用开源的灵活性，让企业用户在任何环境构建并部署任何应用的愿景。该交易将夯实红帽作为混合云与现代应用开发基石的地位。”

3. 云计算发展大事件——国家战略与政策篇

  • 2010年，德国政府发布了《SecurityRecommendations Cloud Computing Providers》，该文档在NIST一系列成果的基础上，构建了云计算安全体系结构，涵盖了数据中心、服务器、网络、应用程序和平台、数据、加密和密钥管理等方面所需的安全能力。
  • 2010年6月，中国胡锦涛总书记在2010年6月两院院士大会上指出“互联网、云计算、物联网、知识服务、智能服务的快速发展为个性化制造和服务创新提供了有力工具和环境”，将云计算应用提上了创新生产方式的高度。
  • 2010年10月，我国国家发展和改革委员会、工业和信息化部联合发布了《关于做好云计算服务创新发展试点示范工作的通知》，在北京、上海、深圳、杭州、无锡等五个城市先行开展云计算创新发展试点示范工作
  • 2011年5月，美国NIST发布了《CloudComputing Synopsis and Recommendations》，解释了云计算技术的工作机制、指出了云中未决问题包括云可靠性、信息安全等，并向信息技术决策人员提供了采用云计算的建议。
  • 2011年7月，美国NIST发布了《NISTCloud Computing Standards Roadmap》，旨确定云计算不同标准化事项的优先级，以使云计算及其应用的通信、数据交换、安全更加容易实现。
  • 2011年11月，美国NIST  发布了《USGovernment Cloud Computing Technology Roadmap Vol I, II, III》。其中，卷I用于描述联邦政府在未来采用云计算时必须满足的安全性、互操作性和可移植性的要求；卷II提供致力于云计算战略和策略的相关信息；卷III作为计划和实现云计算解决方案的指导。
  • 2011年12月，美国OMB发布FedRAMP备忘录，正式建立FedRAMP云计算风险管理与授权项目，旨在提供一个标准化的方法来对云计算产品和服务进行安全评估、授权和联系监视。
  • 2014年，英国政府于2014年宣布正式采用“政府云服务G-Cloud”
  • 2014年，中华人民共和国国家质量监督检验检疫总局、中国国家标准化管理委员会联合发布了联合发布了GB/T《信息安全 云计算服务安全指南》、GB/T《信息安全技术 云计算服务安全能力要求》。
  • 2015年12月，在中国国家标准化管理委员会下达的2015年第三批国家标准修订计划中，正式下达17项云计算国家标准制修订计划。
  • 2015年，中华人民共和国国家质量监督检验检疫总局、中国国家标准化管理委员会联合发布了GB/T《信息技术 云计算参考架构》与GB/T《信息技术 云计算概览与词汇》标准。
  • 2017年4月，中国工业和信息化部信息化和软件服务业司发布了《云计算发展三年行动计划（2017－2019年）》,旨在促进云计算在各行业的快速应用，推动各领域信息化水平大幅提高。
  • 2017年5月~7月，中华人民共和国国家质量监督检验检疫总局、中国国家标准化管理委员会联合发布了GB/T《基于云计算的电子政务公共平台技术规范》、GB/T《基于云计算的电子政务公共平台安全规范》、GB/T《基于云计算的电子政务公共平台总体规范》、GB/T《基于云计算的电子政务公共平台管理规范》
  • 2017年10月，中国信息安全标准化技术委员会对《信息安全技术 网络安全等级保护基本要求》（GB/T22239-XXXX替代GB/T）进行了讨论和解读。将等级保护在编的5个基本要求分册标准进行了合并形成《网络安全等级保护基本要求》一个标准。基本要求的内容由一个基本要求变更为安全通用要求和安全扩展要求（含云计算、移动互联、物联网、工业控制）。
  • 2017年11月~12月，中华人民共和国国家质量监督检验检疫总局、中国国家标准化管理委员会联合发布了GB/T 《云计算数据中心基本要求》、GB/T 《信息安全技术 云计算服务安全能力评估方法》、GB/T 《信息技术 云计算 平台即服务（PaaS）参考架构》、GB/T 《信息技术 云计算 虚拟机管理通用要求》、GB/T 《信息安全技术 云计算安全参考架构》。

灵跃云本次为大家概览了云计算技术在商业界、研究机构，以及国家战略方面的发展历程大事件，它们大力地促进了云计算的发展以及在各行业的渗透和应用。伴随着《云计算发展三年行动计划（2017－2019年）》国家政策的发布，人工智能、物联网等技术的兴起，IT信息技术将迎来新的变革。后续，灵跃云将针对云计算技术的各细分领域及应用状况分别展开详细探讨，敬请期待！

下述为本次资料整理时引用的部分参考文献，其他文献未能一一列出，在此一并感谢互联网上相关资料的所有作者。

  1. 云计算发展历程大事记.
  2. 一张图让你读懂云计算发展简史.
  3. 云计算发展历程大事记. =
  4. 解读2015云计算：2015年云计算行业标志性事件盘点. 
  5. 云安全原理实践. 机械工业出版社.
  6. 网络虚拟化技术完全指南. 中国工信出版集团&电子工业出版社.
  7. 云数据中心网络技术. 中国工信出版集团&人民邮电出版本.
  8. Ceph分布式存储实践. 机械工业出版社.


我要回帖

更多关于 高性能计算与云计算 的文章

 

随机推荐