云计算架构技术与实践 _生活百科

文章插图
云计算架构技术与实践【云计算架构技术与实践】云计算概念诞生至今已发展了约七年的时间。这七年来，相比云计算诞生初期，云计算技术条件、行业和市场环境均发生了巨大变化，广大读者对云计算的认知需求也从当初的粗浅概念阶段，发展到希望深度探索的阶段。本书以云计算架构技术为核心，从讨论云计算发展为起点，围绕云计算架构涉及的核心技术与商业实践进行展开。论及的核心技术包括计算、存储、网路、数据、管理、接入、安全等，涵盖了云计算的最新趋势、原理、特性与实践。本书适用于企业IT部门首席信息官、IT主管、IT技术工程师、技术类人员、IT技术公司员工、网际网路公司员工、教育机构师生等。
基本介绍外文名：Cloud Computing Architecture Technologies & Practice
书名：云计算架构技术与实践
作者：顾炯炯
出版社：清华大学出版社
页数：306页
开本：16
品牌：清华大学出版社
类型：计算机与网际网路
出版日期：2014年9月1日
语种：简体中文
ISBN：9787302378204
内容简介随书附赠HUAWEI FusionSphere3.1免费试用版软体,华为公司云计算首席架构师顾炯炯携华为顶尖员工共同撰写,帮助广大读者从对云计算的粗浅概念阶段，发展到深度探索的阶段作者简介顾炯炯华为公司云计算首席架构师，主导完成华为公司云计算作业系统(FusionSphere)和融合架构一体机(FusionCube)的技术规划与架构设计，支撑华为公司的ICT战略转型、云计算数据中心及电信云化解决方案，完成浙江移动、上海联通、上海健康云、新加坡StarHub、华为桌面云及数据仓库等数百个云计算项目的商用落地。曾任华为公司融合IMS解决方案首席架构师、华为公司移动软交换产品首席架构师，拥有已获授权并发布的个人专利30多项图书目录第 1 章云计算理念的发展 1 1.1 云计算的基础概念与架构 2 1.2 云计算的发展趋势 3 第 2 章云计算的架构内涵与关键技术 9 2.1 云计算的总体架构 10 2.2 云计算架构的关键技术 20 2.3 云计算核心架构的竞争力衡量维度 36 2.4 云计算解决方案的典型架构组合及落地套用场景 41 第 3 章云计算相关的开源软体 53 3.1 云计算领域开源软体概览 54 3.2 Cloud OS开源软体：CloudStack 54 3.3 Cloud OS开源软体：OpenStack 67 3.4 开源和社区发展 87 3.5 开源还是闭源 91 第 4 章面向电信及企业关键套用的计算虚拟化 93 4.1 计算虚拟化核心引擎：Hypervisor介绍 94 4.2 跨伺服器的计算资源调度算法 106 4.3 计算高可靠性保障 108 第 5 章面向网路自动化、多租户的网路虚拟化 111 5.1 网路虚拟化的驱动力与关键需求 112 5.2 SDN架构 113 5.3 网路虚拟化关键技术：大二层实现 121 5.4 网路虚拟化关键技术：多租户网路实现 124 5.5 网路虚拟化端到端解决方案 126 5.6 网路云化还有多远 128 第 6 章面向企业关键套用性能提升和存储管理简化的存储虚拟化 129 6.1 云计算的存储虚拟化概述 130 6.2 灵活的软体定义存储 131 6.3 传统存储SAN/NAS的虚拟化 133 6.4 分散式存储池化和加速 135 第 7 章云接入的关键技术架构与套用 151 7.1 云接入的概述 152 7.2 云接入的架构 156 7.3 云接入的典型套用 157 7.4 云接入的关键技术 166 7.5 云接入的发展趋势 176 第 8 章云管理与自动化的关键技术架构与套用 181 8.1 业务套用驱动的拉通计算、存储、网路自动化 183 8.2 物理和虚拟化资源的统一管控 188 8.3 基于网路的硬体即插即用的自动化机制 197 8.4 异构硬体的统一接入管理 201 8.5 服务目录和套用管理 202 8.6 面向云管理的ITSM 205 8.7 云平台第三方App资源使用计量 206 8.8 云管理的套用案例 207 第 9 章云安全架构与套用实践 215 9.1 端到端云安全架构 216 9.2 可信计算TPM/vTPM 220 9.3 虚拟机的安全隔离 226 9.4 虚拟化环境中的网路安全 229 9.5 云数据安全 232 9.6 公有云、私有云的安全组 234 9.7 云安全管理 235 9.8 云安全套用实施案例 238 9.9 云计算安全的其他考虑 239 第 10 章大数据平台核心技术与架构 241 10.1 大数据特点与支撑技术 242 10.2 企业级Hadoop 245 10.3 流处理技术 258 10.4 大数据在金融领域的探索与实践 267 10.5 未来大数据套用畅想 274 第 11 章企业私有云和公有云对IAAS层的诉求 279 11.1 企业私有云和公有云对IAAS层的诉求 280 11.2 一体机的市场和技术 281 11.3 一体机市场、技术趋势 291 结语 297 缩略语 299 后记 307序言序言一早在三千多年前，《易经》出现时，人类便用朴实的哲学思想揭示了一个变化的世界。变化无所不在，体现在政治、经济、社会、科学等方方面面。其中科学技术的发展变化，是这几个领域中最能被人们感同身受的。在科学技术领域，IT技术成为科技发展变化的急先锋。IT领域的“云计算”在2007年还是一个未知的概念，到2014年“云计算”不仅家喻户晓，而且在基于云计算的平台上创造了一个又一个发展速度的新记录：一款在云平台上的游戏，可以在几个月发展数千万用户；云平台支撑的电子商务，1秒钟可以完成数万笔交易。目前这种IT云计算领域的发展变化模式不再局限于令人瞠目的数字，而开始向传统行业乃至国家整体经济与社会领域进行快速渗透。我们相信，在不久的将来，全球的经济、社会与科学的面貌在云计算技术、服务与理念的推动下会焕然一新。这就是我们过去十几年常说的“信息技术革命”，在我们眼前正在发生、发展和不断演变着。“云计算”这个名词虽然已经家喻户晓，而且业内基本认可美国国家标準与技术研究院(NIST)对云计算的概念定义，但人们对云计算的理解至今不同。究其根因，一方面是云计算的技术、服务模式和理念在不断演进和发展变化；另一方面，云计算的宣传推广主体，出于商业或理念的差异而对云计算的内涵进行了不同方向的强化和引申。人们对云计算的不同理解，势必引发概念定义上的争议，但一个不争的共识是：云计算已经落地生根，并快速地发展壮大，“像用电一样使用信息服务”的云计算理想虽然还未完全实现，但距离这个目标已经越来越近。我们每个人对云计算的发展阶段可能有不同的理解和划分，这很正常也很有益，因为多样化的观点碰撞是创新灵感的源泉。本书也将“云计算”的技术内涵进行了更大範围的发展和延伸。这让我联想到网际网路行业正在发生的变化，早期的网际网路公司仅仅开发与其直接相关的Web网站，但现如今，大型网际网路公司所做的产品与业务早已远远地超出当初的範畴，不仅在看似简单的Web网站下面搭建了一个庞大的数据处理与分析平台，而且支撑其网站的伺服器、存储、网路乃至数据中心。这些硬体产品均由网际网路公司自己研发与设计，领先的网际网路公司做的产品还远不止这些，Google推出了手机作业系统、眼镜，并致力于开发、完善无人驾驶汽车；亚马逊开发无人飞机用于物流投递；Facebook在虚拟现实领域进行了高额投入；国内的阿里巴巴、腾讯等公司在开发各种金融类创新产品。针对这些巨大的变化，在没有更好的名称之前，我们依然要称呼它们是网际网路公司，我们只能说当今网际网路的含义比10年前的网际网路更加宽泛。“云计算”也是如此。在IT领域，基本上每3～5年便会进行一次产品技术的更新换代，云计算经过多年发展，无论在技术深度还是在技术广度上均会有显着延展。通过阅读此书，可以明显感受到云计算技术这些年来的发展和进步，以及云计算技术在企业IT和电信网路重构中的作用。云计算不仅对企业和电信的发展有重大的推动作用，对教育科研领域也有深远的影响。“云计算”是由企业提出的概念，并一直由企业主导“云计算”技术的研发、推广与套用。云计算所支撑的大数据概念与技术的出现，企业主导，特别是网际网路企业主导技术发展的趋势更加明显。企业之所以能够主导云计算与大数据技术的发展，原因可能来自三个方面：一是企业拥有雄厚的资金；二是云计算技术与企业套用及市场需求呈现出了紧耦合的发展；三是企业(特别是网际网路企业)拥有足量的数据资源和计算资源。企业主导同时意味着在云计算与大数据领域传统的先有理论后有套用的模式基本不再适用，即大学科研机构负责理论(学术)创新，企业负责套用创新(工程实践)的分工模式。大学教育科研机构，特别是信息技术学科，需要调整自身角色来适应这一趋势的发展。云计算领域提供了非常丰富的开源环境，比如OpenStack、Hadoop、Xen、KVM等，网际网路同时提供了数量庞大的信息技术文章，云计算厂商会提供免费或低价的试用软体或云计算环境，再加上不断出版更新的信息技术类书籍，这些资源构成了一个开放且实时更新的教学乃至实验环境，可以供广大学生学习和实践使用。未来大学对学生的培养工作可能集中在4个方面：方向性的指导，综合技能的认证，给学生提供专心学习交流的环境，为学生搭建创新的平台。大学的信息技术类学科的科研机构，需要与企业和市场更加紧密地结合，双方共享数据，共享研发测试环境，专利交叉共享，项目收益共享。大学科研机构可侧重承担企业偏远期的云计算与大数据技术的开发，企业侧重承担近期套用技术的开发，双方的界限会很模糊。在云计算时代，年龄、资历和职称都不再是科研创新的门槛，大学生可以广泛参与和承担云平台类产品套用开发，学生的自主创新成果(同时参照产品受市场欢迎的程度)将是个人能力认证的一个重要依据。希望本书的所有读者，在了解云计算技术的同时，都能够积极地投身到云计算产业实践中来。只有更多的人认识到云计算的价值，才能挖掘出更多云计算的价值，云计算产业才会有源源不断的动力来蓬勃发展。相信各位读者中的很多人都将成为云计算产业的中坚力量。李德毅中国工程院院士，国际欧亚科学院院士序言二合作创新，云以致用云计算从概念到大规模实践，短短数年间迅猛发展。它与诸多行业深度融合，带来了颠覆性的创新，凸显出巨大的套用价值和发展前景。读到华为公司云计算首席架构师顾炯炯新着《云计算架构技术与实践》，我倍感兴奋。着作概括了华为的云计算构想，表明华为云计算布局已走在行业的前列，也预示着英特尔和华为在云计算方面的合作将更加密切。随着计算的延伸与扩展、移动网际网路的发展，中国消费者拥有了越来越多的智慧型设备。为了让消费者在不同时间、不同场合获得实时信息服务，需要将各种内容和套用通过云端进行整合、匹配，推向不同的终端用户，实现从云到端高效顺畅的体验。从电信运营商到服务提供商，通过云架构部署各种移动设备和个性化服务，无疑是非常经济、便捷的途径。同时，在经济发展和行业变革中，人们所遇到的挑战也日益複杂，需要综合的解决方案来应对。比如，在城镇化进程中，利用云计算结合物联网与大数据解决方案，可推动智慧型交通、平安城市、智慧医疗、环境监控等项目的建设，带来更好的城市运营管理和公共服务。将云计算与传统行业融合，将带来跨界创新，催生前所未有的商业模式、产业生态。云计算越来越从一种降低成本与提高效率的方式，演变成为向企业和消费者提供新服务的途径。面对线上套用、服务和数据的高速增长，数据中心规模急剧膨胀，需要对数据中心 IT基础设施的主要组成部分——伺服器、存储和网路设备进行以软体定义为导向的创新，实现自动供给的IT资源池。英特尔于2013年开始践行“软体定义基础设施”战略，在开放平台上由用户自行定义他们的基础设施，这将使用户在云资源池内“调兵遣将”时更加轻鬆，进而也让他们的新套用和新服务更快地得到底层支持，实现迅速交付。英特尔长期专注于计算的创新，提供从伺服器到存储、网路全面的计算能力及软体最佳化支持，与产业伙伴共同应对各种云计算的发展难题，真正实现“云以致用” 。为此，英特尔与产业界协同合作，基于开放架构推出了英特尔云构建计画，帮助开放数据中心联盟发掘和定义企业用户的云计算需求，并提供丰富的云计算解决方案。携手推动云计算创新，英特尔与华为的合作是一个很好的例证。华为不仅在通信行业处于领先地位，过去几年间其云计算业务也成倍增长。英特尔与华为的合作由来已久，双方都较早受到信息通信产业中最大的潮流——信息技术和通信技术融合的影响，合作领域不断拓展，从最初在通信领域，扩展到伺服器、存储、网路领域，现在又把共同的目标放在了云计算和大数据的创新机会上。我们对双方的合作前景充满信心。中国网际网路用户众多，信息终端普及率很高，企业及消费者对于IT技术的了解和接受速度也非常快，再加上政府大力支持云计算产业，并实施宽频中国战略，这就使得中国在云计算部署规模、技术以及商业模式创新方面迅猛发展。我们期待着与国内合作伙伴深化和扩展合作领域，让更多源自中国的云计算创新成果去影响并推动全球信息技术和通信产业的发展进程！杨叙英特尔公司全球副总裁兼中国区总裁什幺是云计算？美国国家标準与技术研究院(NIST)对此有这样一个权威和经典的定义： “所谓云计算，就是这样一种模式，该模式允许用户通过无所不在的、便捷的、按需获得的网路接入到一个可动态配置的共享计算资源池(其中包括了网路设备、伺服器、存储、套用以及业务)，并且以最小的管理代价或者业务提供者互动複杂度即可实现这些可配置计算资源的快速发放与发布。” 云计算的核心可以用五大基本特徵、三种服务模式以及四类部署模式来概括，五大基本特徵是按需获得的自助服务、广泛的网路接入、资源池化、快捷的弹性伸缩以及可计量的服务。三种服务模式为云基础设施即服务(IaaS)、云平台即服务(PaaS)以及云软体即服务(SaaS) 。四类部署模式可以划分为专有云(私有云)、行业云、公有云以及混合云。从各类云服务的创建、部署以及消费角度来描述云计算的实质，意味着云计算天然要求支持面向服务的能力。现代企业通常会将其IT基础设施、业务平台以及软体即服务的对外开放作为其整体端到端企业信息架构SOA解决方案中的重要一环来执行。当然，软体即服务(SaaS)作为一个流行多年的话题，最早出现是在云计算概念出现之前，已经不是什幺新鲜概念了。以亚马逊2006年3月13日发布的S3服务为起点，到“云计算”概念于2008年最早被Google提出，至今已有8年多的历史了，其核心理念已广为人们所传播和接受，也经历了方兴未艾的发展。当云计算还处于概念炒作的初级阶段时，云计算一度成为IT业界、媒体传播渠道乃至所有涉及IT信息化、政府巨观规划、关係国计民生的各大垂直行业关注的焦点，云计算也因此成为街头巷尾热议的 “时髦”话题。与此同时，各种关于云计算的商业和解决方案也应运而生，各类理念和包装良莠不齐、不一而足，反而让大家对云计算到底能做些什幺，对其潜在的客户到底能够解决什幺实际问题，能够带来什幺样的实际价值感到迷惘，甚至使得大家对云计算的未来前景产生了怀疑。关于云计算的社会价值与意义，我们常常用一句话表达云计算的目标诉求：“未来让人们像用水和用电那样使用云计算” 。在这里，人们将云计算视为一种“水和电”那样无处不在、人类社会日常生产和生活过程中必不可少的基础资源。这里我们用“电力”来形容云计算可能更为恰当，因为电力是用来驱动上一个工业文明时代最关键的生产资料。电灯、收音机、电视机、电冰柜、电风扇，乃至于自动化生产线等无不需要依赖电力的驱动。相比电力，云计算则对应于当前的知识与资讯时代进行任何信息分析与处理的生产资料，用于支撑ERP/CRM/Email/BI大数据乃至金融实时交易数据处理等所有维持企业业务正常运作所需的按需获取、按需分配的关键资源。从技术架构演进的视角来看，有人将云计算视为自IT领域冯·诺依曼计算机架构诞生之后的第三次里程碑式的变革，是对传统计算架构与计算模式的颠覆与创新。也有人认为云计算无非是一种商业理念上的包装，所谓“新瓶装旧酒”，只是各个IT厂商用来“促销”自己产品的一种“行销活动”，并没有带来根本性的技术变革，也并没有给IT架构带来根本性的变化，那幺真相究竟是怎样的呢？回顾企业IT架构演进的整个历史，我们不难看到，冯·诺依曼架构的第一台计算机诞生以来的前30年，计算高度集中化、支持多用户多任务的大型机和小型机是企业IT的主流形态，构成IT系统的软硬体堆叠各层之间缺少统一的工业标準，呈现出内聚与耦合的特徵，仅少数厂家拥有提供端到端高度複杂化的IT系统软硬体的能力。那个时代，IT系统造价高昂，往往是少数高端企业才能拥有的“奢侈品”。于是，20世纪80年代，以x86伺服器和PC系统的诞生为标誌，企业IT系统迎来了第二次里程碑式的变革：从All in One、全封闭的软硬体栈走向了水平分层的网路、存储、伺服器、作业系统、中间件、套用层等多层次水平分工的架构，各层之间接口标準化、规範化，极大地简化了每一层的技术複杂度，各层IT产业链获得了大繁荣与大发展，涌现出一批优秀的专业化厂家，聚焦于提供该领域内质量最佳的产品和解决方案，IT系统终于开始走入“寻常百姓家” 。然而，所谓“物极必反”，当这个架构分层发展到一定阶段，弊端逐步显现，由于企业IT层次太多，各层之间集成交付的难度越来越大，尤其是当今企业软体套用已从单一实例套用，迅速走向大规模分散式套用，一个关键业务的部署往往需要涉及伺服器、网路、存储等各方面基础设施资源的协同配合，使得业务驱动的基础设施层伺服器、存储、网路资源的集成管理配置和按需供给成为影响企业IT快速回响企业业务需求的关键制约因素。同时软硬体各层的开发虽然实现了解耦，但部署和运行态仍然是软硬体耦合绑定的关係，因此跨伺服器的资源出现忙闲不均时，依然无法有效利用IT资源。随着企业信息化进程的不断推进，企业IT系统的使用者和维护者们逐渐发现，分层架构体系也存在着诸多弊端：软硬体开发态解耦，但部署和运行态并未解耦；生态链大繁荣的同时，多厂家硬体异构集成与管理的複杂度越来越高；企业信息化的重心向软体转移，但计算、存储、网路硬体弹性供给能力及其相互协同的不足，越来越成为软体价值提升的制约性因素。那幺，是否存在一条IT架构演进路径，可以在代价最小化，即在不对现有软硬体堆叠做颠覆式改动的前提下，有效应对上述关键痛点与挑战呢？答案是肯定的，这就是IT领域的第三次里程碑式演进变革，即从PC与伺服器时代迈入云计算时代，通过虚拟化与云调度管理技术，将来自不同厂家的、多台烟囱式的、彼此孤立和割裂的计算、存储、网路设备在逻辑上整合成为一台“超大规模云计算机”，为上层的软体提供弹性的按需资源供给的能力，从而实现软硬体部署过程与运行态的解耦，禁止软硬体异构多厂家差异性与複杂度，并填补计算与存储之间的性能鸿沟。其实大家也许已经注意到，我们谈到云计算驱动的第三次IT架构变革浪潮，其实早在云计算理念问世前的几年时间里，在众多网际网路厂家中已被多次实践过，并且取得了巨大成功。那幺普遍意义上的企业IT的云化重构又与网际网路成功的实践之间存在着什幺样的关联呢？ Google、Facebook的“云计算机”服务于其特定的商业模式和业务套用，比如搜寻类、社交类套用，而企业IT云化架构所期望的“云计算机”，则面临着大量的、形形色色的面向传统IT基础设施架构开发的企业套用和电信套用，它们的套用场景需求既有相同点，也存在着巨大的差异化。相同点在于：计算、存储实现了大规模资源池化，实现了规模经济效益；分散式架构与负载均衡能力，资源可按业务需求灵活扩展伸缩；依赖分散式软体在系统整体层面而非单点硬体层面实现高可靠性及高性能保障。不同点在于：普适性——网际网路平台一般仅为其特定业务模型定製，企业云平台则要求具备对异构多厂家套用的普遍适用性；异构兼容性——企业云平台需要考虑异构厂家硬体的兼容性，需要实现对企业IT基础设施现有投资的最大化保护；高性能——网际网路业务虽然并发量和注册用户量庞大，但企业高端套用在时延和性能方面却有更高的要求；自动化、虚拟化——网际网路业务模式一般为自主开发、自运主营(DevOps、Development和Operations的组合)，因此对管理自动化要求不迫切，企业套用则由于套用颗粒度不一，基础设施採购自第三方，因此管理自动化和虚拟化基本为必选能力。“天下大势，合久必分，分久必合”，云计算时代IT基础设施演进的下一个十年，是从分离重新走向融合的十年：通过云作业系统，将数据中心多厂家异构的计算、存储、网路资源进行水平融合，对外提供开放与标準化的IT服务接口，实现面向利用IT基础设施的“融合”；通过融合架构一体机，将单厂家计算、存储与网路资源进行垂直融合，提供模组化、一站式、高性能、性价比最优、面向新建IT基础设施的交付模式。无论IT架构如何螺旋式演进，客户价值和驱动力都体现在：更低的TCOa； a TCO，总拥有成本，即从产品採购到后期使用、维护的总成本。更高的业务部署与生命周期管理效率；更优的业务性能与用户体验。IT基础设施架构从分离重新走向融合，并非简单的历史重複，而是在继承现有成果的基础上创新突破。无论是水平融合，还是垂直融合，在核心技术支撑方面并未将现有已形成产业规模的x86 CPU及其伺服器计算架构推倒重来，而是在最大限度地重用这些成熟产业组件的前提下，藉助虚拟化及分散式云计算调度管理软体的作用，将多厂家异构或者单厂家同构的计算、存储、网路整合为规模可大可小的“云计算机”，从而有效地解决传统IT架构所面临的挑战——业务上线周期长，TCO居高不下，企业关键套用性能低下。顾炯炯