新一代数据中心的分布式计算架构

当前物理CPU正遵循摩尔定律在稳定的高速发展，然而人类对计算能力的要求更高，一方面应用对计算能力要求超过摩尔定律的速度，另外一方面要求提高计算能力的使用效率，这都离不开软件的协助。虚拟化和分布式都是现在流行的架构，他们代表着两个不同的发展方向：虚拟化--一台机器分成多台机器用；分布式--多台机器合成一台机器用。正可谓"天下大势，分久必合，合久必分"。

一、分布式架构发展和现状

1. 从SMP到MPP

从系统架构来看，目前的商用服务器主要分为三类，对称多处理器结构SMP，非一致存储访问结构NUMA以及海量并行处理结构MPP。

● SMP（Symmetric Multi-Processor）

所谓对称多处理器结构，是指服务器中多个CPU对称工作，无主次或从属关系。各CPU共享相同的物理内存，每个CPU访问内存中的任何地址所需时间是相同的，因此SMP也被称为一致存储器访问结构（UMA：Uniform Memory Access）。

SMP服务器的主要特征是共享，系统中所有资源（CPU、内存、I/O等）都是共享的。也正是由于这种特征，导致了SMP服务器的主要问题，那就是它的扩展能力非常有限。

● NUMA（Non-Uniform Memory Access）

由于SMP在扩展能力上的限制，人们开始探究如何进行有效地扩展从而构建大型系统的技术，NUMA就是这种努力下的结果之一。利用NUMA技术，可以把几十个CPU（甚至上百个CPU）组合在一个服务器内。

NUMA服务器的基本特征是具有多个CPU模块，每个CPU模块由多个CPU（如4个）组成，并且具有独立的本地内存、I/O槽口等。由于其节点之间可以通过互联模块（如称为Crossbar Switch）进行连接和信息交互，因此每个CPU可以访问整个系统的内存。显然，访问本地内存的速度将远远高于访问远地内存（系统内其它节点的内存）的速度，这也是非一致存储访问NUMA的由来。由于这个特点，为了更好地发挥系统性能，开发应用程序时需要尽量减少不同CPU模块之间的信息交互。利用NUMA技术，可以较好地解决原来SMP系统的扩展问题，在一个物理服务器内可以支持上百个CPU。比较典型的NUMA服务器的例子即我们常说的小机例如HP的Supterdome和IBM的Power服务器。

但NUMA的节点互联机制是在同一个物理服务器内部实现的，当某个CPU需要进行远地内存访问时，它必须等待，这也是NUMA服务器无法实现CPU增加时性能线性扩展的主要原因。2013年年度备受瞩目的"淘宝去IOE"的原因也在此。在IBM的小机和Oracle数据库的组合下，淘宝通过硬件升级获得的性能增长达到了瓶颈，无法满足客户的爆发性增长。

● MPP（Massive Parallel Processing）

和NUMA不同，MPP提供了另外一种进行系统扩展的方式，它由多个SMP服务器通过一定的节点互联网络进行连接，协同工作，完成相同的任务，从用户的角度来看是一个服务器系统。其基本特征是由多个SMP服务器（每个SMP服务器称节点）通过节点互联网络连接而成，每个节点只访问自己的本地资源（内存、存储等），是一种完全无共享（Share Nothing）结构，因而扩展能力最好，理论上其扩展无限制（如图1所示）。目前的技术可实现512个节点互联，数千个CPU。目前业界对节点互联网络暂无标准，如 NCR的Bynet，IBM的SPSwitch，它们都采用了不同的内部实现机制。但节点互联网仅供MPP服务器内部使用，对用户而言是透明的。

在MPP系统中，每个SMP节点也可以运行自己的操作系统、数据库等。但和NUMA不同的是，它不存在异地内存访问的问题。换言之，每个节点内的CPU不能访问另一个节点的内存。节点之间的信息交互是通过节点互联网络实现的，这个过程一般称为数据重分配（Data Redistribution）。

但是MPP服务器需要一种复杂的机制来调度和平衡各个节点的负载和并行处理过程。目前一些基于MPP技术的服务器往往通过系统级软件（如数据库）来屏蔽这种复杂性。例如NCR的Teradata就是基于MPP技术的一个关系数据库软件，基于此数据库来开发应用时，不管后台服务器由多少个节点组成，开发人员所面对的都是同一个数据库系统，而不需要考虑如何调度其中某几个节点的负载。

MPP以其优良的扩展架构成为了分布式架构的基础。

图P服务器架构图

淄博工作服

泰安工服订做

长春订做西装