硬件架构

并行硬件架构

• SMP（Symmetric Multi Processing，对称多处理器）架构。这里的“对称”是指所有处理器之间是平等的，并且共享包括物理内存在内的所有资源，处理器访问不同资源的能力（速度）是一致的，每个处理器访问内存中的任何地址所需的时间是相同的，因此SMP架构也被称为UMA（Uniform Memory Access，一致存储器访问）架构。 随着CPU处理器核数的增多，多个CPU都通过一个总线访问内存，这样总线的带宽压力会越来越大，同时每个CPU可用带宽会减少，这也就是SMP架构的问题。

• NUMA（Non-Uniform Memory Access，非一致存储访问）架构。NUMA架构服务器内部有多个处理模块（节点），每个模块有多个CPU和本地内存，但每个CPU也可以访问整个系统的内存，当然访问本模块的内存要比访问其他模块内存的速度快，这也是非一致存储访问架构名称的由来。NUMA 架构将每个 CPU 进行了分组，每一组 CPU 用 Node 来表示，一个 Node 可能包含多个CPU。每个 Node 有自己独立的资源，包括内存、IO 等，每个 Node 之间可以通过互联模块总线（QPI）进行通信，所以，也就意味着每个 Node 上的 CPU 都可以访问到整个系统中的所有内存。但是，访问远端 Node 的内存比访问本地内存要耗时很多。

• MPP（Massively Parallel Processing，大规模并行处理）架构。MPP架构是将多个处理节点通过网络连接起来，每个节点是一台独立的机器，节点内的处理单元独占自己的资源，包括内存、硬盘、IO等，也就是每个节点内的CPU不能访问另一个节点的内存（这是MPP与NUMA的主要区别），MPP架构服务器需要通过软件实现复杂的调度机制以及并行处理过程。

这三种技术架构的发展是一个并行能力、扩展能力逐渐提高的过程，也是耦合度逐渐减低的过程，它们的区别如图1所示。SMP架构服务器的主要问题是扩展能力十分有限，随着CPU数量的增加，内存访问冲突出现的概率会快速增加。实验表明，SMP架构服务器CPU利用率最好的情况是服务器内有2～4个CPU。NUMA架构可以在一个物理服务器内最多集成上百个CPU，但由于访问非本节点内存的延时远远超过本地内存，因此在CPU达到一定数量后，无法再通过增加CPU实现系统性能的线性提高。MPP架构的扩展性最好，理论上对节点数量没有什么限制，可以包含几百个节点。

数据库架构设计的三种模式

数据库构架设计中主要有Shared Everthting、Shared Nothing、和Shared Disk：

• Shared Everthting:一般是针对单个主机，完全透明共享CPU/MEMORY/IO，并行处理能力是最差的，典型的代表SQLServer

• Shared Disk：各个处理单元（如：数据库服务器）使用自己的 CPU和Memory，但共享磁盘系统。可通过增加节点来提高并行处理的能力，扩展能力较好。但是当磁盘满负荷运转时，增加节点并不能获得更高的性能 。

• Shared Nothing：又称为无共享架构，常说的 Sharding 其实就是Share Nothing架构，各个处理单元都有自己的CPU/内存/硬盘等，不存在共享资源，类似于MPP（大规模并行处理）模式，各处理单元之间通过协议通信，并行处理和扩展能力更好。典型代表DB2 DPF和Hadoop

MPP模式

MPP 数据库的特点是首先支持 PB 级的数据处理，同时支持比较丰富的 SQL 分析查询语句。同时，该领域是商业产品的战场，其中不仅仅包含独立厂商，如 Teradata，还包含一些巨头玩家，如 HP 的 Vertica、EMC 的 Greenplum 等。