存储的基础设施架构

概述

参考：

随着企业网络应用数据量的加大，企业已经感觉到存储容量和性能落后于网络应用发展需求。在这种应用条件下满足用户的存储需求的技术应运而生，DAS、NAS、SAN 三种存储架构成为当时主流的存储技术。

并且，在很长很长的一段时间里，这三种架构几乎统治了数据存储市场。所有行业用户的数据存储需求，都是在这三者中进行选择。然而，随着时代的发展，传统的存储开始暴露出他们的问题，价格昂贵、不易扩展、等等。这时 DS(分布式存储) 粉墨登场。

分布式存储 不但可以提供 DAS、NAS、SAN 三种架构可以提供的能力，比如 块存储 和 文件存储 能力，还可以提供一种新兴的 对象存储 的能力

存储架构分类

一、集中式存储又称为 传统的存储。从名字上可以看出来，就是把存储集中起来，统一管理。

  • Direct Attached Storage(直连式存储，简称 DAS)
    • 基本都是商业解决方案，直接买硬件。其实，IDE、SATA、SCSI、SAS，甚至 USB，都可以算是 DAS。
  • Fabric Attached Storage(网络化存储)
    • Network Attached Storage(网络附加存储，简称 NAS)
      • 以 NFS 和 SMB 协议的实现程序为代表
    • Stoarge Area Network(存储区域网络，简称 SAN)
      • 基本都是商业解决方案，直接买硬件

二、分布式存储 又称为 新型的存储。

  • 中间控制节点架构
    • 以 HDFS 为代表
  • 完全无中心架构-计算模式
    • 以 Ceph 为代表
  • 完全无中心架构-一致性哈希
    • 以 Swift 为代表

DAS 存储一般应用在中小企业，与计算机采用直连方式，NAS 存储则通过以太网添加到计算机上，SAN 存储则使用 FC 接口，提供性能更加的存储。NAS 与 SAN 的主要区别体现在操作系统在什么位置，如下图所示。

Direct-AttachedStorage(直连式存储，简称 DAS)

  • 存储设备是通过电缆（通常是 SCSI 接口电缆）直接挂到服务器总线上。
  • DAS 方案中外接式存储设备目前主要是指 RAID、JBOD 等。

DAS 存储在我们生活中是非常常见的，尤其是在中小企业应用中，DAS 是最主要的应用模式，存储系统被直连到应用的服务器中，在中小企业中，许多的数据应用是必须安装在直连的 DAS 存储器上。

DAS 存储更多的依赖服务器主机操作系统进行数据的 IO 读写和存储维护管理，数据备份和恢复要求占用服务器主机资源(包括 CPU、系统 IO 等)，数据流需要回流主机再到服务器连接着的磁带机(库)，数据备份通常占用服务器主机资源 20-30%,因此许多企业用户的日常数据备份常常在深夜或业务系统不繁忙时进行，以免影响正常业务系统的运行。直连式存储的数据量越大，备份和恢复的时间就越长，对服务器硬件的依赖性和影响就越大。

直连式存储与服务器主机之间的连接通道通常采用 SCSI 连接，随着服务器 CPU 的处理能力越来越强，存储硬盘空间越来越大，阵列的硬盘数量越来越多，SCSI 通道将会成为 IO 瓶颈;服务器主机 SCSI ID 资源有限，能够建立的 SCSI 通道连接有限。

无论直连式存储还是服务器主机的扩展，从一台服务器扩展为多台服务器组成的群集，或存储阵列容量的扩展，都会造成业务系统的停机，从而给企业带来经济损失，对于银行、电信、传媒等行业 7×24 小时服务的关键业务系统，这是不可接受的。并且直连式存储或服务器主机的升级扩展，只能由原设备厂商提供，往往受原设备厂商限制。

Network Attached Storage(网络附加存储，简称 NAS)

  • 存储设备通过标准的网络拓扑结构(例如以太网)连接
  • NAS 是在网络中放置一个单独的存储服务器，此存储服务器开启网络共享。

NAS 存储也通常被称为附加存储，顾名思义，就是存储设备通过**标准的网络拓扑结构(例如以太网)**添加到一群计算机上。NAS是文件级的存储方法，它的重点在于帮助工作组和部门级机构解决迅速增加存储容量的需求。如今用户采用NAS较多的功能是用来文档共享、图片共享、电影共享等等，而且随着云计算的发展，一些NAS厂商也推出了云存储功能，大大方便了企业和个人用户的使用。

NAS 产品是真正即插即用的产品。NAS 设备一般支持多计算机平台，用户通过网络支持协议可进入相同的文档，因而 NAS 设备无需改造即可用于混合 Unix/Windows NT 局域网内，同时NAS的应用非常灵活。

但 NAS 有一个关键性问题，即备份过程中的带宽消耗。与将备份数据流从 LAN 中转移出去的 SAN(存储区域网) 不同，NAS 仍使用网络进行备份和恢复。NAS 的一个缺点是它将存储事务由并行 SCSI 连接转移到了网络上。这就是说 LAN 除了必须处理正常的最终用户传输流外，还必须处理包括备份操作的存储磁盘请求。

Storage Area Network(存储区域网络，简称 SAN)

SAN 连接又分 iSCSI 标准、SAS 标准、FC 协议。这种连接需要单独的存储产品。可以通过交换机连接

存储区域网络，从名字上我们也可以看出，这个是通过光纤通道交换机连接存储阵列和服务器主机，最后成为一个专用的存储网络。SAN经过十多年历史的发展，已经相当成熟，成为业界的事实标准(但各个厂商的光纤交换技术不完全相同，其服务器和SAN存储有兼容性的要求)。

SAN提供了一种与现有LAN连接的简易方法，并且通过同一物理通道支持广泛使用的SCSI和IP协议。SAN不受现今主流的、基于SCSI存储结构的布局限制。特别重要的是，随着存储容量的爆炸性增长，SAN允许企业独立地增加它们的存储容量。SAN的结构允许任何服务器连接到任何存储阵列，这样不管数据置放在那里，服务器都可直接存取所需的数据。因为采用了光纤接口，SAN还具有更高的带宽。

因为SAN解决方案是从基本功能剥离出存储功能，所以运行备份操作就无需考虑它们对网络总体性能的影响。SAN方案也使得管理及集中控制实现简化，特别是对于全部存储设备都集群在一起的时候。最后一点，光纤接口提供了10公里的连接长度，这使得实现物理上分离的、不在机房的存储变得非常容易。

Distributed Storage(分布式存储，简称 DS)

存储能力分类

块存储、文件存储、对象存储 这三个词是指：存储架构所能提供的一种存储能力。

在 DAS 和 SAN 中，存储资源就像一块一块的硬盘，直接挂载在主机上，我们称之为 块存储。

而在 NAS 中，呈现出来的是一个基于文件系统的目录架构，有目录、子目录、孙目录、文件，我们称之为 文件存储。

在 DS 中，可以根据具体实现方式，提供 块存储、文件存储、对象存储

接口、存储技术发展的一些基本概念

IDE、 SATA、 SCSI、 SAS、 光纤通道 前两种主要是个人电脑上用的，IDE 接口现在很少用了，但老电脑还在用，后面三种主要用在服务器上。

ATA 硬盘一般使用 IDE 接口，分为 PATA 硬盘（即 parallelATA,并行 ATA 硬盘接口规范）和 SATA 硬盘（即 serialATA，串行 ATA 硬盘接口规范)。

SATA 其实是 SCSI 体系里抽取出的一部分，也就是说 scsi 能兼容 sata，但 sata 反过来就不行。scsi 本质上还是为服务器准备的磁盘系统，它非常强调所有的控制可以由 scsi 体系自己完成，不需要 cpu 控制，所以 scsi 非常省资源，而 sata 需要 cpu 介入控制传输过程

SCSI 和 iSCSI 二者不是一个层面的概念。 SCSI 技术是一种接口，小型计算机系统接口。服务器上用的。

iSCSI 技术是新储存技术，供硬件设备使用的可以在 IP 协议的上层运行的 SCSI 指令集，这种指令集合可以实现在 IP 网络上运行 SCSI 协议，使其能够在诸如高速千兆以太网上进行路由选择。将现有 SCSI 接口与以太网络(Ethernet)技术结合，使服务器可与使用 IP 网络的储存装置互相交换资料。

SAS 是新一代的 SCSI 技术，和 SATA 硬盘相同，都是采用串行技术以获得更高的传输速度，并通过缩短连结线改善内部空间等。SAS 是并行 SCSI 接口之后开发出的全新接口。兼容 SATA。

架构对比

DAS、NAS、SAN 三种存储技术的优缺点

DAS(直接附加存储设备：Direct Attached Storage)

直接附加存储是指将存储设备通过 SCSI 接口直接连接到一台服务器上使用。

【优点】        DAS 购置成本低，配置简单，使用过程和使用本机硬盘并无太大差别，对于服务器的要求仅仅是一个外接的 SCSI 口，因此对于小型企业很有吸引力。 【缺点】       (1)服务器本身容易成为系统瓶颈;       (2)服务器发生故障，数据不可访问;       (3)对于存在多个服务器的系统来说，设备分散，不便管理。同时多台服务器使用 DAS 时，存储空间不能在服务器之间动态分配，可能造成相当的资源浪费;       (4)数据备份操作复杂。

NAS(网络附加存储服务器：Network Attached Storage)

NAS 实际是一种带有瘦服务器的存储设备。这个瘦服务器实际是一台网络文件服务器。NAS 设备直接连接到 TCP/IP 网络上，网络服务器通过 TCP/IP 网络存取管理数据。

【优点】

  1. NAS 作为一种瘦服务器系统，易于安装和部署，管理使用也很方便。同时由于可以允许客户机不通过服务器直接在 NAS 中存取数据，因此对服务器来说可以减少系统开销。NAS 为异构平台使用统一存储系统提供了解决方案。由于 NAS 只需要在一个基本的磁盘阵列柜外增加一套瘦服务器系统，对硬件要求很低，软件成本也不高，甚至可以使用免费的 LINUX 解决方案，成本只比直接附加存储略高。

【缺点】

  1. 由于存储数据通过普通数据网络传输，因此易受网络上其它流量的影响。当网络上有其它大数据流量时会严重影响系统性能;
  2. 由于存储数据通过普通数据网络传输，因此容易产生数据泄漏等安全问题;
  3. 存储只能以文件方式访问，而不能像普通文件系统一样直接访问物理数据块，因此会在某些情况下严重影响系统效率，比如大型数据库就不能使用 NAS。

SAN(专用存储区域网络：Storage Area Network)

SAN 实际是一种专门为存储建立的独立于 TCP/IP 网络之外的专用网络。

【优点】

  1. 目前一般的 SAN 提供 2Gb/S 到 4Gb/S 的传输数率，同时 SAN 网络独立于数据网络存在，因此存取速度很快，另外 SAN 一般采用高端的 RAID 阵列，使 SAN 的性能在几种专业存储方案中傲视群雄。SAN 由于其基础是一个专用网络，因此扩展性很强，不管是在一个 SAN 系统中增加一定的存储空间还是增加几台使用存储空间的服务器都非常方便。通过 SAN 接口的磁带机，SAN 系统可以方便高效的实现数据的集中备份。SAN 作为一种新兴的存储方式，是未来存储技术的发展方向。

【缺点】

  1. 价格昂贵。不论是 SAN 阵列柜还是 SAN 必须的光纤通道交换机价格都是十分昂贵的，就连服务器上使用的光通道卡的价格也是不容易被小型商业企业所接受;
  2. 需要单独建立光纤网络，异地扩展比较困难。

最后修改 March 29, 2024: load balancing, haproxy, hash, update, bypass (33eeace4)