ISCSI技术白皮书-1

Posted by

前言 iSCSI 技术发展及未来展望

企业存储技术发展日新月异,早期大型服务器的 DAS 技术(Direct Attached Storage, 直接附加存储,又称直连存储),后来为了提高存储空间的利用及管理安装上的效率,因而 有了 SAN(Storage Area Network,存储局域网络)技术的诞生,SAN 可说是 DAS 网络化发 展趋势下的产物。早先的 SAN 采用的是光纤通道(FC,Fiber Channel)技术,所以在 iSCSI 出现以前,SAN 多半单指 FC 而言。一直到 iSCSI 问世,为了方便区别,业界才分别以 FC-SAN 及 iSCSI-SAN 的称呼加以分辨。

紧接着,为了能在多用户网络环境中,做好档案集中化分享管理的工作,采用全然不同 于以往的文件协议(File Protocol)数据存取方式的 NAS(Network Attached Storage;网络附 加存储)方案也应运而生。它的出现,为以太网络的成熟及重要,做了最佳脚注。

日益发展及成熟的因特网,更进一步成为了 IP 存储方案成长壮大的最佳腹地及平台, 现成的架构、协议、标准、基础设施及管理工具,莫不吸引着寻求最佳存储方案者的目光。 此背景,加上 FC-SAN 高不可攀的成本及管理门坎的障碍,另一存储成员 iSCSI(Internet SCSI)也来报到了。iSCSI 的出现,标志着低价化 SAN 方案的问世。

IP SAN iSCSI SAN

所谓 iSCSI 亦即通过 IP 网络,将 SCSI 区块数据转换成网络封包的一种传输标准,它和 NAS 一样通过 IP 网络来传输数据,但在数据存取方式上,则采用与 NAS 不同的,而与 FC-SAN 相同的 Block Protocol 协议。iSCSI 最早是由 IBM 和 Cisco 于 2001 年制定的。 事实上,为了解决 FC-SAN 在价格及管理上的诸多门坎,各家早有不同协议的 IP SAN 的研究开发。这些 IP SAN 的架构,其实与 iSCSI 大同小异,只不过并非走标准化的协议(事 实上,在 iSCSI 标准化之前,也没有什么标准不标准的问题),而是各家自行研发的协议,

所以基本上各家 IP SAN 是不兼容的。 两大推波助澜的关键促因

在 iSCSI 尚未标准化之前,只有少数厂商投入 IP SAN 的开发,因为每一家厂商皆开发 专属封闭协议的解决方案,所以这些方案之间无法完全兼容。在当时的市场上,由于发展 iSCSI 的厂商很少,所以支持的平台及软硬件等基础设施相当贫乏,这可说是 iSCSI 发展之 初的最大阻碍及瓶颈。

但接下来的两大事件,却被视为促进 iSCSI 发展与成熟的关键因素,那就是 iSCSI 标准 的正式通过,以及微软的正式支持。

SNIA(存储网络产业协会;The Storage Networking Industry Associate)于 2003 年 2 月 正式制定通过了 iSCSI 标准。业界莫将此标准化视为 iSCSI 发展历程中的最关键因素,自此 开始,有愈来愈多的厂商开始进一步开发合乎业界标准的相关产品。

在 iSCSI 的发展过程中,除了正式标准化具有重大意义外,微软紧接着在 2003 年 5 月 宣布在 WinServer 2003 中,正式支持 iSCSI 技术,并提供 iSCSI Initiator 驱动程序的下载。 微软这项作法,带动了整个 iSCSI 业界的发展。

iSCSI 之所以被看好,首先它根植于 IP 网络上,所以可以采用现有已经非常成熟的管理 工具及基础建设,可为企业节省大笔建设、管理的成本。更重要的是,IP 的人才资源非常 充沛。此外,iSCSI 在数据传输距离上,几乎没有限制的优点,更吸引无数企业的目光。

10G 以太网会是 iSCSI 技术成长的基石

对于 iSCSI 的未来发展,诸多厂商都认为 SAN 与 NAS 的整合会是一大趋势。此外随着

10G Ethernet 的到来,iSCSI 的理论带宽将会攀升到 10Gb 的极速,那么即使未来 FC 提升到

4Gb,速度上也仍然不是 iSCSI 的对手。

第一章 iSCSI 技术背景介绍

2003 年 2 月 11 日,IETF(Internet Engineering Task Force,互联网工程任务组)通过了 iSCSI(Internet SCSI)标准,这项由 IBM、Cisco 共同发起的技术标准,经过三年 20 个版本 的不断完善,终于得到了 IETF 认可。这吸引了很多的厂商参与到相关产品的开发中来,也 推动了更多的用户采用 iSCSI 的解决方案。作为早已被广泛传播的网络存储技术,很多读者 都对这项技术耳熟能详。而 iSCSI 技术最重要的贡献在于其对传统技术的继承和发展上:其 一,SCSI(Small Computer Systems Interface,小型计算机系统接口)技术是被磁盘、磁带 等设备广泛采用的存储标准,从 1986 年诞生起到现在仍然保持着良好的发展势头;其二, 沿用 TCP/IP 协议,TCP/IP 在网络方面是最通用、最成熟的协议,且 IP 网络的基础建设非 常完善。这两点为 iSCSI 的无限扩展提供了夯实的基础。

iSCSI 协议定义了在 TCP/IP 网络发送、接收 block(数据块)级的存储数据的规则和方 法。发送端将 SCSI 命令和数据封装到 TCP/IP 包中再通过网络转发,接收端收到 TCP/IP 包 之后,将其还原为 SCSI 命令和数据并执行,完成之后将返回的 SCSI 命令和数据再封装到 TCP/IP 包中再传送回发送端。而整个过程在用户看来,使用远端的存储设备就象访问本地 的 SCSI 设备一样简单。支持 iSCSI 技术的服务器和存储设备能够直接连接到现有的 IP 交换 机和路由器上,因此 iSCSI 技术具有易于安装、成本低廉、不受地理限制、良好的互操作性、 管理方便等优势。早在 2001 年上半年,IBM 就推出了 IP Storage 200i,是市场上公认的第 一款基于 iSCSI 协议的产品,这款产品的出现,对于身处信息爆炸时代却无法承担光纤通道 SAN 环境高成本的中小型用户来说,具有巨大的吸引力;2001 年 10 月,Cisco 也推出了 SN5420 存储路由器,基于 IP 标准和 SAN(Storage Area Network,存储区域网络)标准, 可以提供与现有 LAN(Local Area Network,局域网)、WAN(Wide Area Network,广域网)、 光纤和 SAN 设备之间的互操作,率先建立了 IP 网络与 SAN 之间的桥梁。现在,有更多的 厂商参与到 iSCSI 产品的开发中,如 Intel 已经推出了存储网卡 IP Storage iSCSI PRO/1000 T, 将协议转化也就是封装、还原 TCP/IP 包的步骤转移到网卡上来执行,大大降低了服务器处 理器的占用率。同时,还有芯片、板卡制造商加入到 iSCSI 产品的开发中,如 Adaptec、Qlogic 等等。

第二章 ISCSI 技术的应用

ISCSI 在 IP SAN 和 FC 领域的应用

很多用户对 iSCSI 的技术和优势比较了解,但是如何将 iSCSI 技术应用到实际中来,大 多数还不是很清楚,因此本白皮书将在下面的文章中着重阐述 iSCSI 技术的应用,希望能够 促进读者对 iSCSI 的理解,并能够帮助用户在面对 IP 与 FC(Fibre Channel,光纤通道) 的选择时,更多一份把握。

在这里,我们先介绍一个概念,即 IP Storage(IP 存储)。在 iSCSI 技术不断完善的过 程中,这个概念也早已被推向市场。简单的说,IP 存储就是基于 IP 网络来实现数据块级存 储的方式。由于 iSCSI 技术的固有优势,IP 存储更是让很多用户翘首以待,希望能够出现 一种大而统的方式,真正将存储规范化。

A 基于 iSCSI 技术的 IP SAN 应用:

图一 基于 iSCSI 技术的 IP SAN

图一为比较简单的 IP SAN 结构图。例子中使用千兆以太网交换机搭建网络环境,由 iSCSI initiator 如文件服务器、iSCSI target 如磁盘阵列及磁带库组成。在这里引入两个概念: initiator 和 target。Initiator 即典型的主机系统,发出读、写数据请求;target 即磁盘 阵列之类的存储资源,响应客户端的请求。这两个概念也就是上文提到的发送端及接受端。 图中使用 iSCSI HBA(Host Bus Adapter,主机总线适配卡)连接服务器和交换机,iSCSI HBA 包括网卡的功能,还需要支持 OSI 网络协议堆栈以实现协议转换的功能。在 IP SAN 中还可 以将基于 iSCSI 技术的磁带库直接连接到交换机上,通过存储管理软件实现简单、快速的数 据备份。

由图一可以看出,基于 iSCSI 技术,利用现有的 IP 网络搭建 IP SAN 是极其简单的,且 无须对管理人员进行深入培训即可掌握存储网络的管理。基于 1Gb 的 IP 网络搭建 IP SAN, 单通道数据传输速率可以达到 160MB/s 左右,因此 iSCSI 技术为用户提供了更高的性价比。

B 基于 iSCSI 路由器整合 FC 和 IP 应用:

如图二,为基于 iSCSI 路由器整合光纤通道网络和 IP 网络的结构图,将光纤通道存储网 络和 iSCSI 网络整合,提供现有局域网(LAN)、广域网(WAN)、FC SAN 设备之间的互操作 性,特点如下:

通过 iSCSI、光纤两种方式都可以访问 IP 网络中通用的存储设备; 通过 IP 网络访问 FC SAN 中的存储设备; 改善存储资源的可管理性及可用性;

这种简单的配置可以在保证成本的前提下,满足用户的高可用性及高性能需求。在服务 器、存储端,都可以通过高可用集群的方式实现高可用性,同时可以体现出光纤通道在处理 关键数据时的高性能。在数据安全性方面,此类路由器如 CISCO 的 SN 542X 系列,提供在光 纤通道交换机中普遍使用的逻辑单元号(LUN)映射功能,可以控制对特殊 LUN 的 target 的访问,因此,可以定位 target 中的重要数据,保证具有特殊权限的用户访问。如果用户 对扩展性及高可用性有需要,存储路由器还可以通过堆叠的方式连接几台路由器,以满足用 户要求。

图二 基于 iSCSI 路由器整合 IP 及 FC

iSCSI 技术在 IP SAN 远程备份中的应用

如图三所示,基于 iSCSI 技术实现 IP SAN,同时通过 IP 广域网络实现远程备份。由于 传统光纤通道 SAN 的操作距离在 10-20km 之间,因此要实现真正的远程备份、异地容灾还是 具备一定的地理局限性。在这个例子中使用通用的 IP 网络合并、扩展 SAN,具备极高的性 价比配置,可以实现远程备份、数据容灾和镜像等功能,同时还可以对远程存储进行实时操 作并能够通过 IP 网络访问其他 IP 存储。

图三 基于 iSCSI 的 IP SAN 的远程备份 此配置的特点为:

IP SAN 通过 IP 广域网实现与远程存储设备的连接;

iSCSI 服务器(initiators)和存储(targets)通过高性能 iSCSI HBA 连接到 IP 网络;

IP 交换机互联 iSCSI 系统;

图四 整合 IP、FC SAN 的远程备份

如图四所示,通过 IP 存储交换机互联光纤、iSCSI 设备,构建完全整合的高性能存储网

络。相比于图三中的配置,此类 SAN 配置的整合度更高。设备中使用光纤或 iSCSI HBA 连接 到交换机,存储交换机通过堆叠的方式以连接更多的设备。通过 IP 广域网,SAN 能够访问 远程数据中心中所有的服务器和存储设备,这就实现了远程备份及灾难恢复。此类 SAN 的典 型特征如下:

基于 IP 网 ,IP络 存储交换机堆叠构建 SAN 组织的核心;

服务器和存储设备可以使用 iSCSI 或光纤,具有极高的可扩展性;

可以使用现有的光纤存储设备,以保护用户的前期投资;

基于 IP 网络,提供各种途径下的无缝整合,如果需要,可以转化成如图三中完全基于的

iSCSI 的 IP 存储网络;

在这两个例子中,用户可能会关心到 QoS(Quality of Service,服务质量)甚至安全 方面的问题,通过公用网络传输极其重要的数据资源可能会出现问题。这个问题也是客观存 在的,iSCSI 协议中通过多种安全方式将这方面的隐患减到最低。第一,TCP/IP 网络连接本 身提供的高级服务及安全特性可以直接应用到 iSCSI 事物处理过程中,就 QoS 来说,IP 网 络提供了广泛的解决方案如事物处理优先级、DiffServ(服务区分)、MPLS(Multi-Protocol Label Switching,多协议分类转换)、RSVP(Resource Reservation Protocol,资源预约 协议)等,就安全性而言,IP 协议提供 ACLs(Access Control Lists)、VLANs(Virtual LANs)、 IPSec 及高级数据编码规则等方案。第二,iSCSI 协议本身也提供了 QoS 及安全特性,首先 就是登录操作顺序,可以限制 initiator 仅向 target 列表中的目标发登录请求,再由 target 确认并返回响应,之后才允许通信;其次就是通过 IPSec 将数据包加密之后传输,包括数据 完整性、确定性及机密性检测等。第三,也是极为特殊的方式,即用户可以使用专有的网络 以保证与其他事物处理分开,通过物理方式将数据传输完全隔离于公用网络之外,且可以保 证不会引起网络阻塞导致性能瓶颈。

iSCSI 技术的综合应用

如图五所示,主要数据中心通过 IP 存储交换机将独立的 iSCSI 存储网络、光纤存储网络、 NAS 设备和 IP 网络系统都整合到通用的 IP 网络平台中的大型应用,成为高度集成的 IP 数 据 SAN。IP 存储交换机可以使用冗余或堆叠方式,通过 IP 网络提供 iSCSI SAN 和 FC SAN 的高可用性及高扩展性的互联。IP 存储交换机同时提供主要数据中心对 IP 广域网络中其他 的远程存储的实时访问,如将数据远程镜像到如图所示的远程数据中心中以达到备份数据的 目的。

图五 主要数据中心、部门级 SAN 应用及远程数据中心 主要数据中心的典型特征如下:

数据中心可以使用 FC SAN、iSCSI SAN、NAS、服务器和 DAS 等各种存储方式作为存 储资源;

IP 存储交换机成为 iSCSI、光纤通道、IP 服务器、NAS 设备互相连接的枢纽,实现了高 端的存储整合,扩展了通用 IP 网络技术的应用。

NAS 设备直接连接到 IP 存储交换机,为存储设备的扩展提供多种选择; 如图五所示,有两个部门级 SAN 应用,实际上可以基于 IP 网络扩展更多的部门级应用。

而此类 SAN 首要就是具备灵活的架构,能够满足部门级的应用即可。将日常工作产生的数 据通过 IP 广域网备份到远程数据中心,最终实现与主要数据中心、远程数据中心和 IP 系统 的整合。

部门级 SAN 的典型特征如下:

IP SAN 通过 IP 广域网实现与主要数据中心的连接,并通过 IP 存储交换机、路由器访问 数据中心的 IP、光纤通道和 iSCSI 存储资源;

iSCSI 服务器(initiators)和存储(targets)通过 iSCSI HBA 连接到 IP 网络;

IP 交换机互联 iSCSI 系统;

这个例子可以应用到数据块级存储要求的存储池构建、iSCSI 和光纤通道等系统的备份, IP SAN 扩展、镜像,最重要的应用就是提供了存储的数据容灾功能,且可以将不同配置的 应用实现统一的多级备份。

图五的例子即存储的企业级应用,多数用户的应用环境都包含或类似于其中的环境,从 概念上达到了存储相对统一的目的。

iSCSI 技术的应用,将本身协议完全不同的 IP SAN 和 FC SAN 加以整合,促进了存储资

源利用率的增长,并具有创新意义。随着 iSCSI 技术的完善,数据块级的存储应用将变得更 为普遍,存储资源的通用性、数据共享能力都将大大增强,并且更加易于管理。随着万兆以 太网络的成熟,IP 存储必然会以其性价比、通用性、无地理限制等优势飞速发展,iSCSI 技术将联合 SCSI、TCP/IP,共同开创网络存储的新局面!

虽然目前 iSCSI 技术只是在存储设备的主机连接方面进入了应用阶段,但是这一应用已 经为存储系统的架构及工作模式带来了许多新的变化。iSCSI 技术在未来将来把传统的 NAS 架构和 SAN 架构完全融和。我们可以把 iSCSI 技术看作这样一个结构:具有 NAS 一样的前端 管理部分,同时象 SAN 一样提供裸设备给主机使用。这样的结构使 iSCSI 技术比 NAS 技术具 有更广泛的适用范围,比 SAN 具有更丰富的管理功能。千万不要小看 iSCSI 的前端管理部分 的作用。由于这样的一个功能部分,iSCSI 技术比传统的 NAS 或者 SAN 技术都更具有吸收其 他先进技术的能力。对虚拟存储技术的迅速吸收和整合就很好的说明了这一点。

目前很多 iSCSI 产品的供应商,都在其产品中集成了或多或少的虚拟存储技术,这其中 尤以 iSCSI 磁盘阵列厂商和 iSCSI 交换设备厂商为代表。例如,可以提供“不同容量磁盘混 用”和“跨阵列划分 LUN”等几种典型的虚拟存储功能。其实现机制也并不复杂,就是将提 供该项功能的软件写入 iSCSI 阵列的管理部分。

第三章 ISCSI 产品的组成

iSCSI 产品从功能上可以分为三个类别:起始端产品、连接件产品和目标端产品。 起始端产品就是指主机中的总线适配器和协议转换软件,这些产品的作用就是提供主机 端的 iSCSI 连接功能。一般情况下,iSCSI 技术可以通过安装协议转换软件,在主机端实现。 即在主机上安装普通的以太网络适配器,并安装驱动程序,然后再安装协议转换软件,这样 这片普通的以太网络适配器就可以支持 iSCSI 协议了。目前比较流行的此类协议转换软件主 要来自 IBM 公司和 Cisco 公司。当然,纯软件的 iSCSI 协议转换效率比较低,而且占用了 主机的 CPU 资源。所以在一些性能要求比较高的环境中,可以选择带有 iSCSI 协处理功能 的专用 iSCSI 适配器。几乎所有的传统 FC 适配器厂商,都可以提供这种类型的 iSCSI 适配 器。此外,一些传统以太网络适配器的厂商也在进入这个产品领域,Intel 公司就已经推出

了自己的 IP 存储专用适配器,其性能与 FC 适配器厂商的产品已经不相上下了。 连接件产品就是指连接主机到存储设备的设备。这类产品又分做两种:提供 iSCSI 到 iSCSI 连接的设备,以及提供 iSCSI 到 SCSI 或者 FC 的连接设备。目前 iSCSI 到 iSCSI 的连 接设备相对较少,这是因为,毕竟 iSCSI 技术刚刚正式问世,其产品的覆盖范围有限,而且 就基本技术原理而言,iSCSI 到 iSCSI 的连接,在通常情况下都可以通过普通的以太网络交 换机实现。真正需要专业化的 iSCSI 到 iSCSI 连接设备的,恐怕只有性能和安全性要求非常

高的超大型数据中心了。

iSCSI 到 SCSI 或 FC 的连接设备其意义则完全不同,这种设备提供了新老技术的互通。 一个已经购买了 SCSI 或 FC 存储设备的用户,如果希望能够搭建基于 iSCSI 的 IP-SAN,而 又不浪费现有设备,那么 iSCSI 到 SCSI 或 FC 的连接设备就是其最好的选择。需要留意的 是,连接类产品正处在更新换代的过程中,其更新的内容主要是内嵌的虚拟存储功能。所以 用户在选择这类产品的时候,应该适当注意其中的虚拟存储功能的强弱。

目标端产品是指磁盘阵列、磁带库等存储数据的设备,这部分是存储系统中的核心所在, 通常也是整个存储系统的投资重点。

存储技术的进步并不仅仅只体现在一个 iSCSI 概念上,传统 ATA 技术的发展产生了 SATA,传统 SCSI 技术的发展产生了 SAS,存储管理技术的发展产生了虚拟存储和内容存 储技术。即便是 IP 存储领域本身,也还包括 FCIP、iFCP 和 iSNS 等几个方向,iSCSI 技术 只是其中较早成熟的一个罢了。iSCSI 最大的特点就是在于其对成熟的以太网络的借用,这 种借用体现在实施成本和管理维护的难度方面。