第六章 iSCSI 与 IP 存储技术
在 Internet 协议(IP)统治着局域网和广域网的今天,数据存储的需要也在日益增长。 Internet 小型机系统接口(iSCSI)协议整合了存储和 IP 网络,使通过 IP 网络完成存储数据 块的传输成为现实。它建立在两个已被广泛应用的技术之上,为存储而建立的 SCSI 命令和 为网络化而建立的 IP 协议。
iSCSI 是一种端到端的协议,用于在 IP 网络中传输存储 I/O 数据块。该协议被使用于服 务器(initiator)、存储设备(target)和协议传输网关设备。ISCSI 使用标准的以太网交换机 和路由器,将数据从服务器转移到存储设备。它还使得 IP 和以太网基础设施可以被用于对 SAN 存储系统的扩展访问,跨过任意距离完成对 SAN 的扩展接入。
迄今为止,不断增长的存储需要和网络化存储为用户带来的好处都在推动着 iSCSI 的部 署。这些好处包括:通过整合存储资源提高存储利用率,获得对更大存储容量的管理能力, 快速部署新的存储系统、获得更高的可用性,更快地完成备份及重建操作等等。
随着近年来对 iSCSI 协议和对基于硅晶体的 TCP/IP 卸载引擎的开发,建立在 IP 网络上 的 SAN 已成为现实。IP 网络的基础设施包括千兆万兆网络、复杂的带宽分配和网络管理工 具,以及 IP 和以太网无处不在的延伸。以上因素与 iSCSI 协议结合在一起,构成了全新的 IP 存储解决方案。
图 1:实现 IP 存储的要素 最大程度地利用存储和网络的特性
iSCSI 建立在来自存储和网络领域的两个应用最广泛的协议之上。在存储领域,iSCSI
使用 SCSI 命令集,即所有存储配置使用的核心存储命令。
在网络方面,iSCSI 使用 IP 和以太网。这是大多数企业网络的基础,并被越来越多地应 用于城域网和广域网。IP 网络已经具备了最高的可管理性、互操作性和经济有效性。
图 2 显示出 SCSI 如何通过 iSCSI 层映射到 TCP/IP,使 SCSI 脱离其并行总线结构。
图 2 利用 SCSI 和 IP 实现网络化存储 图 3: iSCSI 协议堆栈 图 3 显示了一个包含 iSCSI 的简单协议堆栈。
标准 SCSI 命令集的使用促进了现有操作系统与它上面的应用之间的互操作性。而标准
TCP/IP 网络的使用则提供了通向全球 IP 设施的途径。
IP 存储的优势 熟悉的网络技术和管理 减少培训和员工成本 已经验证的传输设施 提高了可靠性
以太网从 1G 向 10G 及更高速过渡 通过简单的性能升级保护投资 跨长距离扩展能力 实现远程数据复制和灾难恢复 将以太网的经济性引入存储 降低用户总成本
IP 存储网络的构成
IP 存储网络是指通过 IP 连接计算机系统和存储部件,同时也指利用 IP 基础设施在各个 目标之间进行存储数据的传输。图 4 所示为 IP 存储网络的各种构成。
第一个构成部分是设备输入/输出,指具有本地 IP 接口的计算机系统和存储资源,包括 带 iSCSI 适配器或 iSCSI 控制器的服务器、磁盘阵列或磁带库。这些设备都采用典型的以太 网接口,但加入了协议处理功能,如 TCP/IP 卸载引擎,以减少主机设备的处理负担。
iSCSI 存储局域网的第二个构成部分是其交换机结构。一个基于 IP 的结构所拥有的先进 特点是用户可以使用标准以太网交换机和路由器来创建 SAN 并通过 SAN 传输数据。这个结 构还可以包含 iSCSI 接口或其它存储接口,如 SCSI 接口或光纤通道接口的存储路由器和交 换机。存储交换机和路由器提供了其它常规 IP 和以太交换机所不具备的多协议接入能力。 它们还为存储提供诸如点对点拷贝命令这样的特殊功能。
IP 存储网络的第三个构成部分是 SAN 间的互联。因为 iSCSI 是一个基于本地 IP 的协议, 实现 SAN 互联不需要与存储相关的特殊功能,可使用一个共享或专用的 IP 以太网络来完成。
图 4:存储网络的分段 了解终端系统
假设一个 iSCSI 环境可以利用现有的 IP 网络,整个解决方案中的一个重要部分当属 iSCSI 终端系统。图 5 概要表示了传统 IP 网络接口卡,传统存储适配器和新型 IP 存储适配 器的重要功能。
网络接口卡(NIC)
传统 NIC(即服务器和 PC 机上的以太网适配器)用于在 PC 机、服务器和存储设备之间传 输文件级别的数据包,比如 NAS 应用。但 NIC 传统上不能传输块状数据,这类数据只能通 过象光纤通道这样的存储主机总线适配器或并行 SCSI 来处理。为了使 NIC 可以处理块状数 据,数据在通过 IP 网络传送出去之前需要先置入 TCP/IP 包。通过主机或服务器上的 iSCSI 驱动程序驱动,NIC 可以在 IP 网络上传输块状数据包。在使用 NIC 时,服务器必须完成块 状数据包的创建和所有 TCP/IP 的处理,这就在很大程度上占用了 CPU 资源并因此降低了服 务器性能。完成 TCP/IP 处理所产生的瓶颈促使人们在适配卡上开发出 TCP/IP 卸载引擎
(TOE)。TOE 将 TCP/IP 处理卸离主机 CPU,转而在主机总线适配器上完成 TCP/IP 处理和 数据包创建。因此,一个带有 TCP/IP 卸载功能的存储 NIC 更象是一个存储主机总线适配器, 而不是一个标准的 NIC。
存储主机总线适配器(HBA)
与 NIC 不同,存储 HBA 被设计用来在存储应用之间传输块状数据。整个数据块的一个参照 数从应用端传送到适配器,省却了将数据块细分成更小帧的需要。然而正因为如此,HBA 必须处理将数据块分化为细小帧的任务。这些任务通过一系列特殊芯片来完成,使 HBA 将 计算机的 CPU 资源从这一处理进程中解脱出来。处理任务完成后,HBA 对外传送帧信息。
iSCSI 适配器
iSCSI 适配器结合了 NIC 和存储 HBA 的功能。这种适配器以块方式取得数据,利用 TCP/IP 处理引擎在适配卡上完成数据分化和处理,然后通过 IP 网络送出 IP 数据包。这些功能的完 成使用户可以在不降低服务器性能的基础上创建一个基于 IP 的 SAN。在推出 iSCSI 适配器 之前,一些厂商开发过这种适配器的软件版本。这些软件实现的适配器从应用中接收块状数 据,但仍需要使用 CPU 周期来完成 TCP/IP 处理。这种适配器的优点在于它能够工作在现有
的以太网 NIC 上,而主要缺点则是需要 CPU 来承接 TCP/IP 处理的繁重负担。
图 5:网络接口卡和主机总线适配卡 iSCSI 部署细节 建立数据中心的途径
对于向网络化存储过渡感兴趣的用户,建立一个 iSCSI SAN 是其完美的选择。iSCSI 与直接 连接存储一样,使用处理数据块的 SCSI 命令集,因此能够与文件系统、数据库和网站服务 等用户应用兼容。同样,由于 iSCSI 运行在无所不在的、熟悉的 IP 网络上,人们不必掌握 一种新的网络结构来获得 SAN 的好处。为了在数据中心构筑一个 iSCSI 存储网络,iSCSI 主机总线适配器可以用在服务器上,和 iSCSI 存储设备以及 IP 和以太交换机的组合一起工 作。如有需要,也可以使用 IP 存储交换机和路由器。图 6 显示了在一个基本的数据中心建 立的与远程站点相连的 iSCSI 存储网络。
将 iSCSI 存储网络扩展到城际网与广域网
IP 数据在 Internet 上得到的迅速采用与蔓延证明了在跨长距离的广域网中使用 IP 的生存能 力。虽然我们刚开始期望通过私网部署 iSCSI 存储,但通过 IP 安全设施(例如 IPSec 和 SSL 提供的认证和加密)的利用也使我们可以在公网上部署广域的 iSCSI 存储。
图 6:数据中心建立的 iSCSI 存储网络提供了 MAN/WAN 访问的无缝路径 本地 iSCSI 存储网络的应用
利用一个本地 iSCSI 存储网络,用户可以通过以下建立在数据中心的应用获得收益: 服务器和存储资源的整合
利用一个网络化的存储结构,用户能够将多个存储设备连接到多台服务器,实现更好的资源 利用和轻松的存储管理,并简化存储结构扩展的过程。
加速备份操作
先前局限于传统 IP 局域网的文件形式的备份操作现在可以在 IP 存储网络中以数据块的操作 方式完成。这种转变实现了更快速度的备份,为用户使用共享或专用的 IP 网络完成存储操 作提供了灵活性。
无缝的远程站点访问和外包存储
利用基于 IP 的存储网络,用户可以跨过城际网或广域网轻易地实现对辅助网点的远程访问。 远程网点可被用于离线备份,建立集群或镜像/复制。此外,用户还能选择存储服务供应商 提供的即需即用的外包存储服务。
用 iSCSI 链接多个 SAN
因为采用了 TCP/IP 完成传输,iSCSI 协议成为跨城际网和广域网连接多个 SAN 的最佳 选择。这种连接包括跨过广域网扩展的本地 iSCSI SAN 和光纤通道 SAN。多个 iSCSI SAN 能够跨过广域网以标准的以太网设备相连。当与一个光纤通道 SAN 进行连接时,需要一台 IP 存储交换机来将 FC 协议转变为 iSCSI 协议。
IP 存储路由器能够桥接 FC 和 iSCSI,而 IP 存储交换机不仅能桥接 FC 和 iSCSI,还能 提供额外的交换机功能。这种 IP 存储交换机提供的交换功能可以用于完成 FC-FC 交换、 FC-iSCSI 交换、FC-千兆以太网交换和千兆网-千兆网交换。IP 存储路由器和交换机均能用 于实现 FC SAN 的扩展,并将 FC SAN 与 iSCSI SAN 连接在一起。图 7 显示了一个基于 IP 存储路由器和交换机的简单配置。
图 7:链接 iSCSI SAN 和光纤通道 SAN
IP 访问存储/存储整合
通过在服务器中使用 iSCSI 适配器,用户现在可以跨过一个 IP 网络访问光纤通道存储资源。 这极大地扩展了存储访问的灵活性,使用户可以不受服务器访问的限制而整合 FC 存储资源。 例如,可以直接跨过 IP 网络访问服务器获得数据库信息。
企业级用户的远程备份
企业用户可以结合 iSCSI 和 IP 存储路由器或交换机,利用 IP 网络实现远程备份。远程站点 虽然独立运行,但仍能通过企业存储资源获得好处,实现 iSCSI 服务器到 FC 存储的备份和 恢复。这种应用使数据中心管理员能集中企业数据资源于一地,并为多个远程用户在不同的 站点上提供各中复杂的企业存储管理。
iSCSI 以先进的网络化存储为 IT 管理人员提供了直接连接存储的替代解决方案。IP 存 储网络利用 IT 部门现成的 IP 网络知识和 LAN、MAN 及 WAN 网络管理工具。IP 技术发展 的浪潮和 10G 万兆以太网的引入,iSCSI 为企业和服务商提供了一个从逻辑上整合基础设施 的发展途径。
第七章 问与答
问:什么是 iSCSI? 答:iSCSI(互联网小型计算机系统接口)是由互联网工程任务组(Internet Engineering Task Force)开发的基于互联网协议(IP)的存储网络协议。
问:iSCSI 的工作方式是什么?
答:服务器通常使用专用 SCSI 连接以及块级接口实现与本地连接的存储系统的通信。iSCSI 将 SCSI 块存储命令封装到以太网数据包中,以便通过 IP 网络进行传输。这样服务器就能够 使用标准的 SCSI 存储命令通过标准的 IP 基础设施与共享的存储设备进行通信。
问:iSCSI 是否是一个标准?
答:是的。iSCSI 协议规范已经于 2003 年 2 月被批准为 IETF 的提案标准。 问:iSCSI 有哪些优点?
答:与直连式存储不同,IP SAN(iSCSI 存储解决方案允许企业跨服务器共享存储资源和非 常方便地扩展存储容量。因为以太网在整个世界得到了广泛应用,iSCSI 便于企业享受网络 存储在数据管理和灵活性方面的优势,又不会使企业遇到采用传统光纤通道 SAN 时通常会遇 到的成本与复杂性高等问题。有了 iSCSI,企业能够利用自己现有的网络投资和专业知识, 经济有效地为自己的分布式环境部署具备完善管理功能的数据中心存储系统。
问:iSCSI 能够为客户解决哪些方面的问题?
答:许多企业都迫切需要低成本的 SAN 解决方案,以便整合他们不断扩展的 Windows®服务 器环境中的数据,并为他们的 Linux®服务器群、标准的 UNIX®服务器以及 Novell 环境提供 集中的数据管理功能。目前在很多情况下,运行在这些服务器上的应用程序(电子邮件、小 型数据库、CRM 以及分析)已被视为业务关键性应用程序,所以这一需求更加强烈。现在 iSCSI 为这些客户提供了卓越的解决方案对于简便性、灵活性以及性价比在 IT 决策中具有关键意 义的环境(尤其是根植于低成本服务器的环境),iSCSI 提供了价格合理的存储整合解决方 案。另外,iSCSI 还能够提供真正价格合理的灾难恢复、备份以及近线存储解决方案。目前 已在多种行业和 IT 环境中部署了 iSCSI。
问:iSCSI 会带来哪些影响?
答:iSCSI 协议可以解决 SAN 部署通常所遇到的成本和复杂性高等难题,并在光纤通道 SAN 无法提供较高的经济有效性的场所部署可行的 SAN 存储解决方案,可望加速从直连式存储向 网络存储的转变。
问:这一新技术已经能够进行实际部署了吗?
答:将 IP 基础设施用于存储系统并非新生事物。Global2000 中的大量公司都在自己的企业 应用数据中心中使用网络存储解决方案,它们通常使用千兆以太网实现存储互联。再进一步 说,基于数据块的 IP 存储解决方案也不是新生事物。举例来说,Network Appliance 去年 一直在实施基于专有协议(VLD)的前 iSCSI 解决方案。这些解决方案已经非常成功地成为 Windows 服务器应用中的存储整合解决方案。最后一点,主要的操作系统供应商都支持 iSCSI,这一点与各个厂商的“合格解决方案”计划相结合,最大限度地减少了通常在采用 新技术的过程中存在的风险。
问:iSCSI 解决方案包含几个部分?
答:iSCSI 解决方案由以下三部分组成:iSCSI“目标端”(iSCSI 存储设备)通过标准的以 太网基础设施(交换机和线缆)连接到主机系统中的 iSCSI“initiators”。iSCSI initiator 既可以是随主机操作系统而来、使用标准以太网卡(NIC)实现物理网络连接的软件驱动程序, 也可以是提供网络连接并从主机 CPU 将 iSCSI 和 TCP/IP 处理过程转移到自身的 iSCSI 主机
总线适配卡。
问:我是应该使用硬件 initiator 还是软件 initiator?
答:iSCSI initiator 是使用硬件还是软件要取决于多种因素,包括预算、性能要求以及服 务器工作负荷。软件 iSCSI initiator 能够实现成本最低的 iSCSI 解决方案。纯软件 iSCSI initiator 使用标准以太网卡,并依靠主机 CPU 来处理 iSCSI 命令和 TCP/IP 栈。大部分客 户工作负荷在 iSCSI 协议处理方面会引发明显的性能开销。如果服务器的负荷较重,则可能 更适合采用硬件 iSCSI initiator。硬件 iSCSI initiator 会将 iSCSI 和 TCP/IP 处理工作 转移到 iSCSI HBA 中。其结果就是能够大幅度降低 CPU 的性能开销,这点堪与光纤通道 HBA 相比。硬件 initiator 还能提供软件解决方案所不具备的功能,例如支持高可用性环境的硬 件多通道功能,支持密集服务器环境中的远程引导功能。 问:由网络小组来接管存储系统会有培训等方面的问题吗? 答:基于以太网的网络存储,也就是网络附加存储,已经在很多企业中得到了很好的实施,
“由谁来管理存储系统”根本不是问题。这里真正的问题是与懂光纤通道的操作人员相比, 懂 TCP/IP 网络的合格操作人员要多得多。也就是说,我们很容易能够找到和培训这些操作 人员,而且留住他们的成本也较低。
问:iSCSI 与 iFCP 等 IP 存储协议有什么关系?
答:iSCSI 是一套纯 IP 存储协议。相比而言,iFCP(Internet Fibre Channel Protocol, 互联网光纤通道协议)是一个通过网关在 TCP/IP 网络上运行光纤通道业务的 IETF 协议。 还能使用 iFCP 将 iSCSI 主机连接到现有的光纤通道 SAN,这一点在某些环境中能够作为向 纯 IP 存储过渡的相应步骤,因此它可以作为 iSCSI 的补充。
问:FCIP 如何?
答:FCIP 是通过 IP 网络(通常是广域网)发送 FCP(光纤通道协议)数据的点对点隧道协 议。它的主要目的是连接物理上分离的 FCP 环境(例如,位于分离数据中心中的两个 FC SAN 孤岛)。它也是对 iSCSI 的补充。
问:光纤通道已经能够在交换网络结构中发送 SCSI 命令,为什么还要用 iSCSI 呢? 答:在大型数据中心环境中,光纤通道 SAN 解决方案已经成为高性能的任务关键性应用程序 事实上的存储网络技术标准。不过,在部署和支持这两方面,光纤通道都堪称是非常复杂和 成本高昂的一种环境,很难部署在分布式的部门级和工作组环境中。而通过以太网连接的 IP SAN 能够为这些环境提供更为简单、价格也更为合理的解决方案。
问:iSCSI 与光纤通道有何区别? 答:光纤通道是一种高速串行互联,而不是网络。光纤通道技术曾经非常昂贵,而且它缺乏 实现路由选择和节点容错的内置功能,只能提供最原始的地址管理和安全功能。在光纤通道 SAN 中,所有这些功能都必须由操作员进行配置,由主机进行管理。这样,就会带来一个既 昂贵又复杂的环境。而 iSCSI 是一套纯 IP SCSI 协议,它能够充分利用标准网络的功能以及 以太网的普及性。这样,就会得到更为简单、成本更低的 SAN。
问:iSCSI 是要取代光纤通道吗? 答:光纤通道是一套经过实践验证的、已经确立并且得到广泛部署的技术,它尤其适合高性 能的任务关键性数据中心环境。业内许多人都认为光纤通道和 iSCSI 是会在可预见的未来并 存和相互补充的两项技术。iSCSI 为分布式的部门级和工作组级数据中心的直连式存储系统 提供了很有吸引力的替代方案,可望加速实现向网络存储的转换。另外,它还可以对企业数 据中心的运作起到补充和扩展作用。 问:我何时应该部署 iSCSI,何时应该部署光纤通道 SAN? 答:对于包含多个中型服务器的环境来说,IP SAN(iSCSI)解决方案通常能够提供最适当的 性价比。iSCSI 能够提供与 FCP 相当的性能,大多数最终用户可能不会发现其中的区别。对
于由高端服务器组成需要进行大量 I/O 操作的环境或 CPU 资源有限的环境,光纤通道 SAN 解决方案可能是更好的选择。成本、管理开销以及应用程序工作负荷都是必须考虑的因素。 问:2Gb 光纤通道是否比千兆以太网快得多?
答:实际上不是。很少有应用程序能够用到 1Gb 光纤通道连接的全部带宽,更别提 2Gb 连接 了。
问:iSCSI 是否加大了 CPU 的性能开销?
答:CPU 性能开销取决于 iSCSI initiator 的实施方式。纯软件 iSCSI initiator 使用标准 以太网卡,并依靠主机 CPU 来处理 iSCSI 命令和 TCP/IP 栈。1Gb 的以太网最多可能会消耗
500MHz 的 CPU。很明显,这一问题通过硬件 iSCSI initiator 会将 iSCSI 和 TCP/IP 处理工 作转移到 iSCSI HBA 中。其结果就是能够大幅度降低 CPU 的性能开销,这点堪与光纤通道 HBA 相比。
问:在安全性方面 iSCSI 能否与光纤通道相比? 答:光纤通道环境给人感觉具有比较高的安全性,原因在于它们是受控的专有网络。iSCSI 给人感觉安全性较低,原因在于它是基于以太网的网络。不过从本质上来说,光纤通道是没 有安全功能的,而 iSCSI 提供了非常丰富的安全功能。iSCSI 规范提供了 initiator 与目标 端两方面的身份验证(使用 CHAP、SRP、Kerberos 和 SPKM),能够阻止未经授权的访问,只 允许那些可信赖的节点进行访问。另外,IPsec Digests(IPsec 摘要)和 Anti-Reply(防 回复)功能阻止了插入、修改和删除操作,而 IPsec Encryption(IPsec 加密)功能防止被 偷听,确保了私密性。
问:目前我可以部署安全的 iSCSI 解决方案吗?
答:可以。目前通过专有 IP 存储网络实施的 iSCSI 提供了与光纤通道类似的安全功能。为 了在范围更广的局域网拓扑中部署 iSCSI,已经定义了多层可选的安全增强功能。与这些安 全增强功能层相关的标准可望在未来几个月内定稿。随着时间的推移,将为 iSCSI 提供非常 全面的安全功能,以满足包括广域网在内的大范围环境的要求。 问:供应商会采取哪些措施确保 iSCSI 解决方案的互操作性? 答: 操作系 统和应 用程 序供应 商一 般都提 供合 格硬件 解决 方案的 目录 。例如, Microsoft®Windows®Catalog 就列出了合格的 iSCSI 硬件设备。在 2003 年下半年,Microsoft 宣布,包括 Network Appliance 在内的 14 家领先存储供应商的 iSCSI 硬件产品已经具备了 参与 iSCSI Designed for Windows 徽标计划的资格。包括邦诺公司在内的众多 iSCSI 硬件 和软件供应商都采用了由 Finisar 分公司 Medusa Labs 这一富有经验的第三方测试机构推出 的 iSCSI 兼容性测试计划。由此确保了 iSCSI 目标端和 initiator 供应商的产品能够成为受 合作伙伴支持的合格解决方案。
问:iSCSI 的互操作性与早期光纤通道的互操作性相比,哪个更高? 答:光纤通道的互操作性问题基本上归属于两个方面:第一,服务器供应商是采用不同的方 式实施 SCSI3 命令集。不过,在过去的六年中,供应商已经解决了与这一方面相关的一些问 题。第二个方面是光纤通道缺乏内置的网络功能,这明显提高了复杂性。iSCSI 环境是建立 在得到广泛认知的标准以太网网络功能上,从本质上讲就要比光纤通道环境简单。因为这些 原因,互操作性问题应该不会像在光纤通道中那样成为一个主要问题。