iSCSI技术简介

iSCSI（iSCSI = internet Small Computer System Interface ）是由IIETF开发的网络存储标准，目的是为了用IP协议将存储设备连接在一起。通过在IP网上传送SCSI命令和数据，ISCSI推动了数据在网际之间的传递，同时也促进了数据的远距离管理。由于其出色的数据传输能力，ISCSI协议被认为是促进存储区域网（SAN）市场快速发展的关键因素之一。因为IP网络的广泛应用， ISCSI能够在LAN、WAN甚至internet上进行数据传送，使得数据的存储不再受地域的现在。

ISCSI技术的核心是在TCP/IP网络上传输SCSI协议，是指用TCP/IP报文、和ISCSI报文封装SCSI报文，使得SCSI命令和数据可以在普通以太网络上进行传输，如下图：

iSCSI 协议定义了在 TCP/IP 网络发送、接收 block（数据块）级的存储数据的规则和方 法。发送端将SCSI命令和数据封装到 TCP/IP 包中再通过网络转发，接收端收到 TCP/IP 包 之后，将其还原为SCSI命令和数据并执行，完成之后将返回的SCSI命令和数据再封装到 TCP/IP 包中再传送回发送端。而整个过程在用户看来，使用远端的存储设备就象访问本地的 SCSI设备一样简单。

早在 2001 年上半年，IBM 就推出了IP Storage 200i，是市场上公认的第一款基于iSCSI 协议的产品，这款产品的出现，对于身处信息爆炸时代却无法承担光纤通道 SAN 环境高成本的中小型用户来说，具有巨大的吸引力；2001年10月，Cisco也推出了SN5420存储路由器，基于IP标准和SAN标准，可以提供与现有LAN、WAN、光纤和SAN设备之间的互操作，率先建立了IP网络与SAN之间的桥梁。现在，有更多的厂商参与到iSCSI产品的开发中，如Intel已经推出了存储网卡 IP Storage iSCSI PRO/1000T，将协议转化也就是封装、还原 TCP/IP 包的步骤转移到网卡上来执行，大大降低了服务器处理器的占用率。同时，还有芯片、板卡制造商加入到iSCSI产品的开发中，如Adaptec、Qlogic 等等。

iSCSI可以实现在IP网络上运行SCSI协议，使其能够在诸如高速千兆以太网上进行路由选择。用户可使用标准的千兆级以太网传输协议，通过Cat5线缆和任意的交换机产品，将服务器与磁盘阵列连接在一起，并且能够提供接近FC SAN的性能。

iSCSI集SCSI、以太网和TCP/IP等技术于一身，支持iSCSI技术的服务器和存储设备能够直接连接到现有的IP交换机和路由器上，具有低廉、开放、大容量、传输速度高、安全等诸多优点，最适合需要在网络上存储和传输大量数据的应用环境，比如广电视频制作和媒资系统，视频监控系统，IPTV系统，数据备份系统，以及许多的对IOPS和带宽性能要求不是还很高的数据库存储系统、大容量文件存储系统。

问：

我们知道数据块是SAN中传输的单位，盘阵也是以块大小来进行读写的，有几个关于块的问题向大家请教：
1、在文件系统一级有簇的概念，簇是由多个扇区组成的，任何磁盘的扇区大小应该都是512个字节， 簇的大小根据文件系统的不同而异，可以是1KB、2KB、4KB。。。等，那么使用集中存储是否还有簇的概念？还是簇就是块呢？文件系统中的分区表是把文件和其对应的簇对应起来，那又是谁来将簇再转换成块的读写呢。是卷管理吗？
2、盘阵控制器对后端磁盘的读写是以什么为单位呢？是块还是柱面的大小？大小可以改变吗？
3、从主机到阵列主机端口-〉缓存->磁盘都是以块为单位进行读写吗？大小保持不变吗？
4、据EMC的工程师说DMX2000中块的大小是不变的，就是磁盘的柱面大小，感觉盘阵的块大小应该可以根据业务的种类而有不同设置？
     请教各位DX了

someone:

fs将块对应成簇
fs之下全是块，vm也是将块对应成块而已。
存储上也是块，控制器也是处理块
做raid的时候可能有segment什么的，striple什么的。
都是块的再集合，再分配。

sansky:

块（block）是创建一个RAID时设置的，RAID控制器每次读写数据时的最小单位。

簇是创建文件系统时设置的，每次读写数据时的最小单位。

块是存储设备上与RAID组相关的概念，而簇是主机上与文件系统相关的概念。两者完全不同。

1、 block size

文件系统的block的大小，一个block是文件在物理硬盘/RAID上的最小单位。SNFS默认是4096 Byte，也就是4K。可选范围是4K-512K。

硬盘的最小单位是sector（扇区），一个Sector的大小是512 Byte。

文件系统的最小单位是block（块），SNFS默认一个block是4096 Byte。

2、 stripe breadth

一个条带的宽度。单位是KB或Block。一个读/写操作是在各个磁盘上的平均大小。SNFS推荐256KB。

其实可以这么理解，如果有一个软RAID，应用需要写512KB的数据到磁盘。如果把条带宽度设置为128，需要写跨磁盘三次。如果把条带宽度设置为256，只是需要跨磁盘一次。 中间减少了从这个磁盘换到另一个磁盘的过程。

二、 Authentication

SNFS的用户验证，主要为了确认用户、为新文件创建权限。这和NT访问NFS需要有权限一样。

使用方法是必须把NT的用户映射为一个SAN-wide userid/group。

例如：把NT的用户ntuser1映射为root，那么在NT上用ntuser1登陆后在SNFS文件系统中写的内容，在Linux/Unix下看到的就是root的Owner。

认证方式有两种，一种是PCNFSD，另一种是NIS。PCNFSD很少见到。NIS是LINUX的一项标准组件。

如果Strict Authentication的选项选中了，则实行强制验证，如果用户认证不通过就不能对SNFS的文件系统做任何操作。默认是不选中的，就是说所有用户均以nobody的身份来操作。

3、 PCNFSD

Personal Computer Network File System Daemon(个人电脑网络文件系统后台程序)

4、 NIS

Network Information Service (网络信息服务)

三、 Mount Options

5、 Async I/O Threads

为了异步处理I/O，所启动的线程数量。默认是8个线程。允许的范围是4—32。

6、 System Threads

SNFS启用的线程数（一个进程可能包含多个线程），如SNFS启动后只有一个进程FSM，但内有多个线程来处理用户的应用。默认是16个。ADIC不建议修改此参数，如果修改可能会引起系统的不稳定。

7、 Retransmission

连接SNFS服务器出现问题时，用多少线程来重新尝试连接。默认是12个。

8、 TimeOut

和SNFS服务器通讯出现问题时，每个线程的超时时间。单位是0.1秒。默认是100，也就是10秒。

9、 Mount Retransmits

连接SNFS服务器出现问题时，重新连接的次数。默认是1次。

10、QOS Token Hold Time

这个参数只有在开启SNFS QOS的时候才会生效。Token意思是令牌，就好像以前的Token-Ring(令牌环)网络，谁在有令牌谁通信，通信完成则交出令牌。

这个参数的意思是，在多长时间内没有IO，就交出令牌。默认是60秒。而且ADIC要求这个参数是5秒的倍数。如果不是5秒的倍数，多出5秒倍数以外的部分放弃。

11、Background Mount Retries

12、Debug

可选参数，如果打开，则记录调试信息，记录在系统日志中。默认是关闭的。

13、Hard Reconnect

可选参数，如果打开，则在出现问题时，一直重新连接SNFS服务器，同时左边的Retransmissions的参数失效。默认是关闭。

14、Hard Mount

可选参数，如果打开，则一直重试Mount文件系统，同时左边的Mount Retransmits的参数失效。默认是关闭。ADIC强烈建议在Window上不要打开此开关。

15、Read Only

可选参数，如果打开，则以只读的模式来访问文件系统。默认是关闭。如果有些应用是一个处理多个读取的话，此参数就非常有意义。

16、File Name Case Insensitive

SNFS的文件对文件名的大小写是敏感的。但是在典型的Window NT中，大小写是不敏感的。为了做到兼容NT和UNIX的操作系统，你可以让NT去对大小写不敏感。默认是关闭。

如果选择对大小写不敏感，后面则需要选择让SNFS如何去转换大小写，第一个是不做任何转换，第二个是转换为小写，第三个是转换为大写。

17、Force File Buffering

18、Disable Buffer Cache

在客户机关闭buffer（缓冲），让所有的IO直接读取物理设备。可以在系统配置比较低的机器上这么做。

19、 Allow Diskless Mount

在一个软RAID中，是否允许在部分硬盘不可访问的时候去Mount文件系统。如果允许，Mount后可以访问数据，但数据都不完整，因为数据都分布在不同的磁盘中。此参数意义不大。

20、 Fast Failover Detection

快速的Failover检测，如果打开此选项，客户端在3秒内如果没有得到回应，就认为这个SNFS服务器失效。如果不打开此选项，就是左边的TimeOut参数，10秒。

21、 Delay Atime Updates

Atime= Access Time，就是说如果一个文件被一个进程打开，另一个进程要打开这个文件必须要等到上一个进程结束才可以，无论是读还是写。

ADIC 强烈建议不要开启这个选项。

22、 Readonly Directories

把所有的目录的属性置为“只读”

四、 Cache Parameters（所有Cache这些参数输入数字0代表为默认值）

23、 Meta-Data Cache 参数(Low/High/Max water mark,Purge Period)

Meta-Data Cache包含文件的控制信息，节点，占用空间等信息。可以调节的有低水位线，高水位线，最大水位线，还有写入周期。写入周期，就是每隔多长时间把Meta-Data Cache写入物理硬盘。

这些配置的调整会影响OS的性能和稳定性，ADIC建议不要修改这些参数。

24、 Data Buffer 参数(Size/Cache minimum/Cache Maximum)

Data Buffer 所使用内存的大小范围，一个Data Buffer的大小。

如果文件系统的block小于64K，一个Data Buffer 就是64K。如果文件系统的block大于64K，那么一个Data Buffer就是一个block的大小。相当于定义预读的大小。

Data Buffer Cache的范围是说允许Data Buffer所使用内存的大小，默认是最小5MB，最大10MB。调整范围是最大256MB。

Data Buffer Cache的大小一旦设定，就是强迫的，SNFS就会占用那么多的内存。

25、 Attribute Cache 参数（Flush time for shared/non shared Files）

当客户端在读写一个文件时，这个文件的属性会更改，如文件大小，最后读取时间等信息。SNFS服务器负责来同步这些属性信息。

对于一个要求实时性比较高的SAN共享存储来讲，比较经常和SNFS服务器去同步这些信息变的非常必要。

对于被共享的文件，默认的flush时间是2秒；对于没有共享的文件，默认的flush时间是30秒。

这个参数比较危险，ADIC建议不要修改。

26、 Buffer Cache Daemons

客户端用于缓冲的后台服务所启用的进程数，单位是多少个线程。默认是8。调整范围是1—100。如果增加用于缓冲的后台线程，有助于提高性能。

27、 Buffer Cache Read Ahead

预读Buffer的数量。默认是预读16个Buffer，最大值是100，如果设置为0则关闭预读功能。

28、 Buffer Cache Auto DMA Read/Write Length

一个读/写操作是先与Buffer交换数据，然后Buffer在达到水位线后于硬盘交换数据。这个参数，就是Buffer与硬盘交换数据的单位大小。默认是一个Data Buffer的数值。

如果文件系统的block小于64K，一个Data Buffer 就是64K。如果文件系统的block大于64K，那么一个Data Buffer就是一个block的大小。

29、 Buffer Cache NonPaged Pool Usage

Buffer Cache所使用的非页面内存池的百分比。默认是75%，调整范围是10%—90%。

查看微软Q126402文章来衡量如何设置此参数。

在Window 任务管理器中可以看到每个进程所使用的Paged Pool 和Non Paged Pool的内存大小。

五、StorNext File System Port Mapper daemon

是一个后台进程，简称FSMPM，在每个SNFS的客户端和服务器端都有运行，是Windows中是一个服务的形式存在。

FSMPM要比FSM启动早，它回去读取fsnameservers,fsmlist,fsrouters文件，得到所需的信息后，调动起FSM来，加载SNFS文件系统。

这个服务在Windows中作用不大，不启动也可以。

六、Fsnameservers

记录所有SNFS服务器的地址的配置文件。一行一个地址，每行后面不用加任何符号。

七、Fsmlist

记录所有需要加载的文件系统的列表。一行一个文件系统名称，每行后面不用加任何符号。

八、Fsroutes

如果客户端有多块网卡，可以定义优先使用那个IP地址去连接。

格式为，SNFS服务器地址和定义的优先使用地址中间加一个空格。参考fsroutes.example文件。

          上图中的存储服务器与盘阵之间以FC-SAN的形式进行BLOCK级数据传输，再以文件级协议向WEB服务器提供的数据读写访问功能。如果安装iSCSI协议转换软件，就可以将数据转换为iSCSI的数据包发出去，存储服务器与其他服务器构造了一个IP SAN。

很多具体的应用环境中业务类型越多，存储系统的类型就很难定义。