查看最佳实践
建议更改
PDF
在NetApp解决方案 上部署BeeGFS时、请遵循最佳实践准则。
标准约定
在物理组装和创建Ansible清单文件时、请遵循以下标准约定(有关详细信息、请参见 "创建Ansible清单"）。
-
文件节点主机名按顺序编号(h01-HN)、机架顶部的数字较低、底部的数字较高。
例如，命名约定
[location][row][rack]hN如下所示：beegfs_01。 -
每个块节点由两个存储控制器组成、每个控制器都有自己的主机名。
存储阵列名称用于在Ansible清单中引用整个块存储系统。存储阵列名称应按顺序编号(A01 - A)、各个控制器的主机名均根据该命名约定派生。
例如，名为的块节点
ictad22a01通常可以为每个控制器配置主机名，如ictad22a01-a和ictad22a01-b，但在Ans得 清单中称为netapp_01。 -
同一构建块中的文件和块节点共享相同的编号方案、并在机架中彼此相邻、两个文件节点位于顶部、两个块节点位于其正下方。
例如、在第一个构建块中、文件节点h01和h02都直接连接到块节点A01和A02。主机名依次为h01、h02、A01和A02。
-
组件会根据主机名按顺序进行安装、因此、编号较低的主机名位于机架顶部、编号较高的主机名位于底部。
其目的是最大限度地缩短连接到机架交换机顶部的缆线长度、并定义标准部署实践以简化故障排除。对于因机架稳定性问题而不允许这样做的数据中心、当然也允许使用相反方法、即从下往上填充机架。
InfiniBand存储网络配置
每个文件节点上一半的InfiniBand端口用于直接连接到块节点。另一半连接到InfiniBand交换机、并用于BeeGFS客户端-服务器连接。在确定用于BeeGFS客户端和服务器的IPoIB子网的大小时、您必须考虑计算/GPU集群和BeeGFS文件系统的预期增长。如果您必须偏离建议的IP范围、请注意、一个构建块中的每个直接连接都有一个唯一的子网、并且与用于客户端-服务器连接的子网没有重叠。
直接连接
每个构建块中的文件和块节点始终使用下表中的IP进行直接连接。
|
此寻址方案遵循以下规则：第三个八位字节始终为奇数或偶数、具体取决于文件节点是奇数还是偶数。 |
| 文件节点 | IB端口 | IP 地址 | 块节点 | IB端口 | 物理IP | 虚拟IP |
|---|---|---|---|---|---|---|
奇数(H1) |
i1a |
192.168.1.10 |
奇数(C1) |
2a. |
192.168.1.100 |
192.168.1.101 |
奇数(H1) |
I2a. |
192.168.3.10 |
奇数(C1) |
2a. |
192.168.3.100 |
192.168.3.101 |
奇数(H1) |
i3a |
192.168.5.10 |
偶数(C2) |
2a. |
192.168.5.100 |
192.168.5.101 |
奇数(H1) |
i4a |
192.168.7.10 |
偶数(C2) |
2a. |
192.168.7.100 |
192.168.7.101 |
偶数(H2) |
i1a |
192.168.2.10 |
奇数(C1) |
2亿 |
192.168.2.100 |
192.168.2.101 |
偶数(H2) |
I2a. |
192.168.4.10 |
奇数(C1) |
2亿 |
192.168.4.100 |
192.168.4.101 |
偶数(H2) |
i3a |
192.168.6.10 |
偶数(C2) |
2亿 |
192.168.6.100 |
192.168.6.101 |
偶数(H2) |
i4a |
192.168.8.10 |
偶数(C2) |
2亿 |
192.168.8.100 |
192.168.8.101 |
BeeGFS客户端-服务器IPoIB寻址方案
每个文件节点都运行多个BeeGFS服务器服务(管理、元数据或存储)。为了使每个服务能够独立故障转移到另一个文件节点、每个服务都配置了唯一的IP地址、这些地址可以在两个节点之间浮动(有时称为逻辑接口或LIF)。
此部署虽然不是必需的、但假定这些连接正在使用以下IPoIB子网范围、并定义了一个标准寻址方案、该方案将应用以下规则：
-
根据文件节点InfiniBand端口是奇数还是奇数、第二个八位字节始终是奇数甚至偶数。
-
BeeGFS集群IP始终为`xxx。127.100.yyy`或`xxx.128.100.yyy`。
|
|
除了用于带内操作系统管理的接口之外、Corosync还可以使用其他接口进行集群检测和同步。这样可以确保丢失一个接口不会导致整个集群关闭。 |
-
BeeGFS管理服务始终为`xxx.yyy.101.0`或`xxx.yyy.102.0`。
-
BeeGFS元数据服务始终位于`xxx.yyy.101.zzz`或`xxx.yyy.102.zzz`。
-
BeeGFS存储服务始终位于
xxx.yyy.103.zzz或xxx.yyy.104.zzz。 -
范围`100.xxx.1.1`到`100.xxx.99.255`的地址是为客户端预留的。
IPoIB单子网寻址方案
鉴于中列出的优势，本部署指南将使用单个子网模式 "软件架构"。
下表提供了单个子网的范围：100.127.0.0/16。
| 目的 | InfiniBand端口 | IP地址或范围 |
|---|---|---|
BeeGFS集群IP |
i1b或i4b |
100.127.100.1 - 100.127.100.255 |
BeeGFS管理 |
i1b |
100.127.101.0 |
i2b. |
100.127.102.0 |
|
BeeGFS元数据 |
i1b或i3b |
100.127.101.1 - 100.127.101.255 |
i2b或i4b |
100.127.102.1 - 100.127.102.255 |
|
BeeGFS存储 |
i1b或i3b |
100.127.103.1 - 100.127.103.255 |
i2b或i4b |
100.127.104.1 - 100.127.104.255 |
|
BeeGFS客户端 |
(因客户端而异) |
100.127.1.1 - 100.127.99.255 |
IPoIB双子网寻址方案
不再建议使用双子网编址方案、但仍可实施。有关建议的双子网方案、请参见下表。
下表提供了子网A的范围：100.127.0.0/16。
| 目的 | InfiniBand端口 | IP地址或范围 |
|---|---|---|
BeeGFS集群IP |
i1b |
100.127.100.1 - 100.127.100.255 |
BeeGFS管理 |
i1b |
100.127.101.0 |
BeeGFS元数据 |
i1b或i3b |
100.127.101.1 - 100.127.101.255 |
BeeGFS存储 |
i1b或i3b |
100.127.103.1 - 100.127.103.255 |
BeeGFS客户端 |
(因客户端而异) |
100.127.1.1 - 100.127.99.255 |
下表提供了子网B的范围：100.128.0.0/16。
| 目的 | InfiniBand端口 | IP地址或范围 |
|---|---|---|
BeeGFS集群IP |
i4b. |
100.128.100.1 - 100.128.100.255 |
BeeGFS管理 |
i2b. |
100.128.102.0 |
BeeGFS元数据 |
i2b或i4b |
100.128.102.1 - 100.128.102.255 |
BeeGFS存储 |
i2b或i4b |
100.128.104.1 - 100.128.104.255 |
BeeGFS客户端 |
(因客户端而异) |
100.128.1.1 - 100.128.99.255 |
|
|
并非上述范围内的所有IP都用于此经过NetApp验证的架构。它们展示了如何预先分配IP地址、以便使用一致的IP寻址方案轻松扩展文件系统。在此方案中、BeeGFS文件节点和服务ID与已知IP范围中的第四个八位字节相对应。如果需要、文件系统可以扩展到255个节点或服务以上。 |