Skip to main content
How to enable StorageGRID in your environment
本繁體中文版使用機器翻譯，譯文僅供參考，若與英文版本牴觸，應以英文版本為準。

安裝 StorageGRID 的必要條件

貢獻者

瞭解部署 StorageGRID 所需的運算、儲存、網路、泊塢視窗和節點需求。

運算需求

下表列出每種 StorageGRID 節點類型支援的最低資源需求。這些是 StorageGRID 節點所需的最低資源。

節點類型 CPU 核心 RAM

管理

8.

24GB

儲存設備

8.

24GB

閘道

8.

24GB

此外、每個實體 Docker 主機至少應分配 16 GB 的 RAM 、以便正常運作。例如、若要將表格中所述的任何兩項服務一起託管在一個實體 Docker 主機上、您可以進行下列計算：

24 + 24 + 16 = 64GB RAM 和 8 + 8 = 16 核心

由於許多現代伺服器超出這些需求、我們將六個服務（ StorageGRID 容器）合併到三個實體伺服器上。

網路需求

StorageGRID 流量的三種類型包括：

  • * 網格流量（必填）。 *在網格中所有節點之間傳輸的內部StorageGRID 不完整流量。

  • * 管理流量（選用）。 *用於系統管理與維護的流量。

  • * 用戶端流量（選用）。 *在外部用戶端應用程式和網格之間傳輸的流量、包括S3和Swift用戶端的所有物件儲存要求。

您最多可以設定三個網路、以搭配 StorageGRID 系統使用。每種網路類型都必須位於不重疊的個別子網路上。如果所有節點都位於同一子網路、則不需要閘道位址。

在此評估中、我們會在兩個包含網格和用戶端流量的網路上部署。您可以稍後新增管理網路、以提供額外的功能。

務必將網路一致地對應到所有主機的介面。例如、如果每個節點上有兩個介面、分別是 ens192 和 ens224 、則所有主機上的所有介面都應該對應到相同的網路或 VLAN 。在此安裝中、安裝程式會將這些資料對應至 Docker 容器、將其對應為 eth0@if2 和 eth2@if3 （因為容器內的迴路是 if1 ）、因此一致的模型非常重要。

Docker 網路注意事項

StorageGRID 使用網路的方式與某些 Docker 容器實作方式不同。不使用 Docker （或 Kubernetes 或 swarm ）提供的網路。StorageGRID 實際上會將容器當成 --net=none 、這樣 Docker 就不會對容器進行任何網路連線。當容器被 StorageGRID 服務所衍生出來之後、就會從節點組態檔案中定義的介面建立新的 Macvlan 裝置。該裝置有新的 MAC 位址、可作為獨立的網路裝置、從實體介面接收封包。然後將 Macvlan 裝置移至 Container 命名空間、並重新命名為容器內的 eth0 、 eth1 或 eth2 之一。此時、主機作業系統中不再顯示網路裝置。在我們的範例中、網格網路裝置是 Docker 容器內的 eth0 、用戶端網路是 eth2 。如果我們有管理網路、則該裝置會是容器中的 eth1 。

註 容器網路裝置的新 MAC 位址可能需要在某些網路和虛擬環境中啟用雜亂模式。此模式可讓實體裝置接收和傳送不同於已知實體 MAC 位址的 MAC 位址封包。 如果在 VMware vSphere 中執行、您必須接受雜亂模式、 MAC 位址變更、以及在執行 RHEL 時、用於處理 StorageGRID 流量的連接埠群組中的偽造傳輸。大多數情況下、 Ubuntu 或 Debian 都能正常運作、無需進行這些變更。

儲存需求

每個節點都需要 SAN 型或本機磁碟裝置、大小如下表所示。

註 表格中的數字是針對每種 StorageGRID 服務類型、而非整個網格或每個實體主機。根據部署選項、我們將在本文件稍後的中、計算每部實體主機的數量 "實體主機配置與需求"。 安裝程式會在 StorageGRID 容器本身建立標有星號的路徑或檔案系統。管理員不需要手動設定或建立檔案系統、但主機需要區塊裝置才能滿足這些需求。換句話說、區塊裝置應該使用命令來顯示 lsblk 、但不要在主機作業系統中格式化或掛載。
節點類型 LUN 用途 LUN數量 LUN 的最小大小 需要手動檔案系統 建議的節點組態項目

全部

管理節點系統空間
/var/local （ SSD 在此提供協助）

每個管理節點各一個

90GB

否

BLOCK_DEVICE_VAR_LOCAL = /dev/mapper/ADM-VAR-LOCAL

所有節點

Docker 儲存池位於
/var/lib/docker for container pool

每個主機（實體或 VM ）各一個

每個容器 100 GB

是– etx4

NA –格式化並以主機檔案系統掛載（未對應至容器）

管理

管理節點稽核記錄（管理容器中的系統資料）
/var/local/audit/export

每個管理節點各一個

200GB

否

BLOCK_DEVICE_AUDIT_LOGS =/dev/mapper/ADM-OS

管理

管理節點表（管理容器中的系統資料）
/var/local/mysql_ibdata

每個管理節點各一個

200GB

否

BLOCK_DEVICE_TABLES = /dev/mapper/ADM-MySQL

儲存節點

物件儲存（區塊裝置） /var/local/rangedb0 （ SSD 在此提供協助） /var/local/rangedb1 /var/local/rangedb2

每個儲存容器三個

4000GB

否

BLOCK_DEVICE_RANGEDB_000 = /dev/mapper/SN-Db00
BLOCK_DEVICE_RANGEDB_001 = /dev/mapper/SN-Db01
BLOCK_DEVICE_RANGEDB_002 = /dev/mapper/SN-Db02

在此範例中、下表所示的磁碟大小是每種容器類型所需的。本文件稍後的、中說明每部實體主機的需求 "實體主機配置與需求"。

每種容器類型的磁碟大小

管理容器

名稱 尺寸（ GiB ）

Docker 儲存

100 （每個容器）

ADM-OS

90

ADM-Audit

200

ADM-MySQL

200

儲存容器

名稱 尺寸（ GiB ）

Docker 儲存

100 （每個容器）

SN-OS

90

Rangedb-0

4096

Rangedb-1

4096

Rangedb-2

4096

閘道容器

名稱 尺寸（ GiB ）

Docker 儲存

100 （每個容器）

/var/local

90

實體主機配置與需求

透過結合上表所示的運算和網路需求、您可以獲得一組基本的硬體、以安裝三部具有 16 核心、 64GB RAM 和兩個網路介面的實體（或虛擬）伺服器。如果需要較高的處理量、可以在網格或用戶端網路上連結兩個或更多介面、並在節點組態檔案中使用 VLAN 標記介面、例如 bond0.520 。如果您預期的工作負載會更密集、那麼主機和容器的記憶體就會更多。

如下圖所示、這些伺服器將裝載六個 Docker 容器、每個主機兩個。RAM 的計算方式為每個容器提供 24GB 、主機作業系統本身則提供 16GB 。

三台主機的範例配置。

每個實體主機（或 VM ）所需的總 RAM 為 24 x 2 + 16 = 64GB 。下表列出主機 1 、 2 和 3 所需的磁碟儲存設備。

主機 1 尺寸（ GiB ）

  • Docker Store*

/var/lib/docker （檔案系統）

200 （ 100 x 2 ）

  • 管理容器 *

BLOCK_DEVICE_VAR_LOCAL

90

BLOCK_DEVICE_AUDIT_LOGS

200

BLOCK_DEVICE_TABLES

200

  • 儲存容器 *

SN-OS
/var/local （裝置）

90

Rangedb-0 （裝置）

4096

Rangedb-1 （裝置）

4096

Rangedb-2 （裝置）
主機 2. 尺寸（ GiB ）

  • Docker Store*

/var/lib/docker （共享）

200 （ 100 x 2 ）

  • 閘道容器 *

GW-OS */var/local

100

  • 儲存容器 *

*/var/local

100

Rangedb-0

4096

Rangedb-1

4096

Rangedb-2
主機 3 尺寸（ GiB ）

  • Docker Store*

/var/lib/docker （共享）

200 （ 100 x 2 ）

  • 閘道容器 *

*/var/local

100

  • 儲存容器 *

*/var/local

100

Rangedb-0

4096

Rangedb-1

4096

Rangedb-2

Docker 儲存區的計算方式是：每個 /var/local （每個容器）允許 100GB x 兩個容器 = 200GB 。

準備節點

若要準備 StorageGRID 的初始安裝、請先安裝 RHEL 9.2 版並啟用 SSH 。根據最佳實務做法設定網路介面、網路時間傳輸協定（ NTP ）、 DNS 和主機名稱。您至少需要一個已啟用網格網路的網路介面、另一個則需要用戶端網路。如果您使用的是具有 VLAN 標記的介面、請依照下列範例進行設定。否則、簡單的標準網路介面組態就足夠了。

如果您需要在網格網路介面上使用 VLAN 標記、您的組態應該有兩個檔案 /etc/sysconfig/network-scripts/ 、格式如下：

# cat /etc/sysconfig/network-scripts/ifcfg-enp67s0
# This is the parent physical device
TYPE=Ethernet
BOOTPROTO=none
DEVICE=enp67s0
ONBOOT=yes
# cat /etc/sysconfig/network-scripts/ifcfg-enp67s0.520
# The actual device that will be used by the storage node file
DEVICE=enp67s0.520
BOOTPROTO=none
NAME=enp67s0.520
IPADDR=10.10.200.31
PREFIX=24
VLAN=yes
ONBOOT=yes

本範例假設您的網格網路實體網路裝置是 enp67s0 。它也可以是綁定的設備，例如 bond0 。無論您是使用結合或標準網路介面、如果網路連接埠沒有預設 VLAN 、或是預設 VLAN 沒有與網格網路相關聯、則必須在節點組態檔案中使用 VLAN 標記介面。StorageGRID 容器本身不會取消標記乙太網路框架、因此必須由父作業系統處理。

iSCSI 的選用儲存設備設定

如果您不使用 iSCSI 儲存設備、則必須確保 host1 、 host2 和 host3 包含大小足以滿足其需求的區塊裝置。請參閱 "每種容器類型的磁碟大小" 瞭解 host1 、 host2 和 host3 儲存需求。

若要使用 iSCSI 設定儲存設備、請完成下列步驟：

步驟

  1. 如果您使用外部 iSCSI 儲存設備、例如 NetApp E 系列或 NetApp ONTAP ® 資料管理軟體、請安裝下列套件：

    sudo yum install iscsi-initiator-utils
sudo yum install device-mapper-multipath

  2. 在每個主機上找到啟動器 ID 。

    # cat /etc/iscsi/initiatorname.iscsi
InitiatorName=iqn.2006-04.com.example.node1

  3. 使用步驟 2 中的啟動器名稱、將儲存裝置上的 LUN （表中所示的數量和大小）對應 "儲存需求" 至每個儲存節點。

  4. 使用探索新建立的 LUN iscsiadm 並登入它們。

    # iscsiadm -m discovery -t st -p target-ip-address
# iscsiadm -m node -T iqn.2006-04.com.example:3260 -l
Logging in to [iface: default, target: iqn.2006-04.com.example:3260, portal: 10.64.24.179,3260] (multiple)
Login to [iface: default, target: iqn.2006-04.com.example:3260, portal: 10.64.24.179,3260] successful.
    註 如需詳細資訊、請參閱 "建立 iSCSI 啟動器" Red Hat 客戶入口網站上的。

  5. 若要顯示多重路徑裝置及其相關的 LUN WWID 、請執行下列命令：

    # multipath -ll

    如果您不使用 iSCSI 搭配多重路徑裝置、只要以唯一的路徑名稱掛載裝置、即可持續進行裝置變更和重新開機。

    /dev/disk/by-path/pci-0000:03:00.0-scsi-0:0:1:0
    提示 如果移除或新增裝置、只要使用 /dev/sdx 裝置名稱可能會在稍後發生問題。 如果您使用多重路徑裝置、請修改 /etc/multipath.conf 檔案以使用別名、如下所示。
    註 視配置而定、這些裝置可能出現在所有節點上、也可能不存在。 
    multipaths {
multipath {
wwid 36d039ea00005f06a000003c45fa8f3dc
alias Docker-Store
}
multipath {
wwid 36d039ea00006891b000004025fa8f597
alias Adm-Audit
}
multipath {
wwid 36d039ea00005f06a000003c65fa8f3f0
alias Adm-MySQL
}
multipath {
wwid 36d039ea00006891b000004015fa8f58c
alias Adm-OS
}
multipath {
wwid 36d039ea00005f06a000003c55fa8f3e4
alias SN-OS
}
multipath {
wwid 36d039ea00006891b000004035fa8f5a2
alias SN-Db00
}
multipath {
wwid 36d039ea00005f06a000003c75fa8f3fc
alias SN-Db01
}
multipath {
    wwid 36d039ea00006891b000004045fa8f5af
alias SN-Db02
}
multipath {
wwid 36d039ea00005f06a000003c85fa8f40a
alias GW-OS
}
}

在主機作業系統中安裝 Docker 之前、請先格式化並掛載 LUN 或磁碟備份 /var/lib/docker。其他 LUN 是在節點組態檔中定義、直接由 StorageGRID 容器使用。也就是說、它們不會出現在主機作業系統中、它們會出現在容器本身、而這些檔案系統則由安裝程式處理。

如果您使用的是 iSCSI 備份 LUN 、請在您的 fstab 檔案中放入類似以下的內容。如前所述、其他 LUN 不需要掛載於主機作業系統中、但必須顯示為可用的區塊裝置。

/dev/disk/by-path/pci-0000:03:00.0-scsi-0:0:1:0 /var/lib/docker ext4 defaults 0 0

準備安裝 Docker

若要準備 Docker 安裝、請完成下列步驟：

步驟

  1. 在所有三台主機上的 Docker 儲存磁碟區上建立檔案系統。

    # sudo mkfs.ext4 /dev/sd?

    如果您使用的 iSCSI 設備具有多路徑功能，請使用 /dev/mapper/Docker-Store。

  2. 建立 Docker 儲存磁碟區裝載點：

    # sudo mkdir -p /var/lib/docker

  3. 將泊塢視窗儲存容量裝置的類似項目新增至 /etc/fstab。

    /dev/disk/by-path/pci-0000:03:00.0-scsi-0:0:1:0 /var/lib/docker ext4 defaults 0 0

    只有在使用 iSCSI 裝置時、才建議使用下列 _netdev 選項。如果您不需要使用本機區塊裝置 _netdev defaults 、建議您使用。

    /dev/mapper/Docker-Store /var/lib/docker ext4 _netdev 0 0

  4. 掛載新的檔案系統並檢視磁碟使用率。

    # sudo mount /var/lib/docker
[root@host1]# df -h | grep docker
/dev/sdb 200G 33M 200G 1% /var/lib/docker

  5. 基於效能考量、請關閉交換並停用。

    $ sudo swapoff --all

  6. 若要保留設定、請從 /etc/fstab 移除所有交換項目、例如：

    /dev/mapper/rhel-swap swap defaults 0 0
    註 如果無法完全停用交換、可能會嚴重降低效能。

  7. 對節點執行測試重新開機、以確保該 /var/lib/docker 磁碟區持續存在、且所有磁碟裝置都會恢復正常。