適用於 AIX 與 ONTAP 的 NVMe / FC 主機組態
您可以在 IBM AIX 和 VIOS/PowerVM 主機上啟用 NVMe over Fibre Channel ( NVMe / FC )、將 ONTAP 儲存設備作為目標。如需支援組態的詳細資訊、請參閱 "NetApp 互通性對照表工具"。
下列支援可用於具有 ONTAP 的 AIX 主機的 NVMe / FC 主機組態:
-
從 ONTAP 9.13.1 開始、已新增適用於 IBM AIX 7.2 TL5 SP6 、 AIX 7.3 TL1 SP2 和 VIOS 3.1.4.21 版本的 NVMe / FC 支援、同時支援實體和虛擬堆疊的 SAN 開機。如需設定 SAN 開機支援的詳細資訊、請參閱 IBM 文件。
-
Power9 和 Power10 IBM 伺服器支援 NVMe / FC 。
-
NVMe 裝置不需要個別的 PCM (路徑控制模組)、例如 Host Utilities for AIX SCSI Multipath I/O ( MPIO )支援。
-
VIOS 3.1.4.21 引進 NetApp ( VIOS/PowerVM )的虛擬化支援。使用 Power10 IBM 伺服器透過 NPIV ( N_portID 虛擬化)儲存虛擬化模式支援這項功能(僅限 _ )。
-
確認您擁有 32 GB FC Emulex 介面卡( EN1A 、 EN1B 、 EN1L 、 EN1M )或 64 GB FC 介面卡( EN1N 、 EN1P )、以及介面卡韌體 12.4.257.30 及更新版本。
-
如果您有 MetroCluster 組態、 NetApp 建議您變更 AIX NVMe / FC 預設 APD ( All Path Down )時間、以支援 MetroCluster 非計畫性切換事件、以避免 AIX 作業系統強制縮短 I/O 逾時。如需更多資訊和建議的預設設定變更、請參閱 NetApp 線上錯誤資訊 - "1553249)"。
-
根據預設、 AIX 主機作業系統的非對稱命名空間存取轉換逾時( ANATT )值為 30 秒。IBM 提供一項臨時修復( iFix )、可將 ANATT 值上限設為 60 秒;您需要從 IBM 網站安裝 iFix 、以確保所有 ONTAP 工作流程不會中斷營運。
對於 NVMe / FC AIX 支援、您必須在 AIX OS 的 GA 版本上安裝 iFix 。VIOS/PowerVM 作業系統不需要此功能。 iFix 詳細資料如下:
-
對於 AIX 72-TL5-SP6-2320 層級、請安裝
IJ46710s6a.230509.epkg.Z
套件: -
對於 AIX 73-TL1-SP2-2320 層級、請安裝
IJ46711s2a.230509.epkg.Z
套件:如需管理 iFix 的詳細資訊、請參閱 "管理 AIX 上的臨時修復"。
您需要在 AIX 版本上安裝 iFix 、但先前未安裝與相關的 iFix devices.pciex.pciexclass.010802.rte
在系統上。如果存在這些 iFix 、則會與新安裝發生衝突。下表說明指派給 AIX LPAR ( AIX 邏輯分割區)或實體堆疊的 HBA :
主機作業系統 強大架構 Power FW 版本 模式 註解 AIX 7.2 TL5 SP6.
Power9.
FW 950 或更新版本
實體堆疊
可透過 TS012877410 取得 iFix 。
Power10
FW 1010 或更新版本
實體堆疊
支援 SAN 開機。可透過 TS012877410 取得 iFix 。
AIX 7.3 TL1 SP2
Power9.
FW 950 或更新版本
實體堆疊
可透過 TS012877410 取得 iFix 。
Power10
FW 1010 或更新版本
實體與虛擬堆疊
可透過 TS012877410 取得 iFix 。
下表示範在虛擬化模式下、指派給 VIOS 且支援 NPIV 的 HBA :
主機作業系統 強大架構 Power FW 版本 模式 註解 Vios / PowerVM 3.1.4.21
Power10
FW 1010 或更新版本
虛擬堆疊
支援從適用於 VIOC 的 AIX 7.3 TL1 SP2 開始
-
已知限制
適用於 AIX (含 ONTAP )的 NVMe / FC 主機組態具有下列已知限制:
-
AIX 主機上的 QLogic/Marvel 32G FC HBA 不支援 NVMe / FC 。
-
使用 Power9 IBM 伺服器的 NVMe / FC 裝置不支援 SAN 開機。
多重路徑
當您安裝 AIX OS 時、預設會提供用於 NVMe 多重路徑的 IBM MPIO (多重路徑 I/O )。
您可以使用驗證是否已為 AIX 主機啟用 NVMe 多重路徑 lsmpio
命令:
#[root@aix_server /]: lsmpio -l hdisk1
-
輸出範例 *
name path_id status path_status parent connection hdisk1 8 Enabled Sel,Opt nvme12 fcnvme0, 9 hdisk1 9 Enabled Sel,Non nvme65 fcnvme1, 9 hdisk1 10 Enabled Sel,Opt nvme37 fcnvme1, 9 hdisk1 11 Enabled Sel,Non nvme60 fcnvme0, 9
設定NVMe/FC
您可以使用下列程序來設定適用於 Broadcom / Emulex 介面卡的 NVMe / FC 。
-
確認您使用的是支援的介面卡。如需最新的支援介面卡清單、請參閱 "NetApp 互通性對照表工具"。
-
根據預設、實體 FC 會啟用 NVMe / FC 傳輸協定支援;不過、虛擬 I/O 伺服器( VIOS )上的虛擬光纖通道( VFC )會停用 NVMe / FC 傳輸協定支援。
擷取虛擬介面卡清單:
$ lsmap -all -npiv
-
輸出範例 *
Name Physloc ClntID ClntName ClntOS ------------- ---------------------------------- ------ -------------- ------- vfchost0 U9105.22A.785DB61-V2-C2 4 s1022-iop-mcc- AIX Status:LOGGED_IN FC name:fcs4 FC loc code:U78DA.ND0.WZS01UY-P0-C7-T0 Ports logged in:3 Flags:0xea<LOGGED_IN,STRIP_MERGE,SCSI_CLIENT,NVME_CLIENT> VFC client name:fcs0 VFC client DRC:U9105.22A.785DB61-V4-C2
-
-
在介面卡上執行以啟用對 NVMe / FC 傳輸協定的支援
ioscli vfcctrl
在 VIOS 上執行命令:$ vfcctrl -enable -protocol nvme -vadapter vfchost0
-
輸出範例 *
The "nvme" protocol for "vfchost0" is enabled.
-
-
確認已在介面卡上啟用支援:
# lsattr -El vfchost0
-
輸出範例 *
alt_site_wwpn WWPN to use - Only set after migration False current_wwpn 0 WWPN to use - Only set after migration False enable_nvme yes Enable or disable NVME protocol for NPIV True label User defined label True limit_intr false Limit NPIV Interrupt Sources True map_port fcs4 Physical FC Port False num_per_nvme 0 Number of NPIV NVME queues per range True num_per_range 0 Number of NPIV SCSI queues per range True
-
-
為所有目前的介面卡或選取的介面卡啟用 NVMe / FC 傳輸協定:
-
為所有介面卡啟用 NVMe / FC 傳輸協定:
-
變更
dflt_enabl_nvme
的屬性值viosnpiv0
將虛擬裝置傳送至yes
。 -
設定
enable_nvme
屬性值至yes
適用於所有 VFC 主機裝置。# chdev -l viosnpiv0 -a dflt_enabl_nvme=yes
# lsattr -El viosnpiv0
-
輸出範例 *
-
-
bufs_per_cmd 10 NPIV Number of local bufs per cmd True dflt_enabl_nvme yes Default NVME Protocol setting for a new NPIV adapter True num_local_cmds 5 NPIV Number of local cmds per channel True num_per_nvme 8 NPIV Number of NVME queues per range True num_per_range 8 NPIV Number of SCSI queues per range True secure_va_info no NPIV Secure Virtual Adapter Information True
-
變更以啟用所選介面卡的 NVMe / FC 傳輸協定
enable_nvme
VFC 主機裝置屬性的值yes
。
-
-
請確認
FC-NVMe Protocol Device
已在伺服器上建立:# [root@aix_server /]: lsdev |grep fcnvme
-
輸出 *
fcnvme0 Available 00-00-02 FC-NVMe Protocol Device fcnvme1 Available 00-01-02 FC-NVMe Protocol Device
-
-
從伺服器記錄主機 NQN :
# [root@aix_server /]: lsattr -El fcnvme0
-
輸出範例 *
attach switch How this adapter is connected False autoconfig available Configuration State True host_nqn nqn.2014-08.org.nvmexpress:uuid:64e039bd-27d2-421c-858d-8a378dec31e8 Host NQN (NVMe Qualified Name) True
[root@aix_server /]: lsattr -El fcnvme1
-
輸出範例 *
attach switch How this adapter is connected False autoconfig available Configuration State True host_nqn nqn.2014-08.org.nvmexpress:uuid:64e039bd-27d2-421c-858d-8a378dec31e8 Host NQN (NVMe Qualified Name) True
-
-
檢查主機 NQN 、並確認它符合 ONTAP 陣列上對應子系統的主機 NQN 字串:
::> vserver nvme subsystem host show -vserver vs_s922-55-lpar2
-
輸出範例 *
Vserver Subsystem Host NQN ------- --------- ---------------------------------------------------------- vs_s922-55-lpar2 subsystem_s922-55-lpar2 nqn.2014-08.org.nvmexpress:uuid:64e039bd-27d2-421c-858d-8a378dec31e8
-
-
確認啟動器連接埠已啟動並正在執行、您可以看到目標生命體。
驗證NVMe/FC
您需要驗證 ONTAP 命名空間是否正確反映在主機上。執行下列命令以執行:
# [root@aix_server /]: lsdev -Cc disk |grep NVMe
-
輸出範例 *
hdisk1 Available 00-00-02 NVMe 4K Disk
您可以檢查多重路徑狀態:
#[root@aix_server /]: lsmpio -l hdisk1
-
輸出範例 *
name path_id status path_status parent connection hdisk1 8 Enabled Sel,Opt nvme12 fcnvme0, 9 hdisk1 9 Enabled Sel,Non nvme65 fcnvme1, 9 hdisk1 10 Enabled Sel,Opt nvme37 fcnvme1, 9 hdisk1 11 Enabled Sel,Non nvme60 fcnvme0, 9
已知問題
適用於 AIX 與 ONTAP 的 NVMe / FC 主機組態有下列已知問題:
Burt ID | 標題 | 說明 |
---|---|---|
要修改的 AIX NVMe / FC 預設 APD 時間、以支援 MCC 非計畫性切換事件 |
根據預設、 AIX 作業系統會針對 NVMe / FC 使用 20 秒的 All path Down ( APD )逾時值。 然而、 ONTAP MetroCluster 自動非計畫性切換( AUSO )和 tiebreaker 啟動的切換工作流程、可能會比 APD 逾時時間長一點、導致 I/O 錯誤。 |
|
AIX NVMe / FC CAP ANATT 為 60s 、而非 ONTAP 所宣傳的 120s |
ONTAP 在控制器識別中通告 ANA (非對稱式命名空間存取)轉換逾時時間為 120 秒。目前、透過 iFix 、 AIX 會從控制器識別讀取 ANA 轉換逾時、但如果超過該限制、則有效地將其鎖定至 60 秒。 |
|
AAIX NVMe / FC 在 ANATT 到期後符合 EIO |
對於任何儲存容錯移轉( SFO )事件、如果 ANA (非對稱式命名空間存取)轉換超過指定路徑上的 ANA 轉換逾時上限、則 AIX NVMe / FC 主機會失敗、並出現 I/O 錯誤、儘管命名空間有其他可用的健全路徑。 |
|
AIX NVMe / FC 會等待半 / 全 ANATT 過期、然後在 ANA AEN 之後恢復 I/O |
IBM AIX NVMe / FC 不支援 ONTAP 發佈的部分非同步通知( AENs )。這種低於最佳的全日空處理將導致 SFO 作業期間的效能不佳。 |
疑難排解
在疑難排解任何 NVMe / FC 故障之前、請確認您執行的組態符合互通性對照表工具( IMT )規格。如果您仍面臨問題、請聯絡 "NetApp支援" 以進一步分類。