Skip to main content
SAN hosts and cloud clients
本繁體中文版使用機器翻譯,譯文僅供參考,若與英文版本牴觸,應以英文版本為準。

適用於Oracle Linux 8.6的NVMe / FC主機組態、ONTAP 含功能

貢獻者

您可以在執行 Oracle Linux 8.6 和 ONTAP 的啟動器主機上、將 NVMe over Fibre Channel ( NVMe / FC )設定為目標。

支援能力

NVMe over Fabrics或NVMe(包括NVMe / FC和NVMe / TCP)可搭配Oracle Linux 8.6搭配非對稱命名空間存取(ANA)支援、ONTAP 而非對稱式命名空間存取(非對稱式命名空間存取)則是在不間斷儲存容錯移轉(SFO)上所需的功能。ANA是NVMe環境中的非對稱邏輯單元存取(ALUA)、目前是以核心內建NVMe多重路徑來實作。使用此程序、您可以使用 Oracle Linux 8.6 和 ONTAP 上的 ANA 作為目標、來啟用內核心 NVMe 多重路徑的 NVMe 。

註 您可以使用本文所提供的組態設定來設定連線至的雲端用戶端 "Cloud Volumes ONTAP""Amazon FSX for ONTAP Sf"

功能

  • Oracle Linux 8.6預設會啟用NVMe名稱的內核NVMe多重路徑。

  • 在 Oracle Linux 8.6 中、 `nvme-fc auto-connect`指令碼會包含在原生 `nvme-cli`套件中。您可以使用這些原生自動連線指令碼、而非安裝外部廠商提供的外箱自動連線指令碼。

  • Oracle Linux 8.6是原生的 udev 規則是在中提供的一部分 nvme-cli 套件、可針對NVMe多重路徑啟用循環資源負載平衡。因此、您不再需要手動建立此規則。

  • 有了Oracle Linux 8.6、NVMe和SCSI流量都可以在相同的共存主機上執行。事實上、這是通常部署的主機組態。因此、您可以像往常一樣為SCSI LUN設定dm-multipaths、以產生mpath裝置、而NVMe多重路徑則可用來設定NVMe多重路徑裝置(例如、 /dev/nvmeXnY)。

  • 使用Oracle Linux 8.6、原生的NetApp外掛程式 nvme-cli 套件能夠顯示ONTAP 各種細節及ONTAP 功能不完整的命名空間。

已知限制

目前不支援使用 NVMe 型傳輸協定進行 SAN 開機。

組態需求

請參閱 "NetApp 互通性對照表" 如需支援組態的詳細資訊、請參閱。

使用Oracle Linux 8.6.啟用NVMe/FC

步驟
  1. 在伺服器上安裝Oracle Linux 8.6GA。安裝完成後、請確認您執行的是指定的Oracle Linux 8.6 GA核心。請參閱 "NetApp 互通性對照表" 以取得最新的支援版本清單。

    # uname -r
    5.4.17-2136.307.3.1.el8uek.x86_64
  2. 安裝「NVMe-CLI(NVMe - CLI)套件:

    # rpm -qa|grep nvme-cli
    nvme-cli-1.14-3.el8.x86_64
  3. 在Oracle Linux 8.6主機上、檢查 hostnqn 字串at /etc/nvme/hostnqn 並驗證其是否與ONTAP 支援該子系統的hostnqn字串相符。

    # cat /etc/nvme/hostnqn
    nqn.2014-08.org.nvmexpress:uuid:4c4c4544-0032-3310-8033-b8c04f4c5132
    ::> vserver nvme subsystem host show -vserver vs_ol_nvme
    Vserver     Subsystem          Host NQN
    ----------- --------------- ----------------------------------------------------------
    vs_ol_nvme  nvme_ss_ol_1    nqn.2014-08.org.nvmexpress:uuid:9ed5b327-b9fc-4cf5-97b3-1b5d986345d1
    註 如果是 hostnqn 字串不相符、您應該使用 vserver modify 命令來更新 hostnqn 字串、以ONTAP 符合 hostnqn 字串來源 /etc/nvme/hostnqn 在主機上:
  4. 重新啟動主機。

    註

    如果您打算在相同的Oracle Linux 8.6共存主機上同時執行NVMe和SCSI流量、NetApp建議您分別使用核心內建NVMe多重路徑ONTAP 來執行支援對象名稱空間和支援ONTAP 對象LUN的dm多重路徑。這也表示ONTAP 應在dm-multipaths中列入清單以防止dm-multipaths宣告這些命名空間裝置。您可以新增來完成此作業 enable_foreign 設定為 /etc/multipath.conf 檔案:

    #cat /etc/multipath.conf
    defaults {
        enable_foreign  NONE
    }

    執行以重新啟動多路徑精靈 systemctl restart multipathd 命令讓新設定生效。

設定適用於NVMe / FC的Broadcom FC介面卡

步驟
  1. 確認您使用的是支援的介面卡。如需最新的支援介面卡清單、請參閱 "NetApp 互通性對照表"

    # cat /sys/class/scsi_host/host*/modelname
    LPe32002-M2
    LPe32002-M2
    # cat /sys/class/scsi_host/host*/modeldesc
    Emulex LightPulse LPe32002-M2 2-Port 32Gb Fibre Channel Adapter
    Emulex LightPulse LPe32002-M2 2-Port 32Gb Fibre Channel Adapter
  2. 驗證您使用的是建議的Broadcom lpfc 韌體與內建驅動程式。如需支援的介面卡驅動程式和韌體版本的最新清單、請參閱 "NetApp 互通性對照表"

    # cat /sys/class/scsi_host/host*/fwrev
    14.0.505.11, sli-4:2:c
    14.0.505.11, sli-4:2:c
    
    # cat /sys/module/lpfc/version
    0:12.8.0.11
  3. 請確認 lpfc_enable_fc4_type 設為 3

    # cat /sys/module/lpfc/parameters/lpfc_enable_fc4_type
    3
  4. 確認啟動器連接埠已啟動並正在執行、而且您可以看到目標LIF:

    # cat /sys/class/fc_host/host*/port_name
    0x100000109b1c1204
    0x100000109b1c1205
    # cat /sys/class/fc_host/host*/port_state
    Online
    Online
    # cat /sys/class/scsi_host/host*/nvme_info
    NVME Initiator Enabled
    XRI Dist lpfc0 Total 6144 IO 5894 ELS 250
    NVME LPORT lpfc0 WWPN x100000109b1c1204 WWNN x200000109b1c1204 DID x011d00 ONLINE
    NVME RPORT WWPN x203800a098dfdd91 WWNN x203700a098dfdd91 DID x010c07 TARGET DISCSRVC ONLINE
    NVME RPORT WWPN x203900a098dfdd91 WWNN x203700a098dfdd91 DID x011507 TARGET DISCSRVC ONLINE
    NVME Statistics
    LS: Xmt 0000000f78 Cmpl 0000000f78 Abort 00000000
    LS XMIT: Err 00000000 CMPL: xb 00000000 Err 00000000
    Total FCP Cmpl 000000002fe29bba Issue 000000002fe29bc4 OutIO 000000000000000a
    abort 00001bc7 noxri 00000000 nondlp 00000000 qdepth 00000000 wqerr 00000000 err 00000000
    FCP CMPL: xb 00001e15 Err 0000d906
    NVME Initiator Enabled
    XRI Dist lpfc1 Total 6144 IO 5894 ELS 250
    NVME LPORT lpfc1 WWPN x100000109b1c1205 WWNN x200000109b1c1205 DID x011900 ONLINE
    NVME RPORT WWPN x203d00a098dfdd91 WWNN x203700a098dfdd91 DID x010007 TARGET DISCSRVC ONLINE
    NVME RPORT WWPN x203a00a098dfdd91 WWNN x203700a098dfdd91 DID x012a07 TARGET DISCSRVC ONLINE
    NVME Statistics
    LS: Xmt 0000000fa8 Cmpl 0000000fa8 Abort 00000000
    LS XMIT: Err 00000000 CMPL: xb 00000000 Err 00000000
    Total FCP Cmpl 000000002e14f170 Issue 000000002e14f17a OutIO 000000000000000a
    abort 000016bb noxri 00000000 nondlp 00000000 qdepth 00000000 wqerr 00000000 err 00000000
    FCP CMPL: xb 00001f50 Err 0000d9f8

啟用1MB I/O大小

ONTAP 會在識別控制器資料中報告 8 的 MDTS ( MAX Data 傳輸大小)。這表示最大 I/O 要求大小最多可達 1MB 。若要針對 Broadcom NVMe / FC 主機發出大小為 1 MB 的 I/O 要求、您必須將 lpfc `lpfc_sg_seg_cnt`參數值從預設值 64 增加至 256 。

步驟
  1. 將 `lpfc_sg_seg_cnt`參數設定為 256 :

    # cat /etc/modprobe.d/lpfc.conf
    options lpfc lpfc_sg_seg_cnt=256
  2. 執行 `dracut -f`命令、然後重新啟動主機:

  3. 確認 `lpfc_sg_seg_cnt`為 256 :

    # cat /sys/module/lpfc/parameters/lpfc_sg_seg_cnt
    256
註 這不適用於 Qlogic NVMe / FC 主機。

設定適用於NVMe / FC的Marvell / QLogic FC介面卡

OL 8.6 GA 核心中隨附的原生收件匣 qla2xxx 驅動程式具有最新的上游修正程式。這些修正對於 ONTAP 支援至關重要。

步驟
  1. 確認您執行的是支援的介面卡驅動程式和韌體版本:

    # cat /sys/class/fc_host/host*/symbolic_name
    QLE2742 FW:v9.08.02 DVR:v10.02.00.106-k
    QLE2742 FW:v9.08.02 DVR:v10.02.00.106-k
  2. 請確認 ql2xnvmeenable 設為可讓Marvell介面卡做為NVMe / FC啟動器運作:

    # cat /sys/module/qla2xxx/parameters/ql2xnvmeenable
    1

設定NVMe/TCP

NVMe / TCP 沒有自動連線功能。因此、如果某個路徑發生故障、且在 10 分鐘的預設逾時期間內未恢復、則 NVMe / TCP 無法自動重新連線。若要避免逾時、您應該將容錯移轉事件的重試期間設為至少 30 分鐘。

步驟
  1. 確認啟動器連接埠可在支援的NVMe/TCP LIF中擷取探索記錄頁面資料:

    # nvme discover -t tcp -w 192.168.1.8 -a 192.168.1.51
    Discovery Log Number of Records 10, Generation counter 119
    =====Discovery Log Entry 0======
    trtype: tcp
    adrfam: ipv4
    subtype: nvme subsystem
    treq: not specified
    portid: 0
    trsvcid: 4420
    subnqn: nqn.1992-08.com.netapp:sn.56e362e9bb4f11ebbaded039ea165abc:subsystem.nvme_118_tcp_1
    traddr: 192.168.2.56
    sectype: none
    =====Discovery Log Entry 1======
    trtype: tcp
    adrfam: ipv4
    subtype: nvme subsystem
    treq: not specified
    portid: 1
    trsvcid: 4420
    subnqn: nqn.1992-08.com.netapp:sn.56e362e9bb4f11ebbaded039ea165abc:subsystem.nvme_118_tcp_1
    traddr: 192.168.1.51
    sectype: none
    =====Discovery Log Entry 2======
    trtype: tcp
    adrfam: ipv4
    subtype: nvme subsystem
    treq: not specified
    portid: 0
    trsvcid: 4420
    subnqn: nqn.1992-08.com.netapp:sn.56e362e9bb4f11ebbaded039ea165abc:subsystem.nvme_118_tcp_2
    traddr: 192.168.2.56
    sectype: none
    ...
  2. 同樣地、請確認其他的NVMe/TCP啟動器目標LIF組合能夠成功擷取探索記錄頁面資料。範例:

    #nvme discover -t tcp -w 192.168.1.8 -a 192.168.1.51
    # nvme discover -t tcp -w 192.168.1.8 -a 192.168.1.52
    # nvme discover -t tcp -w 192.168.2.9 -a 192.168.2.56
    # nvme discover -t tcp -w 192.168.2.9 -a 192.168.2.57
  3. 現在執行 nvme connect-all 跨節點執行所有支援的NVMe/TCP啟動器目標LIF命令。請確保您通過的時間更長 ctrl_loss_tmo 期間(例如30分鐘、可設定至 -l 1800connect-all 如此一來、當路徑遺失時、它會重試更長的時間。例如、

    # nvme connect-all -t tcp -w 192.168.1.8 -a 192.168.1.51 -l 1800
    # nvme connect-all -t tcp -w 192.168.1.8 -a 192.168.1.52 -l 1800
    # nvme connect-all -t tcp -w 192.168.2.9 -a 192.168.2.56 -l 1800
    # nvme connect-all -t tcp -w 192.168.2.9 -a 192.168.2.57 -l 1800

驗證NVMe/FC

步驟
  1. 驗證Oracle Linux 8.6主機上的下列NVMe/FC設定:

    # cat /sys/module/nvme_core/parameters/multipath
    Y
    # cat /sys/class/nvme-subsystem/nvme-subsys*/model
    NetApp ONTAP Controller
    NetApp ONTAP Controller
    # cat /sys/class/nvme-subsystem/nvme-subsys*/iopolicy
    round-robin
    round-robin
  2. 確認已在主機上建立並正確探索命名空間:

    # nvme list
    Node         SN                   Model
    ---------------------------------------------------------
    /dev/nvme0n1 814vWBNRwf9HAAAAAAAB NetApp ONTAP Controller
    /dev/nvme0n2 814vWBNRwf9HAAAAAAAB NetApp ONTAP Controller
    /dev/nvme0n3 814vWBNRwf9HAAAAAAAB NetApp ONTAP Controller
    
    
    Namespace Usage    Format             FW             Rev
    -----------------------------------------------------------
    1                 85.90 GB / 85.90 GB  4 KiB + 0 B   FFFFFFFF
    2                 85.90 GB / 85.90 GB  24 KiB + 0 B  FFFFFFFF
    3                 85.90 GB / 85.90 GB  4 KiB + 0 B   FFFFFFFF
  3. 確認每個路徑的控制器狀態均為有效、且具有正確的ANA狀態:

    # nvme list-subsys /dev/nvme0n1
    nvme-subsys0 - NQN=nqn.1992-08.com.netapp:sn.5f5f2c4aa73b11e9967e00a098df41bd:subsystem.nvme_ss_ol_1
    \
    +- nvme0 fc traddr=nn-0x203700a098dfdd91:pn-0x203800a098dfdd91 host_traddr=nn-0x200000109b1c1204:pn-0x100000109b1c1204 live inaccessible
    +- nvme1 fc traddr=nn-0x203700a098dfdd91:pn-0x203900a098dfdd91 host_traddr=nn-0x200000109b1c1204:pn-0x100000109b1c1204 live inaccessible
    +- nvme2 fc traddr=nn-0x203700a098dfdd91:pn-0x203a00a098dfdd91 host_traddr=nn-0x200000109b1c1205:pn-0x100000109b1c1205 live optimized
    +- nvme3 fc traddr=nn-0x203700a098dfdd91:pn-0x203d00a098dfdd91 host_traddr=nn-0x200000109b1c1205:pn-0x100000109b1c1205 live optimized
  4. 驗證NetApp外掛程式是否顯示每ONTAP 個版本名稱空間裝置的正確值:

    # nvme netapp ontapdevices -o column
    
    Device        Vserver   Namespace Path
    ----------------------- ------------------------------
    /dev/nvme0n1   vs_ol_nvme  /vol/ol_nvme_vol_1_1_0/ol_nvme_ns
    /dev/nvme0n2   vs_ol_nvme  /vol/ol_nvme_vol_1_0_0/ol_nvme_ns
    /dev/nvme0n3   vs_ol_nvme  /vol/ol_nvme_vol_1_1_1/ol_nvme_ns
    
    
    NSID       UUID                                   Size
    ------------------------------------------------------------
    1          72b887b1-5fb6-47b8-be0b-33326e2542e2   85.90GB
    2          04bf9f6e-9031-40ea-99c7-a1a61b2d7d08   85.90GB
    3          264823b1-8e03-4155-80dd-e904237014a4   85.90GB
# nvme netapp ontapdevices -o json
{
"ONTAPdevices" : [
    {
        "Device" : "/dev/nvme0n1",
        "Vserver" : "vs_ol_nvme",
        "Namespace_Path" : "/vol/ol_nvme_vol_1_1_0/ol_nvme_ns",
        "NSID" : 1,
        "UUID" : "72b887b1-5fb6-47b8-be0b-33326e2542e2",
        "Size" : "85.90GB",
        "LBA_Data_Size" : 4096,
        "Namespace_Size" : 20971520
    },
    {
        "Device" : "/dev/nvme0n2",
        "Vserver" : "vs_ol_nvme",
        "Namespace_Path" : "/vol/ol_nvme_vol_1_0_0/ol_nvme_ns",
        "NSID" : 2,
        "UUID" : "04bf9f6e-9031-40ea-99c7-a1a61b2d7d08",
        "Size" : "85.90GB",
        "LBA_Data_Size" : 4096,
        "Namespace_Size" : 20971520
      },
      {
         "Device" : "/dev/nvme0n3",
         "Vserver" : "vs_ol_nvme",
         "Namespace_Path" : "/vol/ol_nvme_vol_1_1_1/ol_nvme_ns",
         "NSID" : 3,
         "UUID" : "264823b1-8e03-4155-80dd-e904237014a4",
         "Size" : "85.90GB",
         "LBA_Data_Size" : 4096,
         "Namespace_Size" : 20971520
       },
  ]
}

已知問題

OL 8.6 搭配 ONTAP 的 NVMe 主機組態有下列已知問題:

NetApp錯誤ID 標題 說明

1517321

Oracle Linux 8.6NVMe主機會建立重複的持續探索控制器

在Oracle Linux 8.6NVMe over Fabrics(NVMe)主機上、您可以使用 nvme discover -p 建立持續探索控制器(PD)的命令。使用此命令時、每個啟動器目標組合只能建立一個PDC。不過、如果您執行ONTAP 的是採用NVMe的主機、則每次都會建立一個重複的資料中心 nvme discover -p 已執行。這會導致主機和目標上的資源使用不必要。