日本語は機械翻訳による参考訳です。内容に矛盾や不一致があった場合には、英語の内容が優先されます。

ネットワークスイッチの構成(自動導入)

寄稿者 このページの PDF をダウンロード

必要な VLAN ID を準備します

次の表に、この解決策検証で概説されている導入に必要な VLAN を示します。これらの VLAN は、 NDE を実行する前にネットワークスイッチに設定する必要があります。

ネットワークセグメント 詳細 VLAN ID

アウトオブバンド管理ネットワーク

HCI ターミナルユーザインターフェイス( TUI )用のネットワーク

16

インバンド管理ネットワーク

ノード、ホスト、およびゲストの管理インターフェイスにアクセスするためのネットワーク

3487

VMware vMotion

VM のライブマイグレーション用のネットワーク

3489

iSCSI SAN ストレージ

iSCSI ストレージトラフィック用のネットワーク

3490

アプリケーション

アプリケーショントラフィック用のネットワーク

3487

NFS

NFS ストレージトラフィック用のネットワーク

3491

IPL *

Mellanox スイッチ間のインターピアリンク

4 、 000

ネイティブ

ネイティブ VLAN

2.

  • Mellanox スイッチのみ

スイッチの設定

この解決策では、 Onyx を実行する Mellanox SN2010 スイッチを使用します。Mellanox スイッチは、 Ansible プレイブックを使用して設定されます。Ansible プレイブックを実行する前に、スイッチの初期設定を手動で実行する必要があります。

  1. スイッチをアップリンクスイッチ、コンピューティング、ストレージノードに設置してケーブル接続します。

  2. スイッチの電源をオンにして、以下の詳細を設定します。

    1. ホスト名

    2. 管理 IP とゲートウェイ

    3. NTP

  3. Mellanox スイッチにログインし、次のコマンドを実行します。

    configuration write to pre-ansible
    configuration write to post-ansible

    作成された「 pre-Ansible 」構成ファイルを使用すると、スイッチの構成を Ansible プレイブックが実行される前の状態にリストアできます。

    この解決策のスイッチ設定は、「 post-Ansible 」コンフィギュレーションファイルに格納されています。

  4. ベストプラクティスに準拠した Mellanox スイッチ用の設定プレイブック および NetApp HCI の要件は、からダウンロードできます "NetApp HCI ツールキット"

    注記 HCI Toolkit には、 Cisco Nexus スイッチを設定するための Playbook もあり、 NetApp HCI に関する同様のベストプラクティスと要件が記載されています。
    注記 変数のデータ入力とプレイブックの実行に関するその他のガイダンスについては、該当するスイッチの README.MD ファイルを参照してください。
  5. クレデンシャルを入力して、環境に必要なスイッチや変数にアクセスします。次のテキストは、この解決策の変数ファイルのサンプルです。

    # vars file for nar_hci_mellanox_deploy
    #These set of variables will setup the Mellanox switches for NetApp HCI that uses a 2-cable compute connectivity option.
    #Ansible connection variables for mellanox
    ansible_connection: network_cli
    ansible_network_os: onyx
    #--------------------
    # Primary Variables
    #--------------------
    #Necessary VLANs for Standard NetApp HCI Deployment [native, Management, iSCSI_Storage, vMotion, VM_Network, IPL]
    #Any additional VLANs can be added to this in the prescribed format below
    netapp_hci_vlans:
    - {vlan_id: 2 , vlan_name: "Native" }
    - {vlan_id: 3488 , vlan_name: "IB-Management" }
    - {vlan_id: 3490 , vlan_name: "iSCSI_Storage" }
    - {vlan_id: 3489 , vlan_name: "vMotion" }
    - {vlan_id: 3491 , vlan_name: "NFS " }
    - {vlan_id: 3487 , vlan_name: "App_Network" }
    - {vlan_id: 4000 , vlan_name: "IPL" }#Modify the VLAN IDs to suit your environment
    #Spanning-tree protocol type for uplink connections.
    #The valid options are 'network' and 'normal'; selection depends on the uplink switch model.
    uplink_stp_type: network
    #----------------------
    # IPL variables
    #----------------------
    #Inter-Peer Link Portchannel
    #ipl_portchannel to be defined in the format - Po100
    ipl_portchannel: Po100
    #Inter-Peer Link Addresses
    #The IPL IP address should not be part of the management network. This is typically a private network
    ipl_ipaddr_a: 10.0.0.1
    ipl_ipaddr_b: 10.0.0.2
    #Define the subnet mask in CIDR number format. Eg: For subnet /22, use ipl_ip_subnet: 22
    ipl_ip_subnet: 24
    #Inter-Peer Link Interfaces
    #members to be defined with Eth in the format. Eg: Eth1/1
    peer_link_interfaces:
      members: ['Eth1/20', 'Eth1/22']
      description: "peer link interfaces"
    #MLAG VIP IP address should be in the same subnet as that of the switches' mgmt0 interface subnet
    #mlag_vip_ip to be defined in the format - <vip_ip>/<subnet_mask>. Eg: x.x.x.x/y
    mlag_vip_ip: <<mlag_vip_ip>>
    #MLAG VIP Domain Name
    #The mlag domain must be unique name for each mlag domain.
    #In case you have more than one pair of MLAG switches on the same network, each domain (consist of two switches) should be configured with different name.
    mlag_domain_name: MLAG-VIP-DOM
    #---------------------
    # Interface Details
    #---------------------
    #Storage Bond10G Interface details
    #members to be defined with Eth in the format. Eg: Eth1/1
    #Only numerical digits between 100 to 1000 allowed for mlag_id
    #Operational link speed [variable 'speed' below] to be defined in terms of bytes.
    #For 10 Gigabyte operational speed, define 10G. [Possible values - 10G and 25G]
    #Interface descriptions append storage node data port numbers assuming all Storage Nodes' Port C -> Mellanox Switch A and all Storage Nodes' Port D -> Mellanox Switch B
    #List the storage Bond10G interfaces, their description, speed and MLAG IDs in list of dictionaries format
    storage_interfaces:
    - {members: "Eth1/1", description: "HCI_Storage_Node_01", mlag_id: 101, speed: 25G}
    - {members: "Eth1/2", description: "HCI_Storage_Node_02", mlag_id: 102, speed: 25G}
    #In case of additional storage nodes, add them here
    #Storage Bond1G Interface
    #Mention whether or not these Mellanox switches will also be used for Storage Node Mgmt connections
    #Possible inputs for storage_mgmt are 'yes' and 'no'
    storage_mgmt: <<yes or no>>
    #Storage Bond1G (Mgmt) interface details. Only if 'storage_mgmt' is set to 'yes'
    #Members to be defined with Eth in the format. Eg: Eth1/1
    #Interface descriptions append storage node management port numbers assuming all Storage Nodes' Port A -> Mellanox Switch A and all Storage Nodes' Port B -> Mellanox Switch B
    #List the storage Bond1G interfaces and their description in list of dictionaries format
    storage_mgmt_interfaces:
    - {members: "Ethx/y", description: "HCI_Storage_Node_01"}
    - {members: "Ethx/y", description: "HCI_Storage_Node_02"}
    #In case of additional storage nodes, add them here
    #LACP load balancing algorithm for IP hash method
    #Possible options are: 'destination-mac', 'destination-ip', 'destination-port', 'source-mac', 'source-ip', 'source-port', 'source-destination-mac', 'source-destination-ip', 'source-destination-port'
    #This variable takes multiple options in a single go
    #For eg: if you want to configure load to be distributed in the port-channel based on the traffic source and destination IP address and port number, use 'source-destination-ip source-destination-port'
    #By default, Mellanox sets it to source-destination-mac. Enter the values below only if you intend to configure any other load balancing algorithm
    #Make sure the load balancing algorithm that is set here is also replicated on the host side
    #Recommended algorithm is source-destination-ip source-destination-port
    #Fill the lacp_load_balance variable only if you are using configuring interfaces on compute nodes in bond or LAG with LACP
    lacp_load_balance: "source-destination-ip source-destination-port"
    #Compute Interface details
    #Members to be defined with Eth in the format. Eg: Eth1/1
    #Fill the mlag_id field only if you intend to configure interfaces of compute nodes into bond or LAG with LACP
    #In case you do not intend to configure LACP on interfaces of compute nodes, either leave the mlag_id field unfilled or comment it or enter NA in the mlag_id field
    #In case you have a mixed architecture where some compute nodes require LACP and some don't,
    #1. Fill the mlag_id field with appropriate MLAG ID for interfaces that connect to compute nodes requiring LACP
    #2. Either fill NA or leave the mlag_id field blank or comment it for interfaces connecting to compute nodes that do not require LACP
    #Only numerical digits between 100 to 1000 allowed for mlag_id.
    #Operational link speed [variable 'speed' below] to be defined in terms of bytes.
    #For 10 Gigabyte operational speed, define 10G. [Possible values - 10G and 25G]
    #Interface descriptions append compute node port numbers assuming all Compute Nodes' Port D -> Mellanox Switch A and all Compute Nodes' Port E -> Mellanox Switch B
    #List the compute interfaces, their speed, MLAG IDs and their description in list of dictionaries format
    compute_interfaces:
    - members: "Eth1/7"#Compute Node for ESXi, setup by NDE
      description: "HCI_Compute_Node_01"
      mlag_id: #Fill the mlag_id only if you wish to use LACP on interfaces towards compute nodes
      speed: 25G
    - members: "Eth1/8"#Compute Node for ESXi, setup by NDE
      description: "HCI_Compute_Node_02"
      mlag_id: #Fill the mlag_id only if you wish to use LACP on interfaces towards compute nodes
      speed: 25G
    #In case of additional compute nodes, add them here in the same format as above- members: "Eth1/9"#Compute Node for Kubernetes Worker node
      description: "HCI_Compute_Node_01"
      mlag_id: 109 #Fill the mlag_id only if you wish to use LACP on interfaces towards compute nodes
      speed: 10G
    - members: "Eth1/10"#Compute Node for Kubernetes Worker node
      description: "HCI_Compute_Node_02"
      mlag_id: 110 #Fill the mlag_id only if you wish to use LACP on interfaces towards compute nodes
      speed: 10G
    #Uplink Switch LACP support
    #Possible options are 'yes' and 'no' - Set to 'yes' only if your uplink switch supports LACP
    uplink_switch_lacp: <<yes or no>>
    #Uplink Interface details
    #Members to be defined with Eth in the format. Eg: Eth1/1
    #Only numerical digits between 100 to 1000 allowed for mlag_id.
    #Operational link speed [variable 'speed' below] to be defined in terms of bytes.
    #For 10 Gigabyte operational speed, define 10G. [Possible values in Mellanox are 1G, 10G and 25G]
    #List the uplink interfaces, their description, MLAG IDs and their speed in list of dictionaries format
    uplink_interfaces:
    - members: "Eth1/18"
      description_switch_a: "SwitchA:Ethx/y -> Uplink_Switch:Ethx/y"
      description_switch_b: "SwitchB:Ethx/y -> Uplink_Switch:Ethx/y"
      mlag_id: 118  #Fill the mlag_id only if 'uplink_switch_lacp' is set to 'yes'
      speed: 10G
      mtu: 1500
    注記 スイッチのキーのフィンガープリントが、プレイブックが実行されているホストマシン内のフィンガープリントと一致している必要があります。これを確認するには、キーを「 /root/ 」に追加します。SSH/known_host またはその他の適切な場所

スイッチ設定をロールバックします

  1. タイムアウトに失敗した場合や設定の一部を変更した場合は、次のコマンドを実行してスイッチを初期状態にロールバックします。

    configuration switch-to pre-ansible
    注記 この操作を実行するには、スイッチをリブートする必要があります。
  2. Ansible プレイブックを実行する前の設定を状態に切り替えます。

    configuration delete post-ansible
  3. 設定が含まれていた Ansible 後のファイルを Ansible プレイブックから削除します。

    configuration write to post-ansible
  4. Ansible と同じ名前の新しいファイルを作成し、そのファイルに Ansible 前の設定を書き込み、新しい設定に切り替えて設定を再開します。

IP アドレスの要件

VMware と Kubernetes を使用して NetApp HCI 推論プラットフォームを導入する場合は、複数の IP アドレスを割り当てる必要があります。次の表に、必要な IP アドレスの数を示します。特に指定がないかぎり、アドレスは NDE によって自動的に割り当てられます。

IP アドレスの数 詳細 VLAN ID IP アドレス

ストレージノードとコンピューティングノードごとに 1 つ *

HCI ターミナルユーザインターフェイス( TUI )アドレス

16

vCenter Server ( VM )ごとに 1 つ

vCenter Server の管理アドレス

3487

管理ノード( VM )ごとに 1 つ

管理ノードの IP アドレス

ESXi ホストごとに 1 つ

ESXi コンピューティングの管理アドレス

ストレージ / 監視ノードごとに 1 つ

NetApp HCI ストレージノード管理アドレス

ストレージクラスタごとに 1 つ

ストレージクラスタの管理アドレス

ESXi ホストごとに 1 つ

VMware vMotion アドレス

3489

ESXi ホストごとに 2 つ

iSCSI ストレージトラフィックの ESXi ホストイニシエータアドレス

3490

ストレージノードごとに 2 つ

iSCSI ストレージトラフィックのストレージノードのターゲットアドレス

ストレージクラスタごとに 2 つ

iSCSI ストレージトラフィックのストレージクラスタのターゲットアドレス

mNode 用に 2 つ

mNode iSCSI ストレージアクセス

次の IP は、それぞれのコンポーネントが設定されている場合に手動で割り当てられます。

IP アドレスの数 詳細 VLAN ID IP アドレス

1 つは Deployment Jump Management ネットワーク用です

Deployment Jump VM : Ansible のプレイブックを実行し、その他を設定します システム管理接続の一部

3487

Kubernetes マスターノードごとに 1 つ–管理ネットワーク

Kubernetes マスターノード VM ( 3 ノード)

3487

Kubernetes ワーカーノードごとに 1 つ–管理ネットワーク

Kubernetes ワーカーノード( 2 ノード)

3487

Kubernetes ワーカーノードごとに 1 つ– NFS ネットワーク

Kubernetes ワーカーノード( 2 ノード)

3491

Kubernetes ワーカーノードごとに 1 つ–アプリケーションネットワーク

Kubernetes ワーカーノード( 2 ノード)

3487

ONTAP Select 管理ネットワークの場合は 3 つ

ONTAP Select VM

3487

1 つは ONTAP Select – NFS ネットワーク用です

ONTAP Select VM – NFS データトラフィック

3491

Triton Inference Server Load Balancer の場合は少なくとも 2 つ アプリケーションネットワーク

Kubernetes ロードバランササービスのロードバランサの IP 範囲

3487

  • この検証には、最初のストレージノードの TUI アドレスの初期セットアップが必要です。以降のノードの TUI アドレスは NDE によって自動的に割り当てられます。

DNS および Timekeeping 要件

導入環境によっては、 NetApp HCI システムの DNS レコードの準備が必要になる場合があります。NetApp HCI には、タイムキーパー機能用の有効な NTP サーバが必要です。環境にこのサーバがない場合は、一般に提供されているタイムサーバを使用できます。

この検証では、完全修飾ドメイン名( FQDN )を使用して新しい VMware vCenter Server インスタンスに NetApp HCI を導入します。配置前に、 DNS サーバにポインタ( PTR )レコードとアドレス( A )レコードを 1 つずつ作成しておく必要があります。