Skip to main content
日本語は機械翻訳による参考訳です。内容に矛盾や不一致があった場合には、英語の内容が優先されます。

AI Data Engineでデプロイメントの状態を監視し、問題を調査します

共同作成者 netapp-dbagwell

AI Data Engine(AIDE)ヘルスモニターは、スキャンを中断させる可能性のある、異常なワークロードやリソースの制約を特定するのに役立ちます。ヘルスの詳細を使用して、問題の影響を評価し、トラブルシューティングのための情報を収集してください。

デプロイメントの状態を監視し、問題を調査する

手順
  1. NetApp Consoleで、AIデータハブ > AI Data Engine に移動します。

  2. *設定*を選択し、次に*ヘルスモニター*を選択します。

  3. インフラストラクチャの状態 の下の システムの安定性 をチェックして、異常なポッドがないか確認してください。

    異常なポッドは、期待どおりにワークロードを実行できません。異常なステータスには、Pending、Failed、Evicted、Unknown、OOMKilled、およびCrashLoopBackOffが含まれます。

  4. デプロイメントに影響を与える可能性のあるリソース制約を特定してください:

    • シングルノード構成の場合は、*ノードの状態*を確認してください。ノードに異常が見られる場合は、CPU、メモリ、ディスクの使用率カードをチェックして、リソース負荷の兆候がないか確認してください。

    • マルチノード展開の場合は、「ノードの状態」を確認して、クリティカル、警告、またはオフラインの状態になっているノードを特定してください。利用可能なリソース利用状況の指標を比較し、リソース逼迫の兆候がないか確認してください。オフラインのノードについては、ノードの可用性を調査してください。

  5. マルチノード展開の場合、リソースを調査するには、利用状況カードの*詳細を表示*を選択します:

    • CPU使用率:現在の使用率を警告および重大なしきい値と比較します。

    • メモリ使用率:現在の使用状況、メモリ不足(OOM)のリスク、およびメモリ削除のしきい値を確認します。

    • ディスク使用量:利用可能な容量、リスク、および停止しきい値を確認します。

    メモリとディスクに関する警告には特に注意してください。これらの状態はスキャンを中断させる可能性があります。詳細に表示されている推奨手順に従ってください。

  6. 影響を受けるワークロードを特定するには、*Pod health*の下にある*Pod*と*Status*のフィルターを使用してリストを絞り込みます。

    影響を受ける各ポッドのワークロード、ステータス、およびリソース使用状況を確認してください。この情報を使用して、リソースの負荷と、障害が発生している、繰り返し再起動している、または実行待ち状態にあるポッドを区別してください。

  7. *問題のあるワークロード*を確認し、停止しているワークロードや頻繁に再起動しているワークロードを特定します。これらの事象とリソース使用量との相関関係を把握するために、報告された時刻に注意してください。

  8. リソース利用の傾向を分析し、リソースへの圧力が一時的なものか持続的なものかを判断します:

    • シングルノード展開の場合は、該当する期間の「リソース使用率分布」を確認してください。

    • マルチノード展開の場合は、該当する期間の*上位20ノード(利用率)*を確認してください。ノード間の利用状況を比較し、影響を受けているノードのCPU、メモリ、ディスクの使用状況を検査して、一時的な利用率の急増や持続的な高利用率を特定します。

  9. 問題の解決にサポートが必要な場合は、*Pod health*でダウンロードを選択してポッド情報をダウンロードしてください。ホスト名、オペレーティングシステム、カーネル、Consoleバージョン、Kubernetesバージョン、ConsoleアカウントIDなど、*System information*から関連する詳細情報を収集し、管理者またはサポートチームと共有してください。

結果

是正措置を講じた後は、ヘルスモニター*に戻り、*システム安定性、ポッドの状態、ノードの状態、およびリソース使用率を確認して、報告された状態が解消されたことを確認してください。スキャンが中断された場合は、*データソース*に移動して、スキャンが再開されたことを確認してください。"スキャン状況と詳細を表示する"を参照してください。