AI Data Engineでデプロイメントの状態を監視し、問題を調査します
AI Data Engine(AIDE)ヘルスモニターは、スキャンを中断させる可能性のある、異常なワークロードやリソースの制約を特定するのに役立ちます。ヘルスの詳細を使用して、問題の影響を評価し、トラブルシューティングのための情報を収集してください。
デプロイメントの状態を監視し、問題を調査する
-
NetApp Consoleで、AIデータハブ > AI Data Engine に移動します。
-
*設定*を選択し、次に*ヘルスモニター*を選択します。
-
インフラストラクチャの状態 の下の システムの安定性 をチェックして、異常なポッドがないか確認してください。
異常なポッドは、期待どおりにワークロードを実行できません。異常なステータスには、Pending、Failed、Evicted、Unknown、OOMKilled、およびCrashLoopBackOffが含まれます。
-
デプロイメントに影響を与える可能性のあるリソース制約を特定してください:
-
シングルノード構成の場合は、*ノードの状態*を確認してください。ノードに異常が見られる場合は、CPU、メモリ、ディスクの使用率カードをチェックして、リソース負荷の兆候がないか確認してください。
-
マルチノード展開の場合は、「ノードの状態」を確認して、クリティカル、警告、またはオフラインの状態になっているノードを特定してください。利用可能なリソース利用状況の指標を比較し、リソース逼迫の兆候がないか確認してください。オフラインのノードについては、ノードの可用性を調査してください。
-
-
マルチノード展開の場合、リソースを調査するには、利用状況カードの*詳細を表示*を選択します:
-
CPU使用率:現在の使用率を警告および重大なしきい値と比較します。
-
メモリ使用率:現在の使用状況、メモリ不足(OOM)のリスク、およびメモリ削除のしきい値を確認します。
-
ディスク使用量:利用可能な容量、リスク、および停止しきい値を確認します。
メモリとディスクに関する警告には特に注意してください。これらの状態はスキャンを中断させる可能性があります。詳細に表示されている推奨手順に従ってください。
-
-
影響を受けるワークロードを特定するには、*Pod health*の下にある*Pod*と*Status*のフィルターを使用してリストを絞り込みます。
影響を受ける各ポッドのワークロード、ステータス、およびリソース使用状況を確認してください。この情報を使用して、リソースの負荷と、障害が発生している、繰り返し再起動している、または実行待ち状態にあるポッドを区別してください。
-
*問題のあるワークロード*を確認し、停止しているワークロードや頻繁に再起動しているワークロードを特定します。これらの事象とリソース使用量との相関関係を把握するために、報告された時刻に注意してください。
-
リソース利用の傾向を分析し、リソースへの圧力が一時的なものか持続的なものかを判断します:
-
シングルノード展開の場合は、該当する期間の「リソース使用率分布」を確認してください。
-
マルチノード展開の場合は、該当する期間の*上位20ノード(利用率)*を確認してください。ノード間の利用状況を比較し、影響を受けているノードのCPU、メモリ、ディスクの使用状況を検査して、一時的な利用率の急増や持続的な高利用率を特定します。
-
-
問題の解決にサポートが必要な場合は、*Pod health*で
を選択してポッド情報をダウンロードしてください。ホスト名、オペレーティングシステム、カーネル、Consoleバージョン、Kubernetesバージョン、ConsoleアカウントIDなど、*System information*から関連する詳細情報を収集し、管理者またはサポートチームと共有してください。
是正措置を講じた後は、ヘルスモニター*に戻り、*システム安定性、ポッドの状態、ノードの状態、およびリソース使用率を確認して、報告された状態が解消されたことを確認してください。スキャンが中断された場合は、*データソース*に移動して、スキャンが再開されたことを確認してください。"スキャン状況と詳細を表示する"を参照してください。