日本語は機械翻訳による参考訳です。内容に矛盾や不一致があった場合には、英語の内容が優先されます。

オーバークォータフェアネス

寄稿者 このページの PDF をダウンロード

このセクションでは、複数のチームがワークロードを送信し、クォータを超過するシナリオを拡張します。この方法では、 Run : AI の公正性アルゴリズムが、事前設定されたクォータの比率に従ってクラスタリソースを割り当てる方法を説明します。

このテストシナリオの目標:

  • 複数のチームがクォータを介して GPU を要求しているときのキューイングメカニズムを示します。

  • システムが、クォータの比率に従って、クォータを超過した複数のチーム間にクラスタの適正な共有を分散し、クォータが大きいチームがスペア容量の大部分を占めるようにする方法を示します。

の末尾 "基本的な資源配分フェアネス"では、キューに入れられるワークロードは 2 つあります。 1 つは「 team -b 」用、もう 1 つは「 team -c 」用です。このセクションでは、追加のワークロードをキューに登録します。

ジョブの送信、使用されるコンテナイメージ、実行されるコマンドシーケンスなどの詳細については、を参照してください "セクション 4.10 のテストの詳細"

すべてのジョブがセクションに従って送信される場合 "セクション 4.10 のテストの詳細"システム・ダッシュボードには 'team a’team -b’および 'team -c` のすべての GPU の数が ' 事前設定されたクォータよりも多くなっていることが示されています「 team -a 」は、初期設定のソフトクォータ( 4 )よりも 4 基の GPU を占有し、「 team -b 」と「 team -c 」はソフトクォータ( 2 つ)よりも 2 つの GPU を占有します。割り当てられたクォータ超過 GPU の比率は、事前設定されたクォータの比率と同じです。これは、システムが優先順位の基準として事前設定されたクォータを使用し、複数のチームがクォータを超えて GPU を追加するように要求した場合に応じてプロビジョニングされるためです。このような自動ロードバランシングは、企業のデータサイエンスチームが AI モデルの開発と運用に積極的に関与している場合に、公平性と優先順位付けを提供します。

エラー:グラフィックイメージがありません

このテストシナリオの結果は次のようになります。

  • 他のチームのワークロードのキュー解除が開始されます。

  • キュー解除の順序は ' 公正性アルゴリズムに従って決定されますたとえば 'team -b と 'team -c は ' 同等のクォータを持つため ' 同じ量のオーバークォータ GPU を取得します また 'team -a は 'team -b と 'team -c のクォータの 2 倍のクォータを備えているため 'GPU の量が 2 倍になります

  • すべての割り当てが自動的に行われます。

したがって、システムは次の状態で安定します。

プロジェクト GPU が割り当てられました コメント( Comment )

チーム A

8/4

クォータを介した 4 基の GPU空のキューです。

チーム - b

4 月 2 日

クォータを介した 2 つの GPU 。1 つのワークロードがキューに登録

チーム -c

4 月 2 日

クォータを介した 2 つの GPU 。1 つのワークロードがキューに登録

チーム -d

0/8

GPU をまったく使用しないので、キューに登録されているワークロードはありません

次の図は、プロジェクトごとの GPU 割り当てを示しています Run :セクションの AI Analytics ダッシュボードに表示される時間 "オーバークォータの GPU 割り当てによる高いクラスタ利用率の達成"、 および 。図の各行は、特定のデータサイエンスチーム用にプロビジョニングされた GPU の数を常に表しています。システムは、送信されたワークロードに応じて GPU を動的に割り当てることがわかります。これにより、クラスタ内に使用可能な GPU がある場合はクォータを超過し、公平性に従ってジョブをプリエンプトしてから、 4 つのチームすべてが最終的に安定した状態に到達することができます。

エラー:グラフィックイメージがありません