オーバークォータフェアネス
変更を提案
PDF
このセクションでは、複数のチームがワークロードを送信し、クォータを超過するシナリオを拡張します。この方法では、 Run ： AI の公正性アルゴリズムが、事前設定されたクォータの比率に従ってクラスタリソースを割り当てる方法を説明します。
このテストシナリオの目標：
-
複数のチームがクォータを介して GPU を要求しているときのキューイングメカニズムを示します。
-
システムが、クォータの比率に従って、クォータを超過した複数のチーム間にクラスタの適正な共有を分散し、クォータが大きいチームがスペア容量の大部分を占めるようにする方法を示します。
の末尾 "基本的な資源配分フェアネス"では、キューに入れられるワークロードは 2 つあります。 1 つは「 team -b 」用、もう 1 つは「 team -c 」用です。このセクションでは、追加のワークロードをキューに登録します。
ジョブの送信、使用されるコンテナイメージ、実行されるコマンドシーケンスなどの詳細については、を参照してください "セクション 4.10 のテストの詳細"。
すべてのジョブがセクションに従って送信される場合 "セクション 4.10 のテストの詳細"をクリックすると、システムダッシュボードに team-a、 team-b`および `team-c すべてのGPUが、あらかじめ設定されているクォータを超えています。 team-a あらかじめ設定されているソフトクォータ（4つ）よりも4つ多くのGPUを使用しますが、 team-b および team-c それぞれがソフトクォータ（2つ）よりも2つ多くのGPUを使用します。割り当てられたクォータ超過 GPU の比率は、事前設定されたクォータの比率と同じです。これは、システムが優先順位の基準として事前設定されたクォータを使用し、複数のチームがクォータを超えて GPU を追加するように要求した場合に応じてプロビジョニングされるためです。このような自動ロードバランシングは、企業のデータサイエンスチームが AI モデルの開発と運用に積極的に関与している場合に、公平性と優先順位付けを提供します。
このテストシナリオの結果は次のようになります。
-
他のチームのワークロードのキュー解除が開始されます。
-
キュー解除の順序は ' 公正性アルゴリズムに従って決定されますたとえば 'team -b と 'team -c は ' 同等のクォータを持つため ' 同じ量のオーバークォータ GPU を取得します また 'team -a は 'team -b と 'team -c のクォータの 2 倍のクォータを備えているため 'GPU の量が 2 倍になります
-
すべての割り当てが自動的に行われます。
したがって、システムは次の状態で安定します。
| プロジェクト | GPU が割り当てられました | コメント（ Comment ） |
|---|---|---|
チーム A |
8/4 |
クォータを介した 4 基の GPU空のキューです。 |
チーム - b |
4 月 2 日 |
クォータを介した 2 つの GPU 。1 つのワークロードがキューに登録 |
チーム -c |
4 月 2 日 |
クォータを介した 2 つの GPU 。1 つのワークロードがキューに登録 |
チーム -d |
0/8 |
GPU をまったく使用しないので、キューに登録されているワークロードはありません |
次の図は、プロジェクトごとの GPU 割り当てを示しています Run ：セクションの AI Analytics ダッシュボードに表示される時間 "オーバークォータの GPU 割り当てによる高いクラスタ利用率の達成"、 "基本的な資源配分フェアネス"および "オーバークォータフェアネス"。図の各行は、特定のデータサイエンスチーム用にプロビジョニングされた GPU の数を常に表しています。システムは、送信されたワークロードに応じて GPU を動的に割り当てることがわかります。これにより、クラスタ内に使用可能な GPU がある場合はクォータを超過し、公平性に従ってジョブをプリエンプトしてから、 4 つのチームすべてが最終的に安定した状態に到達することができます。
