日本語は機械翻訳による参考訳です。内容に矛盾や不一致があった場合には、英語の内容が優先されます。

ネイティブタスクストリームダッシュボードを使用して Dask を監視します

寄稿者 このページの PDF をダウンロード

"Dask 分散スケジューラ" ライブフィードバックは、次の 2 つの形式で提供します。

  • ライブ情報を含む多数のプロットやテーブルを含むインタラクティブなダッシュボード

  • コンソールやノートブックでの対話型の使用に適したプログレスバーです

この場合、次の図は、保存されたバイト数、ストリーム数の詳細な内訳を示すタスクストリーム、実行された関連機能を持つタスク名ごとの進捗状況を監視する方法を示しています。この例では、ワーカーノードが 3 つあるため、ストリームには 3 つの主要なチャンクがあり、各ストリーム内で異なるタスクを示すカラーコードがあります。

エラー:グラフィックイメージがありません

個々のタスクを分析し、実行時間をミリ秒単位で調査するか、障害や障害を特定することができます。たとえば、次の図は、ランダムフォレストモデルフィッティングステージのタスクストリームを示しています。実行される関数は、 DataFrame 処理用の一意のチャンク、ランダムフォレストをフィッティングするための _construct_RF など、はるかに多くあります。Criteo のクリックログに含まれる 1 日分のデータのサイズ( 45GB )が大きいため、 DataFrame の処理にほとんどの時間が費やされていました。

エラー:グラフィックイメージがありません