In unserem Fall zeigt die folgende Abbildung, wie Sie den Fortschritt der Aufgabe überwachen können, einschließlich gespeicherter Bytes, den Task-Stream mit einer detaillierten Aufschlüsselung der Anzahl von Streams und den Fortschritt nach Aufgabennamen mit den ausgeführten Funktionen. In unserem Fall, weil wir drei Arbeiter-Knoten haben, gibt es drei Hauptblöcke des Streams und die Farbcodes bezeichnen verschiedene Aufgaben innerhalb jedes Streams.

Sie haben die Möglichkeit, einzelne Aufgaben zu analysieren und die Ausführungszeit in Millisekunden zu untersuchen oder Hindernisse oder Hindernisse zu identifizieren. Die folgende Abbildung zeigt beispielsweise die Aufgabenströme für die Zufallsphase des Waldmodells. Es werden wesentlich mehr Funktionen ausgeführt, darunter ein einzigartiger Chunk für die DataFrame-Verarbeitung, _construct_rf für die Anpassung der zufälligen Gesamtstruktur usw. Die meiste Zeit wurde auf DataFrame-Operationen aufgrund der großen Größe (45 GB) von einem Tag Daten aus den Criteo Click Logs verwendet.