CP-Statistikstress?

[Michael H.W. Weber]

Irgendwie bin ich doch etwas verwundert. Meine beiden Maschinen rechnen an CP wie die Berserker und in den Statistiken bewegt sich nahezu nichts. Mehr noch, man wird auch noch überholt. Ist es möglich, daß die Aktualisierungsdaten (Zeitangaben) eine "fake" sind? Lokal sehe ich kontinuierlichen Fortschritt, auf der Website tut sich vergleichsweise wenig.

Michael.

[Eisenarnold]

Die Angabe "Rank x of y" entsteht vermutlich so:

y, die Zahl der Teilnehmer, ist immer die aktuelle Zahl der User.

x ist der aktuelle Rang, wobei nur die Trickles berücksichtigt werden, die bis zur Zeit, die in der Tabellenüberschrift steht, eingegangen sind.
x wird nur alle 4 Stunden korrekt berechnet. Man kann nur bei dieser Neuberechnung Ränge nach oben klettern.

[Michael H.W. Weber]

Da ist dennoch was faul. Naja - soeben habe ich mein zweites komplettes Modell hochgeladen.

Michael.

[Der Diplomat]

Außerdem scheint mir der Client auch nicht immer Ergebnisse zu melden. Bei mir passiert es alle drei bis vier Tage, dass der Client mit dem Server Daten austauscht... Vorher kann natürlich nichts auf der Homepage erscheinen.

n.b.: Duron 800 MHz-Rechner

[Michael H.W. Weber]

Also die Statistiken bei CP sind offenbar Quatsch. Heute morgen (ca. 8 Uhr) wurde mein zweites komplettes Modell hochgeladen und ein neues heruntergeladen. Inzwischen sollen die Statistiken angeblich um 16:30 Uhr aktualisiert worden sein. Die Daten meines Modells sind NICHT angezeigt. Also sind die offiziellen Angaben Schwachfug.

Was eigentlich ist ein Modelljahr? Identisch mit einem Simulationsjahr? Dann würden bei mir die Statistiken ebenfalls nachweislich falsch sein, denn jede Phase enthält 15 Simulationsjahre, d.h. ein Modell mit 3 Phasen entspricht 45 Simulationsjahren. Zwei Modelle habe ich komplett abgeliefert (90 Simulationsjahre) und auf einem anderen Rechner wurden weitere >20 Jahre simuliert. Die Statistiken zeigen aber nur 108 Jahre an und sind somit inkorrekt.

Macht sich bei mir angesichts der einerseits hohen Anforderungen seitens der Projektbetreiber an die Teilnehmer eine gewisse Verärgerung breit, wenn ich mir andererseits die mangelhafte Performance der Statistiken ansehe. Von den Streßfaktoren unter denen andere hier mit dem Client leiden bin ich bislang verschont geblieben, aber ausdenken werden die sich das wohl kaum. Auch möge man mir bitte nicht damit kommen, man könne die Simulationen nicht in kleinere Häppchen aufteilen - das sollen die Projektbetreiber mal ihrem Frisör erzählen. Ergo scheinen mir Verbesserungen an allen Fronten dringend erforderlich. Und zwar am besten bis gestern.

Michael.

[Eisenarnold]

Es kann wohl bis zu 24 Stunden dauern, bis die Ergebnisse eine Modelllaufs auch als Graph abgerufen werden können.

Die Statistiken sind aber nach meiner Erfahrung korrekt. Ich vermute mal, dass der Rechner, der die >20 Jahre simuliert hat, nicht "getrickelt" hat, seit er >20 Jahre simuliert hat? Denn nur dann können die Statistiken auch richtig sein. Könnte das sein?

Ein Modelljahr ist identisch mit einem Simulationsjahr.

Das Thema "kleine Workunits" erkläre ich meiner Frisöse so: Klar kann man zum Beispiel statt 3 Phasen á 15 Jahren auch nur 1 Phase á 15 Jahre simulieren - aber dann fällt nach Phase 1 ein Riesenupload der Daten der Phase 1 an, die dann auch noch von denen, die Phase 2 oder 3 berechnen wollen, downgeloadet werden müssen. Der Upload wäre deutlich größer als der Upload, der zur Zeit am Ende von Phase 3 durchgeführt wird und dürfte über 100 MB groß sein. Das kann man den Usern auch nicht zumuten und ist auch nicht von CP realisierbar, da auf deren Rechnern zu viele Daten gespeichert werden müssten.

Ehrlich gesagt finde ich es schon eine ganz schöne Leistung, das so ein Modell auf heutigen PCs überhaupt läuft. Als ich vor ein einigen Jahren Klimasimulation betrieben haben, war das noch nicht denkbar...

Klar muss es auch noch deutliche Verbesserungen geben, aber erstens ist die Mannschaft von CP noch klein und zweitens ist der Client ja erst zwei Monate und 13 Tage in Produktion. Erst wenn es nach einem halben Jahr nicht rund läuft, dann liegt was im Argen.

Mit freundlichem Gruß
Eisenarnold

[Michael H.W. Weber]

Alles schön und gut. Die Statistiken sind dennoch nicht verlässlich. Sie stimmen auch heute morgen noch nicht. Immerhin hat sich mein zweites Modell dazugesellt. Auch der Client macht bei einigen Leuten Probleme und gebastelt wird an CP schon seit Jahren - von der vergleichsweise langen Betatestphase mal nicht zu reden. Dass 100 MB Daten anfallen sollen, wenn man in kleineren Häppchen rechnen würde, kann ich auch nicht so ganz nachvollziehen und der andere Rechner erscheint bei mir jeden Tag als "aktualisiert".

Michael.

[Eisenarnold]

Aber das Modell rechnet doch so:

Nimm die Daten zum Zeitpunkt 0 und berechne daraus die Daten zum Zeitpunkt 0 + 1/2 Stunde.
Nimm die Daten zum Zeitpunkt 1/2 Stunde und berechne daraus die Daten zum Zeitpunkt 1 Stunde.
Mach das solange, bis die 15 simulierten Jahre einer Phase erreicht sind.
Das heißt, der Output eines Timesteps wird als Input für den nächsten Timestep benötigt.
Andersherum wird für die Berechnung der Felder zum Zeitpunkt t = 15 Jahre zwingend die Kenntnis der Felder zum Zeitpunkt t = 15 Jahre - 1/2 Stunde benötigt.

Mal angenommen, die WUs werden auf nur 1 Jahr verkürzt. Dann müssen zwar für aussagekräftige Ergebnisse trotzdem insgesamt 45 Jahre (also 45 WUs) simuliert werden. Diese Arbeit kann aber von unterschiedlichen Usern erfolgen.
Nachteil 1: Die WUs müssen in der richtigen Reihenfolge gerechnet werden.
Nachteil 2: Die Ergebnisse einer WU müssen als Input der nächsten WU dienen, also upgeloadet und von nächsten User downgeloadet werden. Selbst, wenn es nur 10 MB Daten sind, ergibt sich dann für einen kompletten Modelllauf von 45 Jahren ziemlich viel Traffic. Damit werden auch User mit Modems faktisch ausgeschlossen. (10 MB Upload nach ungefähr 1 Tag Rechnen!). Und User mit Mengen-begrenzter Flatrate überlegen sich auch, ob sie dann noch mitmachen.

Vorteil: Es würde reichen, wenn ein User nur sehr kurz rechnen lassen möchte.

Daher macht es vermutlich keinen Sinn, in kleineren Häppchen zu rechnen - außer, die allgemein zur Verfügung stehende Netzgeschwindigkeit läßt sehr viele und große Uploads/Downloads zu.

[Michael H.W. Weber]

Vermutlich bin ich einfach zu dämlich Dir zu folgen, aber nach Berechnung der vollen drei Phasen werden doch auch bloß 6 MB hochgeladen.

Michael.

[Midon]

Vermutlich bin ich einfach zu dämlich Dir zu folgen, aber nach Berechnung der vollen drei Phasen werden doch auch bloß 6 MB hochgeladen.

Michael.

Na ja, wenn ich das richtig verstanden habe sind die paar MB ja nur ein sehr stark komprimierter Exzerpt der wirklichen Daten, wie vielleicht Welttemperatur an jedem Tag oder was ähnliches. Um weiterrechnen zu können benötigt man jedoch die Werte (Temperatur, Luftfeuchtigkeit, Windrichtung, Windstärke, ...) an allen Gitterpunkten der Welt. Ich denke allerdings nicht das das so viel ist. So etwas war ja schon im Download des Programms enthalten. Effektiv dürfte die Datenmenge vielleicht in etwa gleich bleiben. Man erhält ja die Zusammenfassung für einen kleineren Zeitbereich und dann den letzten "Weltzustand".

Aber ich kann mich da auch täuschen.

Werner

[Eisenarnold]

mal kurz überschlagen:
Die horizonale Auflösung ist 2,5° in der Breite und 3,75° in der Länge. Macht insgesamt 72*96 = 6912 Gitterpunkte.
Die vertikale Auflösung beträgt 19 Ebenen in der Atmosphäre. Macht also zusammen 19*6912 = 131328 Gitterpunkte.

Welche Größen müssen an einem Gitterpunkt bekannt sein?
Temperatur (1 Wert)
Windgeschwindigkeit (2 Werte, Komponente in x- und y-Richtung)
Feuchtigkeit (1 Wert)
...

Das sind zusammen pro Gitterpunkt schon mal 4 Zahlen, die bestimmt je 4 Byte belegen, also zusammen 16 Byte.

Anzahl der Gitterpunkte mal benötigte Byte pro Gitterpunkt: 131328 * 16 = 2101248 Byte (Schon über 2 MB!).

Wenn jetzt noch Größen wie eine vertikale Windkomponente, Bewölkung, Geopotential und mehr dazu kommen, und wenn dann noch der Ozean berüchsichtigt wird, der selber nochmal ähnlich viele Gitterpunkte hat, kommt man schon auf eine ganze Menge Daten.

Bei Download des Modells sind die Werte übrigens nicht enthalten. Hier werden nur sehr einfache Startwerte vorgegeben, die sich im Laufe der Phase 1 "von selber" zu vernünftigen Daten entwickeln.

Eisenarnold