Statistiken direkt vom projekt auslesen
-
- Task-Killer
- Beiträge: 777
- Registriert: 05.09.2001 01:00
- Wohnort: Porta Westfalica
- Kontaktdaten:
Statistiken direkt vom projekt auslesen
Hallo,
Ich bin gerade mit den Boinc-Statistiken am Rumprobieren. Dabei gibt es ja die "Statistik-API", über die man sich die Statistiken direkt von dem entspr Projekt laden kann. Mir geht es momentan um die Teams, welche bei einem konkreten Projekt registriert sind. Zum einen gips Dateien, die direkt heruntergeladen werden können (zB. hier worldcommunitygrid, zum andern kann man über diverse Statistikfunktionen (hier beschrieben, Beispiel Statistiken) diese direkt herunterladen.
Mein Problem:
- Die Dateien werden idR. nur einmal täglich aktualisiert.
- Die XML-Abfragen liefern max. 100 Teams auf einmal
Den Weg die Daten von einer der vielen Statistikseiten zu "lutschen" möchte ich nicht gehen, es sollte schon mit der BOINC-API gehen.
Wie kann ich jetzt Statistiken von allen Teams bekommen ?
Ich bin gerade mit den Boinc-Statistiken am Rumprobieren. Dabei gibt es ja die "Statistik-API", über die man sich die Statistiken direkt von dem entspr Projekt laden kann. Mir geht es momentan um die Teams, welche bei einem konkreten Projekt registriert sind. Zum einen gips Dateien, die direkt heruntergeladen werden können (zB. hier worldcommunitygrid, zum andern kann man über diverse Statistikfunktionen (hier beschrieben, Beispiel Statistiken) diese direkt herunterladen.
Mein Problem:
- Die Dateien werden idR. nur einmal täglich aktualisiert.
- Die XML-Abfragen liefern max. 100 Teams auf einmal
Den Weg die Daten von einer der vielen Statistikseiten zu "lutschen" möchte ich nicht gehen, es sollte schon mit der BOINC-API gehen.
Wie kann ich jetzt Statistiken von allen Teams bekommen ?
Re: Statistiken direkt vom projekt auslesen
Also ich und viele andere Projekte erzeugen die stats (https://www.rechenkraft.net/yoyo/stats/) stündlich. Glaub nur WCG hat sich etwas zimperlich.
-
- Task-Killer
- Beiträge: 777
- Registriert: 05.09.2001 01:00
- Wohnort: Porta Westfalica
- Kontaktdaten:
Re: Statistiken direkt vom projekt auslesen
Hi,
ich habe jetzt mal vom Wiki ausgehend ein paar Projekte durchprobiert.
Bei etwa 1/3 kann ich die dateibasierte Statistikseite garnicht aufrufen - entweder passwortgeschützt oder Seite nicht vorhanden (404), weder über die Base-Url noch RPC-Url.
Was mir vorschwebt, ist eine Projektstatistik ähnlich wie Boincstats (Beispiel).
Beim Teamvergleich sind die Abstände tw. noch geringer (zb Hier).
Meine Frage ist, wie die vorgehen, um die Statistiken zu lesen? Ich kann mir nicht vorstellen, daß die anhand der Team-Liste für jedes Team einen "project/team_lookup.php" absetzen, um so an die Daten zu kommen. Das wären ja jedesmal 1000nde Webrequests (abhängig davon, wie groß das Projekt ist). Dann steht ja noch in dem Raum, wie ich überhaupt an die Teams komme, wenn die dateibasierte Schnittstelle nicht funktioniert/freigegeben ist.
Ich habe das Gefühl, daß es da noch weitere Funktionen gibt, die ich noch nicht gefunden habe ...
ich habe jetzt mal vom Wiki ausgehend ein paar Projekte durchprobiert.
Bei etwa 1/3 kann ich die dateibasierte Statistikseite garnicht aufrufen - entweder passwortgeschützt oder Seite nicht vorhanden (404), weder über die Base-Url noch RPC-Url.
Was mir vorschwebt, ist eine Projektstatistik ähnlich wie Boincstats (Beispiel).
Beim Teamvergleich sind die Abstände tw. noch geringer (zb Hier).
Meine Frage ist, wie die vorgehen, um die Statistiken zu lesen? Ich kann mir nicht vorstellen, daß die anhand der Team-Liste für jedes Team einen "project/team_lookup.php" absetzen, um so an die Daten zu kommen. Das wären ja jedesmal 1000nde Webrequests (abhängig davon, wie groß das Projekt ist). Dann steht ja noch in dem Raum, wie ich überhaupt an die Teams komme, wenn die dateibasierte Schnittstelle nicht funktioniert/freigegeben ist.
Ich habe das Gefühl, daß es da noch weitere Funktionen gibt, die ich noch nicht gefunden habe ...
Re: Statistiken direkt vom projekt auslesen
In einer Challenge sind meist weniger als 100 Teams. Die stats kann man mit der RPC Methode holen und dort möglichst alle Teams mit einem Aufruf.
Die Datei Schnittstelle ist der BOINC Standard für den Statsexport für Statistik Seiten.
Allerdings betrachten einige Projekte die Daten darin als schützenswert personengebundene Daten gemäß DSGVO und sperren den Zugriff. Man muss dann erst einer Vereinbarung mit dem Projekt zustimmen die Daten nicht zu missbrauchen um Zugriff zu bekommen.
Wir können das alles auch gern im Slack weiter diskutieren.
Die Datei Schnittstelle ist der BOINC Standard für den Statsexport für Statistik Seiten.
Allerdings betrachten einige Projekte die Daten darin als schützenswert personengebundene Daten gemäß DSGVO und sperren den Zugriff. Man muss dann erst einer Vereinbarung mit dem Projekt zustimmen die Daten nicht zu missbrauchen um Zugriff zu bekommen.
Wir können das alles auch gern im Slack weiter diskutieren.
-
- Task-Killer
- Beiträge: 777
- Registriert: 05.09.2001 01:00
- Wohnort: Porta Westfalica
- Kontaktdaten:
Re: Statistiken direkt vom projekt auslesen
Alles Teams in einem Aufruf - wie geht das? In der Doku habe ich nur gefunden, daß ein einzelnes Team anhand der Id oder mehrere anhand eines Suchbegriffes gesucht werden können.
Hintergrund ist, daß mir ganz wage eine Idee für einen eigenen Wettkampf vorschwebt. Damit das aber funktioniert, brauche ich erst einmal eine zuverlässigen Weg, die (Team-)Statisiken zu bekommen.
Sla-was ??Wir können das alles auch gern im Slack weiter diskutieren.
Re: Statistiken direkt vom projekt auslesen
Mehrere Teams mit einem Aufruf: https://moowrap.net/team_lookup.php?team_ids=22,23
Zum Slack kommst Du wenn Du dem Chat Link in meiner Signatur folgst.
Zum Slack kommst Du wenn Du dem Chat Link in meiner Signatur folgst.