Statistiken direkt vom projekt auslesen

Grid-Computing, technische Entwicklung von Distributed Computing...
Nachricht
Autor
Jürgen
Brain-Bug
Brain-Bug
Beiträge: 579
Registriert: 05.09.2001 01:00
Wohnort: Porta Westfalica
Kontaktdaten:

Statistiken direkt vom projekt auslesen

#1 Ungelesener Beitrag von Jürgen » 01.07.2021 22:50

Hallo,

Ich bin gerade mit den Boinc-Statistiken am Rumprobieren. Dabei gibt es ja die "Statistik-API", über die man sich die Statistiken direkt von dem entspr Projekt laden kann. Mir geht es momentan um die Teams, welche bei einem konkreten Projekt registriert sind. Zum einen gips Dateien, die direkt heruntergeladen werden können (zB. hier worldcommunitygrid, zum andern kann man über diverse Statistikfunktionen (hier beschrieben, Beispiel Statistiken) diese direkt herunterladen.

Mein Problem:
- Die Dateien werden idR. nur einmal täglich aktualisiert.
- Die XML-Abfragen liefern max. 100 Teams auf einmal
Den Weg die Daten von einer der vielen Statistikseiten zu "lutschen" möchte ich nicht gehen, es sollte schon mit der BOINC-API gehen.

Wie kann ich jetzt Statistiken von allen Teams bekommen ?
Jürgen
-----
Der Computer ist ein Hilfsmittel zum Lösen von Problemen, die man ohne ihn gar nicht erst hat!
Bild Bild

Benutzeravatar
yoyo
Vereinsvorstand
Vereinsvorstand
Beiträge: 7936
Registriert: 17.12.2002 14:09
Wohnort: Berlin
Kontaktdaten:

Re: Statistiken direkt vom projekt auslesen

#2 Ungelesener Beitrag von yoyo » 02.07.2021 21:33

Also ich und viele andere Projekte erzeugen die stats (https://www.rechenkraft.net/yoyo/stats/) stündlich. Glaub nur WCG hat sich etwas zimperlich.
HILF mit im Rechenkraft-WiKi, dies gibts zu tun.
Wiki - FAQ - Verein - Chat

Bild Bild

Jürgen
Brain-Bug
Brain-Bug
Beiträge: 579
Registriert: 05.09.2001 01:00
Wohnort: Porta Westfalica
Kontaktdaten:

Re: Statistiken direkt vom projekt auslesen

#3 Ungelesener Beitrag von Jürgen » 02.07.2021 23:39

Hi,
ich habe jetzt mal vom Wiki ausgehend ein paar Projekte durchprobiert.
Bei etwa 1/3 kann ich die dateibasierte Statistikseite garnicht aufrufen - entweder passwortgeschützt oder Seite nicht vorhanden (404), weder über die Base-Url noch RPC-Url.

Was mir vorschwebt, ist eine Projektstatistik ähnlich wie Boincstats (Beispiel).
Beim Teamvergleich sind die Abstände tw. noch geringer (zb Hier).

Meine Frage ist, wie die vorgehen, um die Statistiken zu lesen? Ich kann mir nicht vorstellen, daß die anhand der Team-Liste für jedes Team einen "project/team_lookup.php" absetzen, um so an die Daten zu kommen. Das wären ja jedesmal 1000nde Webrequests (abhängig davon, wie groß das Projekt ist). Dann steht ja noch in dem Raum, wie ich überhaupt an die Teams komme, wenn die dateibasierte Schnittstelle nicht funktioniert/freigegeben ist.
Ich habe das Gefühl, daß es da noch weitere Funktionen gibt, die ich noch nicht gefunden habe ... :-?
Jürgen
-----
Der Computer ist ein Hilfsmittel zum Lösen von Problemen, die man ohne ihn gar nicht erst hat!
Bild Bild

Benutzeravatar
yoyo
Vereinsvorstand
Vereinsvorstand
Beiträge: 7936
Registriert: 17.12.2002 14:09
Wohnort: Berlin
Kontaktdaten:

Re: Statistiken direkt vom projekt auslesen

#4 Ungelesener Beitrag von yoyo » 03.07.2021 12:10

In einer Challenge sind meist weniger als 100 Teams. Die stats kann man mit der RPC Methode holen und dort möglichst alle Teams mit einem Aufruf.
Die Datei Schnittstelle ist der BOINC Standard für den Statsexport für Statistik Seiten.
Allerdings betrachten einige Projekte die Daten darin als schützenswert personengebundene Daten gemäß DSGVO und sperren den Zugriff. Man muss dann erst einer Vereinbarung mit dem Projekt zustimmen die Daten nicht zu missbrauchen um Zugriff zu bekommen.

Wir können das alles auch gern im Slack weiter diskutieren.
HILF mit im Rechenkraft-WiKi, dies gibts zu tun.
Wiki - FAQ - Verein - Chat

Bild Bild

Jürgen
Brain-Bug
Brain-Bug
Beiträge: 579
Registriert: 05.09.2001 01:00
Wohnort: Porta Westfalica
Kontaktdaten:

Re: Statistiken direkt vom projekt auslesen

#5 Ungelesener Beitrag von Jürgen » 03.07.2021 12:34

yoyo hat geschrieben:
03.07.2021 12:10
In einer Challenge sind meist weniger als 100 Teams. Die stats kann man mit der RPC Methode holen und dort möglichst alle Teams mit einem Aufruf.
Alles Teams in einem Aufruf - wie geht das? In der Doku habe ich nur gefunden, daß ein einzelnes Team anhand der Id oder mehrere anhand eines Suchbegriffes gesucht werden können.
Hintergrund ist, daß mir ganz wage eine Idee für einen eigenen Wettkampf vorschwebt. Damit das aber funktioniert, brauche ich erst einmal eine zuverlässigen Weg, die (Team-)Statisiken zu bekommen.
Wir können das alles auch gern im Slack weiter diskutieren.
Sla-was ?? :-?
Jürgen
-----
Der Computer ist ein Hilfsmittel zum Lösen von Problemen, die man ohne ihn gar nicht erst hat!
Bild Bild

Benutzeravatar
yoyo
Vereinsvorstand
Vereinsvorstand
Beiträge: 7936
Registriert: 17.12.2002 14:09
Wohnort: Berlin
Kontaktdaten:

Re: Statistiken direkt vom projekt auslesen

#6 Ungelesener Beitrag von yoyo » 03.07.2021 16:02

Mehrere Teams mit einem Aufruf: https://moowrap.net/team_lookup.php?team_ids=22,23

Zum Slack kommst Du wenn Du dem Chat Link in meiner Signatur folgst.
HILF mit im Rechenkraft-WiKi, dies gibts zu tun.
Wiki - FAQ - Verein - Chat

Bild Bild

Antworten

Zurück zu „Hintergrundinfos zu Verteiltem Rechnen“