Nutzung verteilter Berechnung für die Analyse von Münzdaten

[SCYvan]

Hallo zusammen,

ich bin neu hier, aber beim Lesen der Diskussionen über verteiltes Rechnen ist mir ein Gedanke gekommen: Könnte man die Rechenleistung von Projekten wie BOINC nutzen, um große Datensätze aus der Numismatik sinnvoll auszuwerten?
Konkret denke ich an Sammlungen von 2-Euro-Gedenkmünzen. Es gibt zwar sehr detaillierte Informationen zu Prägejahr, Auflage, Herkunft und Seltenheit, aber diese Daten sind oft fragmentiert und werden nicht systematisch analysiert. Mit verteilter Rechenleistung ließe sich prüfen, ob man Trends erkennen, Wertentwicklungen besser abschätzen oder Auffälligkeiten in der Münzprägung entdecken könnte.
Ich weiß, das ist ein unkonventioneller Ansatz – wir verlassen hier die klassischen naturwissenschaftlichen Projekte – aber gerade deshalb könnte es spannend sein. Gibt es hier Erfahrungen mit verteilten Analysen auf Datensätze, die nicht direkt physikalisch oder biologisch sind? Welche technischen Hürden wären zu erwarten?

Ich freue mich auf Feedback oder Ideen, wie man einen solchen Ansatz umsetzen könnte.

[Novas]

Die Analyse selbst sollte da vermutlich nicht soo aufwendig sein. Die Frage die ich mir stelle: Wenn die Daten so fragmentiert sind, wo kommen sie dann her? Beim Daten sammeln könnte BOINC zwar theoretisch helfen, praktisch ist die Plattform aber für Compute und nicht für Webscraping. Ich persönlich würde auch an solchen Projekten nicht teilnehmen, da ich es nicht mag wenn fremde Programme das Internet über meinen Zugang scrapen (hier in Deutschland gibts dafür auch mal schnell auf den Deckel). Dafür gibts andere Portale, die einen dafür sogar bezahlen.

[SCYvan]

Danke für die Rückmeldung! Ja, da hast du natürlich recht – BOINC ist primär für reine Rechenaufgaben gedacht, nicht fürs Sammeln von Daten. Ich hatte eher an die Analyse gedacht, wenn die Daten schon in strukturierter Form vorliegen, z. B. von bestehenden Numismatik-Datenbanken oder öffentlichen Katalogen.
Der Punkt mit dem Webscraping ist absolut berechtigt – rechtlich und praktisch wäre das problematisch. Vielleicht wäre eine Kooperation mit Sammlerplattformen oder offiziellen Datenbanken der bessere Weg, um an qualitativ hochwertige, schon vorhandene Daten zu kommen. Dann könnte man die verteilte Rechenleistung wirklich für Mustererkennung, Trendanalysen oder Wertprognosen einsetzen.

Hat hier jemand Erfahrungen, wie man große, heterogene Datensätze aus einem „nicht-naturwissenschaftlichen“ Bereich sinnvoll für verteiltes Rechnen aufbereiten kann?

[Michael H.W. Weber]

Hat hier jemand Erfahrungen, wie man große, heterogene Datensätze aus einem „nicht-naturwissenschaftlichen“ Bereich sinnvoll für verteiltes Rechnen aufbereiten kann?

...da müßtest Du mal genauer beschreiben, was Du konkret tun möchtest.
Ansonsten kann man mit Python nahezu alles machen...

Michael.