Ideensammlung für ein neues Creditsystem

[Miko]

Auch in vielen anderen Fora habe ich diese User Ideensammlung für ein neues, einheitliches und gerechtes BOINC Creditsystem "gestartet!
Viele User sind aufgebracht weil einige Projekte mehr Credits für die selbe Arbeit geben als andere.
Es werden sogar Vorwürfe laut das manche Projekte extra "Cheaten" um User an sich zu binden...
Da das "Verteilte Rechnen" eine gemeinsame Sache aller User und aller Projekte ist,
finde ich das grade die Gerechtigkeit und die Gleichheit gross geschrieben werden sollten!!!
Dazu gehört ein vernünftiges Creditsystem!
Es gehört auch eine "Projekt-Verantwortlichen-Konferenz" ins Leben gerufen.
Dort könnten Erfahrungen ausgetauscht, und z.B. eine einheitliche WU Grösse festgelegt werden...
Das ist nur eine Idee. (...nichtmal ne besonders gute!)
Wo, bzw. wie sind Eure?
Macht Euch bitte Gedanken und postet sie hier.
Ich sammele sie dann in allen Fora wieder ein und schicke sie als "User-Ideen-Paket" an David (Anderson, Projektleiter von Seti und BOINC) nach Berkeley.

In diesem Sinne,
haut rein,

mit Gruss
Miko

[Miko]

Es sind in einigen Fora in den paar Tagen bisher schon brauchbare Ideen gepostet worden.

Leider ist die Beteiliguing wieder Erwarten eher mässig...
Vielleicht sind ja doch nicht so viele Cruncher, warum auch immer..., nicht an den Credits oder an einem gerechten System interessiert.

Natürlich werd ich, wenn ich das Ideenpaket nach Berkeley schicke, auch hier eine Zusammenfassung posten.

Gruss
Miko

[Michael H.W. Weber]

Ganz ehrlich: Für mich persönlich sind die Credits eher sekundär. Allerdings wäre ein DC projektübergreifend einheitliches Creditsystem auch im Sinne unseres Vereins wünschenswert, einfach um unsere Gesamtleistung realistischer im Vergleich zu anderen einschätzen zu können. Das beschränkt sich übrigens keineswegs nur auf BOINC.

Michael.

[scsimodo]

In diesem Sinne,
haut rein,

Nu gut, dann hau ich mal rein...

Wenn es nach mir geht gehört das bisherige Creditsystem schnellstmöglich und ohne zu zögern über den Jordan gekippt. Im Moment basiert das ganze System auf Benchmarkwerten, die gelinde gesagt für'n A**** sind. "Getunte" BOINC-Clients mit irrwitzigen Werten, Linux-Kisten mit Werten weit unterhalb der Schmerzgrenze. FLOP-Counting mag wohl für das ein oder andere Projekt (mehr schlecht als recht) funktionieren, ist aber keine allgemein brauchbare Lösung. Was tun?

Warum nicht die Rechenzeit an sich als Maßstab hernehmen? Ein 1GHZ-Rechner benötigt genausoviel Strom, Wartung und Nerven wie ein 3 GHz-Bolide. Klar, er rechnet weniger aber was solls? Für die Credits kann man sich eh nichts kaufen.

Wo ist die "Honorierung" der Ressourcen, die ich zur Verfügung stelle? Gebe ich viel RAM frei für die Anwendung bekomme ich bisher genauso viel Credits wie wenn ich mit dem RAM geize? Mit viel RAM kann ich aber "fettere" WU berechnen. Analoges gilt für HD-Platz (eher unwichtig) oder Leitungsbandbreite. Dazu müsste BOINC aber erlauben meine "WU-Größe" einzustellen, was es bis heute nicht kann. (zumindest nicht ohne AUfwand seitens der Projektbetreiber)

Wo wird mit eingerechnet ob ich Gelegenheitscruncher bin oder meine Maschinen 24x7 laufen lasse? Das ist sehr wohl ein guter Grund für erhöhte Credits.

Mein Vorschlag wäre:

Credits abhängig von Rechenzeit und nicht von Benchmarks. die Benchmarks sind suboptimal und sagen rein gar nichts aus. "Zusatzcredits" für erhöhte Bereitstellung von Ressourcen (HD, RAM, Leitung). Sowas könnte man evtl. als Multiplikator einbauen. Also z.B. x Credits pro Rechenstunde, wer mehr Speicher bereitstellt bekommt dann halt 1,2 mal soviel (nur um ein paar Hausnummern zu nennen). Interessant wären auch Zusatzpunkte z.B. wenn man 1 Rechenwoche, -Monat, -Jahr für ein Projekt hat, oder auch für einzelne Rechner.

Warum nicht auch Extra-Credits für Top-Results (z.B. bei Rosetta)? Oder ein Zuckerl, wenn man z.B. bei Einstein für den S4-Lauf mindestens x Results berechnet hat.

Wo ist im Credit-System die Möglichkeit meine Punkte bei einem Teamwechsel komplett zum neuen Team mitzunehmen? Nicht vorhanden, schlicht und ergreifend. Nur CPDN kann das anscheinend.

Meine Vorschläge sind sicherlich nicht "belastbar", aber so in etwa würde ich mir ein Credit-System vorstellen. Dazu müsste aber auch das ganze BOINC-Framework geändert werden. Dass das einer kompletten Überarbeitung bedarf ist so oder so ein ganz anderes Thema..

Das bisherige System ist IMHO eher ein Ärgernis, die Foren sind voll von Fragen und Beschwerden. Oft genug wird noch nicht mal geschnallt, was es mit den Credits überhaupt auf sich hat. Ein Armutszeugnis, wie ich finde.

Aber egal wie man es macht, irgendwer fühlt sich immer übervorteilt. Im Zweifel sollte ein System gefunden werden, dass für den User da ist, Spaß machen soll und ihn anspornt. Vielleicht sind dann auch TFs wieder mal spannend und aussagekräftig. Und vielleicht haben bei einer gerechten und projektübergreifend identischen Creditvergabe auch mal Projekte eine Chance, die ansonsten nicht gerechnet werden, weil es zuwenig Credits gibt. Berechnungen der Credits/Stunde bis auf die 2. Stelle hinterm Komma findet man so ziemlich in jedem Forum. Traurig, aber wahr.


So und jetzt schlagt auf mich ein...

[oe-floppy]

Oh, mal wieder eine Statistik/Credit-Diskussion? Da darf ich nicht fehlen...

Mir sind die Credits eh wurscht, weil ich weiß, dass ich mit meinem 1,7GHz-Buliden wohl kaum einen Blumentopf gewinnen kann. Obwohl mir auch aufgefallen ist, dass ich mit einer Einstein-WU mal über 130 Punkte eingesackt habe, was bei SIMAP bisher noch nie der Fall war. Klar, dass da ein Anreiz da ist, mehr für Einstein zu rechnen, denn wer will nicht in den Statistiken möglichst weit oben erscheinen? Aber um mal aufs Wesentiche zu sprechen zu kommen: Was nützt mir eine Statistik eigentlich, außer dass ich sie mir anschauen, und mich mit anderen vergleichen kann? Und eigentlich ist es doch egal, denn für mich zählt nur der "Sportsgeist". Und wie der innerhalb eines Projektes gezählt wird, interessiert mich nicht.
Aber was solls. Nun ergötzt euch an meinen sagenhaften Credits in meiner Signatur, und nennt mich "Minicruncher" . Aber mal ehrlich: Es ist kurz vor halb 12, und in meiner Bude sind noch exakt 29,7°C. Da werde ich ganz bestimt nicht noch zusätzlich die Wohnung durch eine heiße CPU aufheizen. DC (außer DIMES) bleibt bei den Temperaturen für mich erstmal tabu, und der Rechner tagsüber aus. Geschi**en auf die Statistiken, und dass mich auch bei DIMES bald die gute Zelocin vom Platz 14 verdrängt...

MfG

[Michael H.W. Weber]

Ich finde, dass der Benchmark dennoch in die Creditvergabe verrechnet werden sollte und schließe mich ansonsten scsimodos Ideen an.

Michael.

[domini1000]

Ich muß sagen das ich Scsimodos Idee recht gut finde.

Ob man den Bänschmark nun mit rein verwurstet oder nicht, müßte man sich mal überlegen wenn das Modell besser durchdacht ist. Aber ich würde auch vorziehen ihn erstmal raus zu lassen.

[edit] Ups, schwerer logischer Fehler wieder ausgebaut [/edit]

[Michael H.W. Weber]

Naja, ich bin schon der Ansicht, dass die Credits proportional zur abgelieferten Rechenleistung vergeben werden sollten. Wie man diese nun am Besten erfasst, wäre zu überlegen. Die Architektur der CPU und damit der Benchmark spielen da durchaus eine Rolle. Zusätzlich sollte man in der Tat - wie von scsimodo vorgeschlagen - den RAM-Ausbau einbeziehen. Ob die Netzwerkfähigkeiten, abgesehen vielleicht von der Unterscheidung zwischen offline und online Maschinen, ein Gewicht erhalten sollten, würde ich verneinen.

Michael.

[aalerich]

So und jetzt schlagt auf mich ein...

Nun denn...

Zuallererst:

Bei der ganzen Spielerei geht es darum, daß die verschiedenen Wissenschaftler Rechenleistung brauchen. Es geht nicht darum, möglichst viele Rechner möglichst lange laufen zu lassen sondern darum, möglichst viel zu rechnen. Die Idee der Kreditvergabe nach Rechnerlaufzeit ist ebenso alt wie unsinnig. Der F@H-Chef hat diesen Vorschlag mal abgelehnt mit der Begründung, die Leute würden sonst ihre 286er aus dem Keller holen...
Anders formuliert: Eine hochgezüchtete Dualcoremaschine bringt mehr Nutzen für die Wissenschaft als ein P II und daran muß sich das Kreditsystem ausrichten.

Die Ressourcen sind so eine Sache; in der Regel dürfte es schwierig werden, dabei ein "gerechtes" System zu finden. Beim Speicher beispielsweise: Kann ich mit mehr Speicher wissenschaftlich wichtigere Berechnungen machen als mit wenig Speicher...? Oder die Netzanbindung, ist die nicht ziemlich egal? Interessant ist doch nur, wie schnell ich Ergebnisse zurücksende und das hängt doch hauptsächlich an Rechenleistung und Rechenzeit.

Die Punktemitnahme beim Teamwechsel sollte so bleiben, wie sie ist. Beim (Non-BOINC) F@H macht man das genauso mit der Begründung, sonst wäre die Gefahr da, daß leistungsstarke Einzelkämpfer abgeworben werden und ein Team von einem Tag auf den anderen im Keller hockt während ein anderes aus eben jenem an die Spitze schießt. Stellt Euch mal vor, wir werben dem Bodenseeteam den Galaktischen ab und einen Monat später hat der von uns genug und geht zu BOINC@Posemuckel...

Das Hauptproblem ist meiner Meinung nach, daß mit dem BOINC-System unzählige völlig verschiedene Projekte vergleichbar gemacht werden sollen. Das kann eigentlich nur in die Hose gehen; genau das ist es aber, was den Reiz ausmacht... Wenn Einsteinpunkte nur mit Einsteinpunkten verglichen werden ist es uninteressant, daß es dort für die gleiche Arbeit mehr Punkte gibt als bei anderen Projekten.
Lösen läßt sich das Problem meiner Meinung nach nicht. F@H arbeitet mit Referenz-WUs, die gebenchmarkt werden und alle WUs dieser Art bringen dann die gleiche Punktzahl. Ist aber auch problematisch, weil verschiedene Prozessoren besser oder schlechter mit der gleichen WU arbeiten...

Kurz: Das System ist schlecht, alle anderen Ideen sind aber noch schlechter, so sehe ich das.

Mit freundlichen Grüßen
aalerich

[domini1000]

Kurz: Das System ist schlecht, alle anderen Ideen sind aber noch schlechter, so sehe ich das.

Wo wir wieder beim Punkt wären, ein besseres System zu finden als ein "nur" schlechtes...

[Uwe Sänger Herzke]

Kurz: Das System ist schlecht, alle anderen Ideen sind aber noch schlechter, so sehe ich das.

Mit freundlichen Grüßen
aalerich

(Beinahe) zustimm

Also, ich fand den ersten Ansatz bei BOINC ganz gut:

Leistung des Rechners x Zeit = Punkte

Um handhabbare Zahlen zu bekommen meinetwegen noch mit einem Faktor versehen (1/7820000 oder so).

Die Leistung des Rechners wird mit einer Benchmark berechnet, und dies ist bei BOINC leider nie ganz ausgegoren gewesen. Und es war offensichtlich sehr leicht zu manipulieren (s. "optimierte" Clients).

Die CPU-Zeit ist afaik recht gut erfasst, zumindest läuft der Zähler bei mir schneller, wenn er sonst nix tut, als wenn er andere Programme am Laufen hat.

Der Ansatz mit den vorherbestimmten Credits per WU ist auch ein feiner, aber er funktioniert nur, wenn der Berechnungsaufwand vorher gut bekannt ist (läuft bei CPDN und Folding). Wenn dem nicht so ist, insbesondere, wenn wie bei LHC der Abbruch der WU wegen Kollision des Teilchens mit der Außenwand plötzlich abgebrochen werden muß, haut das nicht mehr hin.

Bei Folding gab es sogar mal Bonuspunkte für WUs die besonders speicherintensiv oder groß oder sonstwie besonders aufwendig waren. Ob's das noch gibt, weis ich nicht, BOINC gibt's z.Zt. nix, und Native macht mein aktueller Arbeitgeber nicht mit. Generell fand ich die Höhe des Bonus allerdings ziemlich übertrieben (hab davon profitiert, da ich jeden Scheiß genommen habe, auch die ganz großen).

Meine Meinung (für BOINC):
Benchmark lassen, "optimierte" Clients nicht zulassen.
Wie das technisch gehen kann, weiß ich nicht, denn quelloffen sollte es schon bleiben, und somit ist eine einzelne Manipulation nicht ausgeschlossen. Ich denke aber, das es gegen koordiniertes Rumpfuschen Abwehrmechanismen geben könnte, aber das ist nicht mein Fachgebiet als Maschinenbauer

[Michael H.W. Weber]

Also alle dc Projekte creditmässig auf einen einheitlichen Nenner zu bringen ist mit Sicherheit utopisch. Konkretes Beispiel: DIMES verglichen mit Folding@home oder einem beliebigen BOINC Projekt. Das eine Projekt scannt nur im Netz herum, das andere rechnet halt am CPU-Leistungsanschlag. Ich denke, darüber brauchen wir nicht weiter reden.

Ich finde den Ansatz von Folding@home bislang am Besten. Eine Referenz-WU wird auf der Benutzer-Maschine gebenchmarkt und dann werden die zu vergebenden Credits proportional zu Leistung einer Referenzmaschine des Projektbetreibers vergütet.

Michael.