Neue "scoring"-Funktion

[Michael H.W. Weber]

Seit dem letzten Proteinwechsel sind drei neue Dateien im DF-Verzeichnis aufgetaucht:

param19_eef1.inp
solvpar.inp
toph19_eef1.inp

Diese sind wohl die Grundlage für das neue "scoring"-Verfahren, nachdem die Güte des jeweils berechneten Strukturmodells beurteilt wird (dies geschieht lokal). Daß dieses Verfahren verändert/optimiert wurde, ist der neuen "whatsnew.txt" zu entnehmen.

Zitat:
"- pseudo-energy now uses EEF1 solvation term instead of 'crease' energy; this takes a little longer to compute but we have found is more accurate and reliable, hopefully leading to better structure predictions for CASP"

Das läßt in mir natürlich einen bösen Vedacht aufkeimen. Wenn die Scoringfunktion optimiert werden mußte, dann war sie in den vorläufigen "runs" suboptimal. Da das "scoring" aber lokal vorgenommen wird (sonst wären obige 3 Dateien ja auch überflüssig) und NUR die beste Struktur hochgeladen wird, werde ich den Albtraum nicht los, daß die vorhergehend hochgeladenen Strukturen logischer Weise NICHT die bestmöglichen Modelle waren! Die anderen Daten der Vorläufe sind aber nun im ewigen Datennirvana gelandet, da man ja wegen Traffic-Ersparnis nicht alles an Rechenergebnissen angenommen hat. Das erweist sich nun als Sparen an der falschen Stelle (auch wenn das Hochladen aller Atomkoordinaten aller erzeugten Strukturmodelle in der Praxis wohl generell unpraktikabel ist).
Natürlich kann man - wenn das alles so richtig ist - jetzt verzweifeln. Aber hier kann ich nur immer wieder daran erinnern, daß dies alles ein großer Test ist. Offensichtlich haben die DF-Betreiber im Verlauf der vorangehenden Rechnungen zumindest etwas entscheidendes über "scoring"-Funktionen gelernt.
Wollen hoffen, daß die suboptimalen Ergebnisse dennoch besser sind als die Vorhersagen der Konkurrenz!

Gruß,
Michael.

[edit] Hab's mal im DF-Forum angesprochen: http://bane.free-dc.org/forum/showthrea ... eadid=1211

[Rechtsconsulter]

Interessant ist ja die Antwort von Brian.
Demnach ist auch die neue Scoring-Funktion noch nicht optimal, sondern nur "somewhat better" als crease.
Naja, das ganze Leben ist ein Quiz...

Tschau RC

[vfrey]

Wenn mich nicht alles täuscht, werden wir irgendwann nach Ablauf des CASP-Projektes auch erfahren, wie gut/schlecht wir dabei abgeschnitten haben. Sollte sich zeigen, das unser Einsatz hierbei ein Schlag in Wasser war, hätte ich kein Problem damit, das Projekt als vorerst gescheitert zu betrachten...

[Wurmi]

Alles halb so schlimm. Das schöne an probabilistischen Verfahren liegt ja darin, daß derartige Fehler zwar die Performance, nicht aber die Erreichbarkeit des Ziels beeinflussen .

Beispiel: Die tatsächliche Wahrscheinlichkeit, eine sehr gute Faltung durch Auswürfeln (was der Client ja tut) zu treffen, liege bei 1:10^9. Dann kann man erwarten, daß je 1 Mrd. Strukturen ein Treffer hochgeladen wird. Verschlechtert man das Generierungsverfahren (gut Konstellationen werden benachteiligt, da sie irgendwelche exotischen Eigenschaften haben) und / oder das Auswahlverfahren (die Güte muß irgendwie geschätzt werden, da eine genaue Berechnung unmöglich ist), so sinkt die Trefferwahrscheinlichkeit. Beispeilsweise um den Faktor 100. Dann muß ich im Schnitt halt 100 mal solange auf eine gute Struktur warten.

Entscheidend ist, daß sehr gute Treffer überhaupt die Chance bekommen, generiert zu werden. Irgendwann wird es dann passieren, das alle anderen im Paket viel schlechter sind und daher nicht ausgewält werden .

Auf jedem Fall kann man durch solch ein Projekt lernen, wie man die Generierung und Selektion günstig gestaltet. Und das hilft dann bei allen derartigen Projekten (auch auf Großrechnern etc.).


Grüßle,
Wurmi .

P.S.: Die Sache hat aber den Haken, daß die Verschlechterung sich potenzieren kann, wenn sie in jedem Generierungsschritt wirksam wird. Das ergibt dann jede Menge Nullen hinter der 1 extra .

[Michael H.W. Weber]

Verschlechtert man ... das Auswahlverfahren ... so sinkt die Trefferwahrscheinlichkeit. Beispeilsweise um den Faktor 100. Dann muß ich im Schnitt halt 100 mal solange auf eine gute Struktur warten.

Und genau da liegt der Haken. Wir generieren nämlich bei der augenblicklichen Proteinwechselfrequenz (einmal pro Woche) bei weitem weniger Strukturen als selbst für die Prä-CASP5-Projekte.

Michael.

[Wurmi]

Verschlechtert man ... das Auswahlverfahren ... so sinkt die Trefferwahrscheinlichkeit. Beispeilsweise um den Faktor 100. Dann muß ich im Schnitt halt 100 mal solange auf eine gute Struktur warten.

Und genau da liegt der Haken. Wir generieren nämlich bei der augenblicklichen Proteinwechselfrequenz (einmal pro Woche) bei weitem weniger Strukturen als selbst für die Prä-CASP5-Projekte.

Michael.

Hi Michael,

um das fundiert bewerten zu können, müßte ich mehr über die Weiterverwendung der Daten sowie die Gesamtstrategie wissen. Aus Sicht einer Optimim-Suche in einem Hoch-dimensionalen Raum (Menge aller denkbaren Proteine) kann es wesentlich effizienter sein, an vielen Punkten Stichproblem zu nehmen, als wenige Orte intensiv zu untersuchen.

So wie ich http://www.distributedfolding.org/science.html verstehe, überprüfen und tunen sie gerade ihren Algorithmus (durch das DF Projekt). Daher ist die Teilnahme aus meiner Sicht auch dann sinnvoll, wenn sich dabei einzelne Verfahren als ungeeignet herausstellen.


Mal keine Smilies ..


Grüßle,
Wurmi .