Projektgesamtfortschritt?

Alles zum Projekt RNA World
Nachricht
Autor
Benutzeravatar
Michael H.W. Weber
Vereinsvorstand
Vereinsvorstand
Beiträge: 22954
Registriert: 07.01.2002 01:00
Wohnort: Marpurk

Re: Projektgesamtfortschritt?

#37 Ungelesener Beitrag von Michael H.W. Weber » 10.07.2013 14:15

Oh, das trifft sich gut, dass Du fragst: :D
Bei der neuen INFERNAL-Version (zu der inzwischen ein weiteres, fehlerbereinigendes (!) Update herauskam und die in Kürze in einer weiteren, dann Endversion, vorliegen soll) besteht ein (für uns) immenses Problem: Es erlaubt keine Laufzeitvorhersage mehr. Das hat leider nicht nur Folgen für den Forschrittsbalken, sondern macht generell die Möglichkeit zunichte, die WUs - wie bislang - in XXL- und S-Pakete zu schnüren, um sie stärkeren bzw. schwächeren Maschinen zuzuordnen bzw. den Teilnehmern eine zusätzliche Auswahlmöglichkeit zur maximalen Laufzeitfestsetzung anzubieten.
Bislang hatten wir keine Lösung dafür.
Witziger Weise hatte ich aber gerade heute eine eMail an unsere Projektentwickler versandt, die in meinen Augen eine Lösung bietet: Wir erhalten die jetzige (eigentlich "veraltete") Version einfach für die Vorhersagefunktion. :D

Im Detail: Die neue Version kann eigentlich vom wissenschaftlichen Standpunkt aus gesehen nichts besser als die bestehende. Sie ist aber 100x schneller BEI DEN DEFAULT-EINSTELLUNGEN. Dies kostet allerdings eine gewisse Genauigkeit, sodass uns die Monster-WUs wohl erhalten bleiben werden. Da die neue Version nun aber auch unter BOINC MPI-fähig sein soll (die Vorgängerversion war auch schon MPI-fähig, die damit erzeugten Ergebnisse ließen aber aus sehr technischen Gründen keine BOINC-Validierung zu, was wir beim Entwickler damals monierten und worauf hin der das angepasst hat), wird selbst bei den Monster-WUs die neue Laufzeit nur noch der bisherigen geteilt durch die Zahl der verfügbaren Kerne (in etwa!) entsprechen.

Langer Rede kurzer Sinn: Die Umstellung auf das MPI-fähige System sollte nun aufgrund der Lösung eines Problems tatsächlich gangbar sein. Und noch konkreter: Da wir bei der Firma Bayer an einem Förderwettbewerb teilgenommen haben, für den wir bis Ende Oktober 2013 ein "Produktionsversion" von RNA World abliefern müssen, gebe ich jetzt mal an, dass ab 1. November die neue Version laufen sollte.
Ich hoffe, es kommt nichts unvorhergesehenes dazwischen.

Michael.
Fördern, kooperieren und konstruieren statt fordern, konkurrieren und konsumieren.

Bild Bild

Thomas R
Projekt-Fetischist
Projekt-Fetischist
Beiträge: 699
Registriert: 22.06.2012 23:48

Re: Projektgesamtfortschritt?

#38 Ungelesener Beitrag von Thomas R » 10.07.2013 15:19

Na das hört sich doch schon mal toll an!

Wie siehts mit Checkpointing aus - habt ihr das schon gelöst?

Und - was ist eine "Produktionsversion" von RNA World? (Finale Version??)
Thomas

Bild

Benutzeravatar
Dunuin
Vereinsmitglied
Vereinsmitglied
Beiträge: 1743
Registriert: 23.03.2011 12:59
Wohnort: Hamburg

Re: Projektgesamtfortschritt?

#39 Ungelesener Beitrag von Dunuin » 10.07.2013 15:25

Und - was ist eine "Produktionsversion" von RNA World? (Finale Version??)
Das was man auch sonst als "stable" kennt, also keine verbuggte Beta, was ja wichtig ist, wenn so eine WU Monate läuft.^^

So wie ich das verstanden habe ist das mit dem Checkpointing per VM schon recht weit.
Bild

Benutzeravatar
Michael H.W. Weber
Vereinsvorstand
Vereinsvorstand
Beiträge: 22954
Registriert: 07.01.2002 01:00
Wohnort: Marpurk

Re: Projektgesamtfortschritt?

#40 Ungelesener Beitrag von Michael H.W. Weber » 10.07.2013 15:35

Thomas R hat geschrieben:Wie siehts mit Checkpointing aus - habt ihr das schon gelöst?
Wir wollen auch das am 1. November fertig haben.
Thomas R hat geschrieben:Und - was ist eine "Produktionsversion" von RNA World? (Finale Version??)
RNA World wird wohl nie "final" sein. :D Nicht, weil wir es nicht gebacken bekommen, sondern weil wir das Ganze ja als eine sich ständig erweiternde, offene Plattform sehen. Was bislang läuft ist ja "lediglich" der Test, inwieweit die Dinge, die ich da vor habe in der Praxis machbar sind. Natürlich allerdings auch jetzt schon mit realistischen, d.h. echten Projekten.

Zum 1. November haben wir uns "aus dem Fenster gelehnt" mit dem Vorhaben, sowohl Molecular Dynamics Simulationen (RNA- & Proteinfaltungssimulationen) als auch Molecular Docking (Medikamentesuche) in RNA World am Laufen zu haben. Auch eine grafische Visualisierungspipeline zum Auffinden neuer RNA Familien ist im Vorhabenprogramm enthalten. Und auch das Checkpointing, wie schon gesagt - das ist ja momentan das Hauptproblem, welches uns um größere Unterstützerzahlen beschneidet. Dieses Paket bezeichne ich als "Produktionsversion" und wird substanziell mehr können, als was die bisherige Beta liefern kann.

Michael.
Fördern, kooperieren und konstruieren statt fordern, konkurrieren und konsumieren.

Bild Bild

ChristianB
Admin
Admin
Beiträge: 1920
Registriert: 23.02.2010 22:12

Re: Projektgesamtfortschritt?

#41 Ungelesener Beitrag von ChristianB » 10.07.2013 15:41

Zum Thema Checkpointing kann ich ja noch kurz einwerfen dass es eigentlich nur noch ein Problem gibt. Die VM ist noch zu groß um die zu verteilen (1,3GB unkomprimiert). Der Server schafft in der aktuellen Version keine gute Komprimierung (ca. 300MB wenn eine neuere Serverversion und ein v7.x Client eingesetzt wird) und ich bekomme auch das Image nicht kleiner. Dazu kommt das ich die nächsten Wochen in der Prüfungsphase bin und erst im August wieder Zeit habe. Wenn also in der Zwischenzeit jemand eine funktionierende Linux Installation in eine VirtualBox (kleiner 750MB) pressen kann dann wäre mir geholfen. Die VM muss eigentlich nichts weiter können als eine bash bereitstellen und die vbox-guest-additions installiert haben. Dann müsste man nur noch mein Skript lokal testen und einmal über den Server verteilen. Klingt einfach, ist es aber teilweise nicht.

Benutzeravatar
Dunuin
Vereinsmitglied
Vereinsmitglied
Beiträge: 1743
Registriert: 23.03.2011 12:59
Wohnort: Hamburg

Re: Projektgesamtfortschritt?

#42 Ungelesener Beitrag von Dunuin » 10.07.2013 16:25

Was soll denn als RAM und CPU bei der VM eingestellt werden? Und wie groß soll die virtuelle Platte sein?
Bild

Benutzeravatar
Dunuin
Vereinsmitglied
Vereinsmitglied
Beiträge: 1743
Registriert: 23.03.2011 12:59
Wohnort: Hamburg

Re: Projektgesamtfortschritt?

#43 Ungelesener Beitrag von Dunuin » 10.07.2013 18:42

Also ein "Puppy Linux" mit 1GB RAM und 8GB HDD habe ich in eine VDI mit 482MB installiert bekommen.
Geht eigentlich auch eine angepasste LiveCD? DSL (Damn Small Linux) ist ja z.B. nur 50MB groß.

Edit:
Guck mal das an. Ist ein "Tiny Core" Linux installiert auf eine 8GB HDD und nimmt nur 117MB Platz weg die VDI. Hat die Terminal-Konsole und sonst nichts.
Bild

ChristianB
Admin
Admin
Beiträge: 1920
Registriert: 23.02.2010 22:12

Re: Projektgesamtfortschritt?

#44 Ungelesener Beitrag von ChristianB » 10.07.2013 20:18

RAM und CPU werden "dynamisch" eingetragen. Zur Zeit habe ich das Serverseitig auf 4GB und 1 CPU begrenzt, man kann aber auch Versionen mit mehr RAM-Bedarf veröffentlichen welche sich dieselbe VDI teilen. Die reine VDI sollte so klein wie möglich sein weil zur Laufzeit keine Daten erzeugt werden. Wenn dieses TinyCore nur 117 MB braucht dann sollte der VDI-Container auch nur 200MB groß sein. Wir wollen ja nicht das der beim User plötzlich "explodiert" und die ganze Platte in Beschlag nimmt.

Ich danke dir schonmal für deine Ergebnisse, werde mich aber erst später weiter darum kümmern können.

Benutzeravatar
Dunuin
Vereinsmitglied
Vereinsmitglied
Beiträge: 1743
Registriert: 23.03.2011 12:59
Wohnort: Hamburg

Re: Projektgesamtfortschritt?

#45 Ungelesener Beitrag von Dunuin » 10.07.2013 21:01

Die Iso vom Tiny core ist nur 8 bzw 12MB groß. 117MB ist der unkomprimierte Platz auf der HDD von dem VM-Image.
Mit 7zip gepackt (Ultra eingestellt) braucht das VM-Image nur noch 10,8 MB.
Bild

Benutzeravatar
Bommer
Vielrechner
Vielrechner
Beiträge: 1283
Registriert: 24.06.2001 01:00

Re: Projektgesamtfortschritt?

#46 Ungelesener Beitrag von Bommer » 20.07.2013 08:56

Hallo

Wie lange muss denn noch auf "neue" WUs gewartet werden ??? Es sind derzeit (Stand: 20.07.2013) noch 563 XXXXXXXL Wus ungesendet. Müssen die auch erst noch alle berechnet werden bevor es weitergeht mit anderen WUs.

Ich denke um die Cruncher (nicht die Hardcore-Freaks) bei Laune zu halten, sollten doch mal wieder ein paar normale für das breite Publikum zum Berechnen freigegeben werden. Nicht das zum Schluss noch welche aufhören, weil Sie keine Lust mehr auf die Riesen-Wus haben.

Nur als Denkanstoss.

Gruss Bommer

Benutzeravatar
X1900AIW
TuX-omane
TuX-omane
Beiträge: 2937
Registriert: 05.01.2008 16:34

Re: Projektgesamtfortschritt?

#47 Ungelesener Beitrag von X1900AIW » 20.07.2013 13:48

Bommer hat geschrieben:Ich denke um die Cruncher (nicht die Hardcore-Freaks) bei Laune zu halten, sollten doch mal wieder ein paar normale für das breite Publikum zum Berechnen freigegeben werden. Nicht das zum Schluss noch welche aufhören, weil Sie keine Lust mehr auf die Riesen-Wus haben.
Deshalb ziehe ich auch keine S mehr, um sie anderen zur Verfügung zur stellen, falls denn welche kommen. Nach meiner letzten Erfahrung ist mein System einfach ungeeignet, das Risiko des Totalverlustes wächst mit jedem Tag. Dazu kommt, dass ich weitere Risiken mit Beta-WUs anderer Projekte in so einer Situation meiden müsste, um ja nicht die RNA-Rechenzeiten zu gefährden, das schränkt über den Zeitverlauf ziemlich ein.

Sobald Laufzeiten wie bei normalen BOINC-Workunits (oder eben S) zu haben sind, bin ich wieder dabei. :good:
Zusammenkommen ist ein Beginn, Zusammenbleiben ist ein Fortschritt, Zusammenarbeiten ist ein Erfolg.
Henry Ford

Benutzeravatar
Michael H.W. Weber
Vereinsvorstand
Vereinsvorstand
Beiträge: 22954
Registriert: 07.01.2002 01:00
Wohnort: Marpurk

Re: Projektgesamtfortschritt?

#48 Ungelesener Beitrag von Michael H.W. Weber » 21.07.2013 09:12

Ich würde ehrlich gesagt angesichts der laufenden Erweiterungsarbeiten erstmal keine neuen Wus einstellen wollen, auch wenn das natürlich möglich wäre. Ich bin mir auch relativ sicher, dass die abgesprungenen Leute wieder kommen, sobald wir Checkpointing und weitere Apps im Programm haben und das bekannt geben. Schaut euch nur SIMAP an, wie sich die Leute dort auf die WUs stürzen. Und ich denke, dass unser Projekt mit zu den am besten betreuten Projekten gehört, sodass man davon ausgehen kann, dass es hauptsächlich technische Probleme sind, die die Leute dazu veranlassen, erstmal wo anders zu rechnen. Ich meine, wir raten angesicjhts der langen Laufzeiten ja auch Leuten mit Problemen dazu, erstmal was anderes in Angriff zu nehmen.

Trotzdem freue ich mich ganz besonders über die Leute, die - wie ich ja auch - die großen Monster furchtlos an Angriff nehmen. Wir haben da eine kleine, aber dafür treue Gruppe echter Hardcore Cruncher an Bord - da müssen andere Projekte erst mal lange nach suchen. :D

Wenn jetzt natürlich große Einwände kämen, würde ich ggf. doch nochmal in die grosse "WU Kiste" greifen und vielleicht noch einen Satz CMCalibrate WUs raushauen.
Aktuell bin ich jedoch sehr damit beschäftigt, unter Linux Software für Molecular Dynamics und Docking Experimente ans Laufen zu kriegen und spiele auch mit dem gespendeten ODROID-U2 herum, damit die kleinen WUs demnächst auch an ARM Maschinen ausgegeben werden können. Clients dafür haben wir ja schon seit letztem Jahr mittels Cross-Compiling unter Gentoo erzeugt - ich bin jetzt aber noch mal dran, nativ zu kompilieren und zu testen.
Und dann laufen noch die Arbeiten an der neuen Landing Page. Wir haben also reichlich zu tun...

Michael.
Fördern, kooperieren und konstruieren statt fordern, konkurrieren und konsumieren.

Bild Bild

Zurück zu „RNA World Diskussionen (deutsch)“