Seite 1 von 5
Serverlast / Antwortzeiten
Verfasst: 16.01.2010 06:20
von Ananas
Ich habe momentan sowohl auf RNA World als auch auf Yoyo@home (da bereits seit 1-2 Tagen) oftmals Antwortzeiten von 2 Minuten und mehr, oft sogar Timeouts (der liegt fuer BOINC bei 5 Minuten). Das betrifft sowohl die BOINC-Server (relativ haeufig) als auch den Forenserver - letzteren allerdings nur gelegentlich.
Hat da irgendwas (Datenbank/Webserver/Netzwerk) seine Leistungsgrenze erreicht und kontrolliert jemand gelegentlich die Server- und Netzwerklast?
Seitdem die Last so hoch ist, bekomme ich bei beiden Projekten auch immer mal wieder Ghost-WUs (recently lost result ...), vorher hatte ich die nie. Ich meine damit nicht, dass sie vorher nicht erkannt wurden (ich weiss, dass dieses Feature erst kuerzlich aktiviert wurde), sie existierten vorher einfach gar nicht. Die Timeouts zusammen mit Ghost-WUs lassen darauf schliessen, dass der Server zwar reagiert hat, aber mehr als 5 Minuten gebraucht hat, um die Anfrage nach mehr Arbeit zu befriedigen.
Eventuell verursacht gerade das Feature zur Erkennung der Ghost-WUs soviel Last, dass sie jetzt verstaerkt auftreten.
p.s.: Der Apache ist es wohl nicht unbedingt, Up-/Downloads scheinen recht fluessig vonstatten zu gehen. Damit wuerde mein Hauptverdacht auf der Datenbank liegen.
Durch einen Bug in der dort installierten BOINC Version schickt der Yoyo-Server manchmal uebrigens einen leeren Venue-Eintrag zu einem Host - das ist mir dadurch aufgefallen, dass meine 16-Task-Maschine ploetzlich nur noch auf 8 Tasks gerechnet hat (das steht in meinem "default"-Venue). Auch das wuerde auf ein Datenbankproblem schliessen lassen. In neueren BOINC-Serverversionen ist dieser Fehler meines Wissens behoben.
Re: Serverlast / Antwortzeiten
Verfasst: 16.01.2010 08:13
von duftkerze
würde mich diesem problem anschliessen:
16.01.2010 07:52:08 RNA World Message from server: Completed result cms_6S-sp_Acetobacter-pasteurianus-IFO-3283-01_AP011121.cir.EMBL_RF00013_1263594729_2_1 refused: result already reported as success
16.01.2010 07:52:08 RNA World Message from server: Resent lost result cms_6S-sp_Chlorobium-tepidum-TLS_AE006470.cir.EMBL_RF00013_1263594729_287_2
16.01.2010 07:52:08 RNA World Message from server: Resent lost result cms_6S-sp_Roseiflexus-castenholzii-DSM-13941_CP000804.cir.EMBL_RF00013_1263594729_827_0
Re: Serverlast / Antwortzeiten
Verfasst: 20.01.2010 08:28
von yoyo
Der Server ist irgendwie total überlastet, load=6 auf dem single core. Mich wundert das ein wenig, da das immer dann auftritt, wenn der Backup zu Omega übertragen wird. Also der DB dump und das tar sind bereits fertig und es wird nur mit curl und ftp der dump auf einen anderen Server kopiert.
Im top sind auch keine Prozesse auffällig aktiv. Allerdings jede Menge iowait. Ich hatte das auch schon früher bemerkt, dass die Übertragung irgendwie den Server massiv ausbremst.
Jemand eine Erklärung dafür?
Die Bandbreite auf unserer Seite ist nicht das Bottleneck.
yoyo
Re: Serverlast / Antwortzeiten
Verfasst: 20.01.2010 09:59
von nico
Hmm also das kopieren dürfte eigentlich nicht so viel Last erzeugen.
Schau mal ob DMA an ist:
hdparm -d /dev/hda
wenn nicht anschalten mit
hdparm -d1 /dev/hda
Was sagt hdparm -Tt /dev/hda (Benchmark)?
Oh warte... das kann ich jetzt ja selbst machen
Ergebnis: Hmm DMA ist an.
Benchmark sagt 12mb/s. Ich denke die Festplatte ist einfach zu langsam und kommt mit den Anfragen der DB nicht hinterher, wenn du das Backup kopierst. Load enthält die Prozesse, die gerade auf der CPU laufen (wollen) und die, die auf IO warten. Daher kann es sein, dass die CPU nicht zu 100% ausgelastet ist, du aber einen hohen Load Wert hast.
Hast Du schonmal versucht, MySQL mehr Speicher zu geben?
Re: Serverlast / Antwortzeiten
Verfasst: 20.01.2010 12:04
von yoyo
nico hat geschrieben:Hast Du schonmal versucht, MySQL mehr Speicher zu geben?
Nein, geht das?
yoyo
Re: Serverlast / Antwortzeiten
Verfasst: 20.01.2010 12:14
von Ananas
Ich vermute, dass das sar-Kommando auf Linux auch inzwischen Standard ist, daraus kann man manchmal besser ablesen, wie sich die CPU-Last auf I/O und reine Rechenlast verteilt als bei top bzw. topas. Standardmaessig gibt sar die Last ueber einen Zeitraum seit Mitternacht an, waehrend top(as) eine Momentaufnahme zeigt.
sar hat knapp 'ne Million Optionen, der komplette Output ist eine abendfuellende Lektuere
Vielleicht waeren die letzten 10 Zeilen von sar auch eine nette Erweiterung fuer den Serverstatus, z.B. mit <pre> einzufuegen.
Re: Serverlast / Antwortzeiten
Verfasst: 20.01.2010 12:23
von nico
OK Speicher war falsch... mehr Cache!
Lass mal dieses Script (als normaler Nutzer reicht) laufen:
http://www.day32.com/MySQL/tuning-primer.sh
Das ließt Logs und Statusinformationen von MySQL aus und empfiehlt dann diverse Änderungen:
Perhaps you should increase your tmp_table_size and/or max_heap_table_size
to reduce the number of disk-based temporary tables
Threads created per/sec are overrunning threads cached
You should raise thread_cache_size
Query cache is supported but not enabled
Perhaps you should set the query_cache_size
You should probably increase your table_cache
Was genau diese Einstellungen machen müsst ich nachlesen - vielleicht heut abend mal sehen. Aber die scheinen alle dafür zu sorgen, dass weniger auf der Festplatte gemacht wird. Und das ist gut
Re: Serverlast / Antwortzeiten
Verfasst: 20.01.2010 13:07
von yoyo
Ich glaube nicht dass es die Platte ist.
Wenn die Übertragung des Backups vorbei ist, normalisiert sich alles. Die Übertragungs geschwindigkeit liegt aber nur bei 1/10 dessen was der Server auf andere Server schafft. Daher sollte der daraus resultierende Plattenaktivität sehr gering sein.
Die iowaits sind zwar sehr hoch, aber ich denk das ist eher Netzwerk IO.
yoyo
Re: Serverlast / Antwortzeiten
Verfasst: 23.07.2010 21:21
von yoyo
Ich hab noch etwas an mysql gedreht und diese Werte gesetzt:
innodb_buffer_pool_size = 3G
innodb_flush_method=O_DIRECT
Jetzt belegt mysql 1.5GB ram.
yoyo
Re: Serverlast / Antwortzeiten
Verfasst: 24.07.2010 00:55
von Norman
hört sich doch gut an und sollte die platten entlasten .. dann flutscht das ja jetzt besser
Re: Serverlast / Antwortzeiten
Verfasst: 24.07.2010 01:00
von MReed
Ja, das wird doch langsam mit dem Projekt...
Norman hat geschrieben:dann flutscht das ja jetzt besser
In Anspielung auf die Änderung von yoyo: flutscht oder flusht? xD
Re: Serverlast / Antwortzeiten
Verfasst: 24.07.2010 14:30
von Norman
Code: Alles auswählen
24.07.2010 14:33:16 RNA World Sending scheduler request: To fetch work.
24.07.2010 14:33:16 RNA World Requesting new tasks for CPU
24.07.2010 14:34:07 RNA World Scheduler request failed: HTTP internal server error
24.07.2010 14:35:07 RNA World Sending scheduler request: To fetch work.
24.07.2010 14:35:07 RNA World Requesting new tasks for CPU
24.07.2010 14:35:58 RNA World Scheduler request failed: HTTP internal server error
24.07.2010 14:36:59 RNA World Sending scheduler request: To fetch work.
24.07.2010 14:36:59 RNA World Requesting new tasks for CPU
24.07.2010 14:37:50 RNA World Scheduler request failed: HTTP internal server error
24.07.2010 14:38:50 RNA World Sending scheduler request: To fetch work.
24.07.2010 14:38:50 RNA World Requesting new tasks for CPU
24.07.2010 14:39:38 RNA World Scheduler request failed: HTTP internal server error
24.07.2010 14:40:39 RNA World Sending scheduler request: To fetch work.
24.07.2010 14:40:39 RNA World Requesting new tasks for CPU
24.07.2010 14:41:27 RNA World Scheduler request failed: HTTP internal server error
24.07.2010 14:43:17 RNA World Sending scheduler request: To fetch work.
24.07.2010 14:43:17 RNA World Requesting new tasks for CPU
24.07.2010 14:44:06 RNA World Scheduler request failed: HTTP internal server error
24.07.2010 14:48:17 RNA World Sending scheduler request: To fetch work.
24.07.2010 14:48:17 RNA World Requesting new tasks for CPU
24.07.2010 14:49:09 RNA World Scheduler request failed: HTTP internal server error
24.07.2010 14:50:55 RNA World Sending scheduler request: To fetch work.
24.07.2010 14:50:55 RNA World Requesting new tasks for CPU
24.07.2010 14:51:57 RNA World Scheduler request failed: HTTP internal server error
24.07.2010 15:27:43 RNA World Sending scheduler request: To fetch work.
24.07.2010 15:27:43 RNA World Requesting new tasks for CPU
24.07.2010 15:28:33 RNA World Scheduler request failed: HTTP internal server error
mmh. hängt da irgendwas oder hab ich nur das problem ?