Serverlast / Antwortzeiten

[Ananas]

Ich habe momentan sowohl auf RNA World als auch auf Yoyo@home (da bereits seit 1-2 Tagen) oftmals Antwortzeiten von 2 Minuten und mehr, oft sogar Timeouts (der liegt fuer BOINC bei 5 Minuten). Das betrifft sowohl die BOINC-Server (relativ haeufig) als auch den Forenserver - letzteren allerdings nur gelegentlich.

Hat da irgendwas (Datenbank/Webserver/Netzwerk) seine Leistungsgrenze erreicht und kontrolliert jemand gelegentlich die Server- und Netzwerklast?

Seitdem die Last so hoch ist, bekomme ich bei beiden Projekten auch immer mal wieder Ghost-WUs (recently lost result ...), vorher hatte ich die nie. Ich meine damit nicht, dass sie vorher nicht erkannt wurden (ich weiss, dass dieses Feature erst kuerzlich aktiviert wurde), sie existierten vorher einfach gar nicht. Die Timeouts zusammen mit Ghost-WUs lassen darauf schliessen, dass der Server zwar reagiert hat, aber mehr als 5 Minuten gebraucht hat, um die Anfrage nach mehr Arbeit zu befriedigen.

Eventuell verursacht gerade das Feature zur Erkennung der Ghost-WUs soviel Last, dass sie jetzt verstaerkt auftreten.


p.s.: Der Apache ist es wohl nicht unbedingt, Up-/Downloads scheinen recht fluessig vonstatten zu gehen. Damit wuerde mein Hauptverdacht auf der Datenbank liegen.

Durch einen Bug in der dort installierten BOINC Version schickt der Yoyo-Server manchmal uebrigens einen leeren Venue-Eintrag zu einem Host - das ist mir dadurch aufgefallen, dass meine 16-Task-Maschine ploetzlich nur noch auf 8 Tasks gerechnet hat (das steht in meinem "default"-Venue). Auch das wuerde auf ein Datenbankproblem schliessen lassen. In neueren BOINC-Serverversionen ist dieser Fehler meines Wissens behoben.

[duftkerze]

würde mich diesem problem anschliessen:

16.01.2010 07:52:08 RNA World Message from server: Completed result cms_6S-sp_Acetobacter-pasteurianus-IFO-3283-01_AP011121.cir.EMBL_RF00013_1263594729_2_1 refused: result already reported as success
16.01.2010 07:52:08 RNA World Message from server: Resent lost result cms_6S-sp_Chlorobium-tepidum-TLS_AE006470.cir.EMBL_RF00013_1263594729_287_2
16.01.2010 07:52:08 RNA World Message from server: Resent lost result cms_6S-sp_Roseiflexus-castenholzii-DSM-13941_CP000804.cir.EMBL_RF00013_1263594729_827_0

[yoyo]

Der Server ist irgendwie total überlastet, load=6 auf dem single core. Mich wundert das ein wenig, da das immer dann auftritt, wenn der Backup zu Omega übertragen wird. Also der DB dump und das tar sind bereits fertig und es wird nur mit curl und ftp der dump auf einen anderen Server kopiert.
Im top sind auch keine Prozesse auffällig aktiv. Allerdings jede Menge iowait. Ich hatte das auch schon früher bemerkt, dass die Übertragung irgendwie den Server massiv ausbremst.

Jemand eine Erklärung dafür?

Die Bandbreite auf unserer Seite ist nicht das Bottleneck.

yoyo

[nico]

Hmm also das kopieren dürfte eigentlich nicht so viel Last erzeugen.

Schau mal ob DMA an ist:
hdparm -d /dev/hda
wenn nicht anschalten mit
hdparm -d1 /dev/hda

Was sagt hdparm -Tt /dev/hda (Benchmark)?

Oh warte... das kann ich jetzt ja selbst machen

Ergebnis: Hmm DMA ist an.

Benchmark sagt 12mb/s. Ich denke die Festplatte ist einfach zu langsam und kommt mit den Anfragen der DB nicht hinterher, wenn du das Backup kopierst. Load enthält die Prozesse, die gerade auf der CPU laufen (wollen) und die, die auf IO warten. Daher kann es sein, dass die CPU nicht zu 100% ausgelastet ist, du aber einen hohen Load Wert hast.

Hast Du schonmal versucht, MySQL mehr Speicher zu geben?

[yoyo]

Hast Du schonmal versucht, MySQL mehr Speicher zu geben?

Nein, geht das?
yoyo

[Ananas]

Ich vermute, dass das sar-Kommando auf Linux auch inzwischen Standard ist, daraus kann man manchmal besser ablesen, wie sich die CPU-Last auf I/O und reine Rechenlast verteilt als bei top bzw. topas. Standardmaessig gibt sar die Last ueber einen Zeitraum seit Mitternacht an, waehrend top(as) eine Momentaufnahme zeigt.

sar hat knapp 'ne Million Optionen, der komplette Output ist eine abendfuellende Lektuere

Vielleicht waeren die letzten 10 Zeilen von sar auch eine nette Erweiterung fuer den Serverstatus, z.B. mit <pre> einzufuegen.

[nico]

OK Speicher war falsch... mehr Cache!
Lass mal dieses Script (als normaler Nutzer reicht) laufen: http://www.day32.com/MySQL/tuning-primer.sh
Das ließt Logs und Statusinformationen von MySQL aus und empfiehlt dann diverse Änderungen:

Perhaps you should increase your tmp_table_size and/or max_heap_table_size
to reduce the number of disk-based temporary tables

Threads created per/sec are overrunning threads cached
You should raise thread_cache_size

Query cache is supported but not enabled
Perhaps you should set the query_cache_size

You should probably increase your table_cache

Was genau diese Einstellungen machen müsst ich nachlesen - vielleicht heut abend mal sehen. Aber die scheinen alle dafür zu sorgen, dass weniger auf der Festplatte gemacht wird. Und das ist gut

[yoyo]

Ich glaube nicht dass es die Platte ist.
Wenn die Übertragung des Backups vorbei ist, normalisiert sich alles. Die Übertragungs geschwindigkeit liegt aber nur bei 1/10 dessen was der Server auf andere Server schafft. Daher sollte der daraus resultierende Plattenaktivität sehr gering sein.
Die iowaits sind zwar sehr hoch, aber ich denk das ist eher Netzwerk IO.
yoyo

[yoyo]

Ich hab noch etwas an mysql gedreht und diese Werte gesetzt:

innodb_buffer_pool_size = 3G
innodb_flush_method=O_DIRECT

Jetzt belegt mysql 1.5GB ram.

yoyo

[Norman]

hört sich doch gut an und sollte die platten entlasten .. dann flutscht das ja jetzt besser

[MReed]

Ja, das wird doch langsam mit dem Projekt...

dann flutscht das ja jetzt besser

In Anspielung auf die Änderung von yoyo: flutscht oder flusht? xD

[Norman]

Code: Alles auswählen

24.07.2010 14:33:16	RNA World	Sending scheduler request: To fetch work.
24.07.2010 14:33:16	RNA World	Requesting new tasks for CPU
24.07.2010 14:34:07	RNA World	Scheduler request failed: HTTP internal server error
24.07.2010 14:35:07	RNA World	Sending scheduler request: To fetch work.
24.07.2010 14:35:07	RNA World	Requesting new tasks for CPU
24.07.2010 14:35:58	RNA World	Scheduler request failed: HTTP internal server error
24.07.2010 14:36:59	RNA World	Sending scheduler request: To fetch work.
24.07.2010 14:36:59	RNA World	Requesting new tasks for CPU
24.07.2010 14:37:50	RNA World	Scheduler request failed: HTTP internal server error
24.07.2010 14:38:50	RNA World	Sending scheduler request: To fetch work.
24.07.2010 14:38:50	RNA World	Requesting new tasks for CPU
24.07.2010 14:39:38	RNA World	Scheduler request failed: HTTP internal server error
24.07.2010 14:40:39	RNA World	Sending scheduler request: To fetch work.
24.07.2010 14:40:39	RNA World	Requesting new tasks for CPU
24.07.2010 14:41:27	RNA World	Scheduler request failed: HTTP internal server error
24.07.2010 14:43:17	RNA World	Sending scheduler request: To fetch work.
24.07.2010 14:43:17	RNA World	Requesting new tasks for CPU
24.07.2010 14:44:06	RNA World	Scheduler request failed: HTTP internal server error
24.07.2010 14:48:17	RNA World	Sending scheduler request: To fetch work.
24.07.2010 14:48:17	RNA World	Requesting new tasks for CPU
24.07.2010 14:49:09	RNA World	Scheduler request failed: HTTP internal server error
24.07.2010 14:50:55	RNA World	Sending scheduler request: To fetch work.
24.07.2010 14:50:55	RNA World	Requesting new tasks for CPU
24.07.2010 14:51:57	RNA World	Scheduler request failed: HTTP internal server error
24.07.2010 15:27:43	RNA World	Sending scheduler request: To fetch work.
24.07.2010 15:27:43	RNA World	Requesting new tasks for CPU
24.07.2010 15:28:33	RNA World	Scheduler request failed: HTTP internal server error

mmh. hängt da irgendwas oder hab ich nur das problem ?