Serverlast / Antwortzeiten

Alles zum Projekt RNA World
Nachricht
Autor
Ananas
WU-Schieber
WU-Schieber
Beiträge: 1184
Registriert: 27.04.2008 18:37
Wohnort: Nordlichter Köln

Serverlast / Antwortzeiten

#1 Ungelesener Beitrag von Ananas » 16.01.2010 06:20

Ich habe momentan sowohl auf RNA World als auch auf Yoyo@home (da bereits seit 1-2 Tagen) oftmals Antwortzeiten von 2 Minuten und mehr, oft sogar Timeouts (der liegt fuer BOINC bei 5 Minuten). Das betrifft sowohl die BOINC-Server (relativ haeufig) als auch den Forenserver - letzteren allerdings nur gelegentlich.

Hat da irgendwas (Datenbank/Webserver/Netzwerk) seine Leistungsgrenze erreicht und kontrolliert jemand gelegentlich die Server- und Netzwerklast?

Seitdem die Last so hoch ist, bekomme ich bei beiden Projekten auch immer mal wieder Ghost-WUs (recently lost result ...), vorher hatte ich die nie. Ich meine damit nicht, dass sie vorher nicht erkannt wurden (ich weiss, dass dieses Feature erst kuerzlich aktiviert wurde), sie existierten vorher einfach gar nicht. Die Timeouts zusammen mit Ghost-WUs lassen darauf schliessen, dass der Server zwar reagiert hat, aber mehr als 5 Minuten gebraucht hat, um die Anfrage nach mehr Arbeit zu befriedigen.

Eventuell verursacht gerade das Feature zur Erkennung der Ghost-WUs soviel Last, dass sie jetzt verstaerkt auftreten.


p.s.: Der Apache ist es wohl nicht unbedingt, Up-/Downloads scheinen recht fluessig vonstatten zu gehen. Damit wuerde mein Hauptverdacht auf der Datenbank liegen.

Durch einen Bug in der dort installierten BOINC Version schickt der Yoyo-Server manchmal uebrigens einen leeren Venue-Eintrag zu einem Host - das ist mir dadurch aufgefallen, dass meine 16-Task-Maschine ploetzlich nur noch auf 8 Tasks gerechnet hat (das steht in meinem "default"-Venue). Auch das wuerde auf ein Datenbankproblem schliessen lassen. In neueren BOINC-Serverversionen ist dieser Fehler meines Wissens behoben.
vi BOINC/checkin_notes
:1,$s/bug/feature/g
:wq!

Erzaehlen sich Biologen eigentlich Klein-RNA-Witze?

duftkerze
Vereinsmitglied
Vereinsmitglied
Beiträge: 953
Registriert: 19.05.2002 15:45
Wohnort: Weiße Elster rechtes Ufer

Re: Serverlast / Antwortzeiten

#2 Ungelesener Beitrag von duftkerze » 16.01.2010 08:13

würde mich diesem problem anschliessen:
16.01.2010 07:52:08 RNA World Message from server: Completed result cms_6S-sp_Acetobacter-pasteurianus-IFO-3283-01_AP011121.cir.EMBL_RF00013_1263594729_2_1 refused: result already reported as success
16.01.2010 07:52:08 RNA World Message from server: Resent lost result cms_6S-sp_Chlorobium-tepidum-TLS_AE006470.cir.EMBL_RF00013_1263594729_287_2
16.01.2010 07:52:08 RNA World Message from server: Resent lost result cms_6S-sp_Roseiflexus-castenholzii-DSM-13941_CP000804.cir.EMBL_RF00013_1263594729_827_0
Man kann nicht alles auf einmal tun.Aber man kann alles auf einmal lassen.
Bild

Benutzeravatar
yoyo
Vereinsvorstand
Vereinsvorstand
Beiträge: 7898
Registriert: 17.12.2002 14:09
Wohnort: Berlin
Kontaktdaten:

Re: Serverlast / Antwortzeiten

#3 Ungelesener Beitrag von yoyo » 20.01.2010 08:28

Der Server ist irgendwie total überlastet, load=6 auf dem single core. Mich wundert das ein wenig, da das immer dann auftritt, wenn der Backup zu Omega übertragen wird. Also der DB dump und das tar sind bereits fertig und es wird nur mit curl und ftp der dump auf einen anderen Server kopiert.
Im top sind auch keine Prozesse auffällig aktiv. Allerdings jede Menge iowait. Ich hatte das auch schon früher bemerkt, dass die Übertragung irgendwie den Server massiv ausbremst.

Jemand eine Erklärung dafür?

Die Bandbreite auf unserer Seite ist nicht das Bottleneck.

yoyo
HILF mit im Rechenkraft-WiKi, dies gibts zu tun.
Wiki - FAQ - Verein - Chat

Bild Bild

Benutzeravatar
nico
Vereinsmitglied
Vereinsmitglied
Beiträge: 2211
Registriert: 22.12.2002 13:22
Wohnort: C-Town
Kontaktdaten:

Re: Serverlast / Antwortzeiten

#4 Ungelesener Beitrag von nico » 20.01.2010 09:59

Hmm also das kopieren dürfte eigentlich nicht so viel Last erzeugen.

Schau mal ob DMA an ist:
hdparm -d /dev/hda
wenn nicht anschalten mit
hdparm -d1 /dev/hda

Was sagt hdparm -Tt /dev/hda (Benchmark)?

Oh warte... das kann ich jetzt ja selbst machen ;)

Ergebnis: Hmm DMA ist an.

Benchmark sagt 12mb/s. Ich denke die Festplatte ist einfach zu langsam und kommt mit den Anfragen der DB nicht hinterher, wenn du das Backup kopierst. Load enthält die Prozesse, die gerade auf der CPU laufen (wollen) und die, die auf IO warten. Daher kann es sein, dass die CPU nicht zu 100% ausgelastet ist, du aber einen hohen Load Wert hast.

Hast Du schonmal versucht, MySQL mehr Speicher zu geben?
Bild

Benutzeravatar
yoyo
Vereinsvorstand
Vereinsvorstand
Beiträge: 7898
Registriert: 17.12.2002 14:09
Wohnort: Berlin
Kontaktdaten:

Re: Serverlast / Antwortzeiten

#5 Ungelesener Beitrag von yoyo » 20.01.2010 12:04

nico hat geschrieben:Hast Du schonmal versucht, MySQL mehr Speicher zu geben?
Nein, geht das?
yoyo
HILF mit im Rechenkraft-WiKi, dies gibts zu tun.
Wiki - FAQ - Verein - Chat

Bild Bild

Ananas
WU-Schieber
WU-Schieber
Beiträge: 1184
Registriert: 27.04.2008 18:37
Wohnort: Nordlichter Köln

Re: Serverlast / Antwortzeiten

#6 Ungelesener Beitrag von Ananas » 20.01.2010 12:14

Ich vermute, dass das sar-Kommando auf Linux auch inzwischen Standard ist, daraus kann man manchmal besser ablesen, wie sich die CPU-Last auf I/O und reine Rechenlast verteilt als bei top bzw. topas. Standardmaessig gibt sar die Last ueber einen Zeitraum seit Mitternacht an, waehrend top(as) eine Momentaufnahme zeigt.

sar hat knapp 'ne Million Optionen, der komplette Output ist eine abendfuellende Lektuere ;-)

Vielleicht waeren die letzten 10 Zeilen von sar auch eine nette Erweiterung fuer den Serverstatus, z.B. mit <pre> einzufuegen.
vi BOINC/checkin_notes
:1,$s/bug/feature/g
:wq!

Erzaehlen sich Biologen eigentlich Klein-RNA-Witze?

Benutzeravatar
nico
Vereinsmitglied
Vereinsmitglied
Beiträge: 2211
Registriert: 22.12.2002 13:22
Wohnort: C-Town
Kontaktdaten:

Re: Serverlast / Antwortzeiten

#7 Ungelesener Beitrag von nico » 20.01.2010 12:23

OK Speicher war falsch... mehr Cache! :D
Lass mal dieses Script (als normaler Nutzer reicht) laufen: http://www.day32.com/MySQL/tuning-primer.sh
Das ließt Logs und Statusinformationen von MySQL aus und empfiehlt dann diverse Änderungen:

Perhaps you should increase your tmp_table_size and/or max_heap_table_size
to reduce the number of disk-based temporary tables

Threads created per/sec are overrunning threads cached
You should raise thread_cache_size

Query cache is supported but not enabled
Perhaps you should set the query_cache_size

You should probably increase your table_cache

Was genau diese Einstellungen machen müsst ich nachlesen - vielleicht heut abend mal sehen. Aber die scheinen alle dafür zu sorgen, dass weniger auf der Festplatte gemacht wird. Und das ist gut ;)
Bild

Benutzeravatar
yoyo
Vereinsvorstand
Vereinsvorstand
Beiträge: 7898
Registriert: 17.12.2002 14:09
Wohnort: Berlin
Kontaktdaten:

Re: Serverlast / Antwortzeiten

#8 Ungelesener Beitrag von yoyo » 20.01.2010 13:07

Ich glaube nicht dass es die Platte ist.
Wenn die Übertragung des Backups vorbei ist, normalisiert sich alles. Die Übertragungs geschwindigkeit liegt aber nur bei 1/10 dessen was der Server auf andere Server schafft. Daher sollte der daraus resultierende Plattenaktivität sehr gering sein.
Die iowaits sind zwar sehr hoch, aber ich denk das ist eher Netzwerk IO.
yoyo
HILF mit im Rechenkraft-WiKi, dies gibts zu tun.
Wiki - FAQ - Verein - Chat

Bild Bild

Benutzeravatar
yoyo
Vereinsvorstand
Vereinsvorstand
Beiträge: 7898
Registriert: 17.12.2002 14:09
Wohnort: Berlin
Kontaktdaten:

Re: Serverlast / Antwortzeiten

#9 Ungelesener Beitrag von yoyo » 23.07.2010 21:21

Ich hab noch etwas an mysql gedreht und diese Werte gesetzt:

innodb_buffer_pool_size = 3G
innodb_flush_method=O_DIRECT

Jetzt belegt mysql 1.5GB ram.

yoyo
HILF mit im Rechenkraft-WiKi, dies gibts zu tun.
Wiki - FAQ - Verein - Chat

Bild Bild

Benutzeravatar
Norman
Vereinsmitglied
Vereinsmitglied
Beiträge: 2188
Registriert: 20.03.2003 14:34
Wohnort: Saarland
Kontaktdaten:

Re: Serverlast / Antwortzeiten

#10 Ungelesener Beitrag von Norman » 24.07.2010 00:55

hört sich doch gut an und sollte die platten entlasten .. dann flutscht das ja jetzt besser :)

Benutzeravatar
MReed
Task-Killer
Task-Killer
Beiträge: 726
Registriert: 10.02.2010 22:26
Wohnort: Berlin

Re: Serverlast / Antwortzeiten

#11 Ungelesener Beitrag von MReed » 24.07.2010 01:00

Ja, das wird doch langsam mit dem Projekt...
Norman hat geschrieben:dann flutscht das ja jetzt besser
In Anspielung auf die Änderung von yoyo: flutscht oder flusht? xD
MfG
MReed

Bild

Benutzeravatar
Norman
Vereinsmitglied
Vereinsmitglied
Beiträge: 2188
Registriert: 20.03.2003 14:34
Wohnort: Saarland
Kontaktdaten:

Re: Serverlast / Antwortzeiten

#12 Ungelesener Beitrag von Norman » 24.07.2010 14:30

Code: Alles auswählen

24.07.2010 14:33:16	RNA World	Sending scheduler request: To fetch work.
24.07.2010 14:33:16	RNA World	Requesting new tasks for CPU
24.07.2010 14:34:07	RNA World	Scheduler request failed: HTTP internal server error
24.07.2010 14:35:07	RNA World	Sending scheduler request: To fetch work.
24.07.2010 14:35:07	RNA World	Requesting new tasks for CPU
24.07.2010 14:35:58	RNA World	Scheduler request failed: HTTP internal server error
24.07.2010 14:36:59	RNA World	Sending scheduler request: To fetch work.
24.07.2010 14:36:59	RNA World	Requesting new tasks for CPU
24.07.2010 14:37:50	RNA World	Scheduler request failed: HTTP internal server error
24.07.2010 14:38:50	RNA World	Sending scheduler request: To fetch work.
24.07.2010 14:38:50	RNA World	Requesting new tasks for CPU
24.07.2010 14:39:38	RNA World	Scheduler request failed: HTTP internal server error
24.07.2010 14:40:39	RNA World	Sending scheduler request: To fetch work.
24.07.2010 14:40:39	RNA World	Requesting new tasks for CPU
24.07.2010 14:41:27	RNA World	Scheduler request failed: HTTP internal server error
24.07.2010 14:43:17	RNA World	Sending scheduler request: To fetch work.
24.07.2010 14:43:17	RNA World	Requesting new tasks for CPU
24.07.2010 14:44:06	RNA World	Scheduler request failed: HTTP internal server error
24.07.2010 14:48:17	RNA World	Sending scheduler request: To fetch work.
24.07.2010 14:48:17	RNA World	Requesting new tasks for CPU
24.07.2010 14:49:09	RNA World	Scheduler request failed: HTTP internal server error
24.07.2010 14:50:55	RNA World	Sending scheduler request: To fetch work.
24.07.2010 14:50:55	RNA World	Requesting new tasks for CPU
24.07.2010 14:51:57	RNA World	Scheduler request failed: HTTP internal server error
24.07.2010 15:27:43	RNA World	Sending scheduler request: To fetch work.
24.07.2010 15:27:43	RNA World	Requesting new tasks for CPU
24.07.2010 15:28:33	RNA World	Scheduler request failed: HTTP internal server error
mmh. hängt da irgendwas oder hab ich nur das problem ?

Antworten

Zurück zu „RNA World Diskussionen (deutsch)“