[INFO] suivi et évolution du serveur

Un problème sur le forum ? Des suggestions ou idées, c'est ici !
Avatar de l’utilisateur
schwomp
Membre à vie du GPZ Dream Team :D
Membre à vie du GPZ Dream Team :D
Moto(s) : SV 650 S (un bi qu'il est bien !)
Signe particulier : Intégriste (mais j'me soigne...)
Localisation : Quimper
Messages : 2689
Inscription : 31 déc. 1976, 22:59

Re: [INFO] suivi et évolution du serveur

06 mai 2017, 01:27

Plop ! :D

Bon, alors, pas d'autres joueurs ?

@denis : fais ton choix !

Ensuite on va s'attaquer à une autre VM. :mrgreen:

A+
Avatar de l’utilisateur
schwomp
Membre à vie du GPZ Dream Team :D
Membre à vie du GPZ Dream Team :D
Moto(s) : SV 650 S (un bi qu'il est bien !)
Signe particulier : Intégriste (mais j'me soigne...)
Localisation : Quimper
Messages : 2689
Inscription : 31 déc. 1976, 22:59

Re: [INFO] suivi et évolution du serveur

28 juin 2017, 01:35

Mise à jour du kernel Linux

Bascule vers le dernier noyau OpenVZ "legacy".

Temps d'interruption : 9 minutes

Cela fait deux fois que cela se produit, certains serveurs bloquent bêtement lors de la phase du boot (au niveau BIOS).

Donc, à partir de maintenant, chaque reboot se fera via le contrôle d'un KVM/IP (le truc qui permet de voir l'écran à distance).

A+
Avatar de l’utilisateur
schwomp
Membre à vie du GPZ Dream Team :D
Membre à vie du GPZ Dream Team :D
Moto(s) : SV 650 S (un bi qu'il est bien !)
Signe particulier : Intégriste (mais j'me soigne...)
Localisation : Quimper
Messages : 2689
Inscription : 31 déc. 1976, 22:59

Re: [INFO] suivi et évolution du serveur

28 juin 2017, 03:44

Reprenons le jeu, c'est bien plus #RIGOLOL

schwomp a écrit : Alors, quelques précisions sur la machine virtuelle :

1) Il s'agit d'un container OpenVZ (les gars du marketing appelle cela un "VPS")
2) la mémoire allouée est de 16 Go + 4 Go de Swap (donc elle peut consommer 20 Go au total)
3) cette machine virtuelle stocke uniquement des sites Internet (environ 3.5 millions de fichiers)
4) côté logiciels, seuls Apache & PHP sont présents (les bases de données sont stockées ailleurs)
5) il y a 4 sauvegardes incrémentales par jour, ce qui explique les "pics" d'utilisation de la RAM
6) le serveur qui héberge ce container dispose (forcément) de plus de mémoire
7) le paramètre "/proc/sys/vm/swappiness" est à 60 (valeur par défaut)

Je pose la question sous une autre forme :

1) Est-ce que le "VPS" vous parait optimal quant à la gestion de la RAM ?
2) Si un hébergeur X/Y/Z vous propose ce type de VPS (à prix abordable), est-ce que vous signez ?

Serveur X :

Image

Serveur Y :

Image

Alors, vous choisissez quel serveur hôte ? X ou Y ?

Aperçu des réponses :

Hatsuyo a écrit :Perso hôte x :)
Remph a écrit :Le Y ya plus de couleurs il est plus utilisé on dirait, ça fait moins de gâchis, alors le Y. On est des bonhommes ou pas !? Y !
papy_is_back a écrit :Je vote pour le X, si le bleu représente de la réserve inutilisée c'est plus sûr.
MrTayz a écrit :Jdirais l'hote X. Il me parrait plus stable (du moins au vu de mes connaissances limitées)
guiguibu49 a écrit :Si je comprends bien les graphiques le x à l'air d'offrir un peu de réserve en plus vis à vis du y. Donc je vote x
kawasutra a écrit :Le Y met énormément de données en cache et a un taux d'inactivité plus fort, sauf si je me plante dans l'analyse du graphe. :mrgreen: Ça me semble un profil plus intéressant que le X.

Les gagnants (en fait y'a rien à gagner, désolé... ) sont :

Remph a écrit :Le Y ya plus de couleurs il est plus utilisé on dirait, ça fait moins de gâchis, alors le Y.
kawasutra a écrit :Le Y met énormément de données en cache et a un taux d'inactivité plus fort [..].

Remph est contre le gâchis et il a bien raison : de la mémoire non utilisée, c'est de "l'argent" perdu.
Depuis des décennies, les système Unix essayent d'utiliser au maximum la mémoire disponible ==> Linux ate my RAM!

kawasutra met en avant l'utilisation du cache et il a aussi raison.
Un VPS avec plus de 3 millions de fichiers, cela consomme forcément de la mémoire (pour stocker les inodes récemment utilisés).

Donc, fin de de la devinette :

- Le serveur hôte X ne dispose "que" de 32 Go de mémoire et était (un peu) limité côté RAM
- Le serveur hôte Y dispose de 64 Go de mémoire et permet donc d'allouer plus d'espace aux VPS

Cela dépend des cas mais, globalement, un système Linux (Debian, CentOS, Ubuntu, Red Hat, etc), se débrouille toujours pour utiliser au maximum la mémoire mise à disposition.

Au sein d'un VPS OpenVZ, s'il vous reste de la RAM disponible, il y a (généralement) quatre cas de figure :

A) les spécifications du VPS sont surdimensionnées par rapport à l'usage réel
B) les processus utilisés au sein du VPS sont correctement dimensionnés
C) le système hôte est légèrement sous pression, la RAM "peu utilisée" est réquisitionnée
D) le système hôte fait de l'overselling comme un malade : fuyez pauvres fous

Si vous disposez d'un VPS et que vous avez des questions, n'hésitez pas ! :D

A+
Avatar de l’utilisateur
schwomp
Membre à vie du GPZ Dream Team :D
Membre à vie du GPZ Dream Team :D
Moto(s) : SV 650 S (un bi qu'il est bien !)
Signe particulier : Intégriste (mais j'me soigne...)
Localisation : Quimper
Messages : 2689
Inscription : 31 déc. 1976, 22:59

Re: [INFO] suivi et évolution du serveur

06 sept. 2017, 22:34

Mise à jour du kernel & reboot du serveur

C'est prévu pour ce soir, vers 23h50, et cela va causer 5 minutes d'interruption.

J'en profite, au passage, pour augmenter la RAM allouée à MySQL (vu qu'on ne peut pas le faire à "chaud").

A+
Avatar de l’utilisateur
schwomp
Membre à vie du GPZ Dream Team :D
Membre à vie du GPZ Dream Team :D
Moto(s) : SV 650 S (un bi qu'il est bien !)
Signe particulier : Intégriste (mais j'me soigne...)
Localisation : Quimper
Messages : 2689
Inscription : 31 déc. 1976, 22:59

Re: [INFO] suivi et évolution du serveur

07 sept. 2017, 02:14

Les stats, parfois, c'est moche !

Jean-Kevin : - "Oh bordel, on va tous mourir..."

Dieu : - "Oui, c'est prévu..." :mrgreen:

Satan : - "T'inquiète, on va faire un barbecue entre amis..." :siffle:

----------------------------

Voici l'image du jour : le nombre de requêtes SQL lentes par seconde (les accès à la base de données).

Il s'agit du serveur MySQL qui héberge le forum (sinon c'est pas drôle).

NOTE : le graphique est sur une semaine donc les différents pics sont forcément "lissés".

Image

MySQL, par défaut, considère toute requête SQL comme étant lente si elle met plus de 10 secondes à s'exécuter.

A votre avis, en voyant le graphique ci-dessus, on fait quoi ?
(Si vous êtes un hardcore gamer concernant MariaDB, viendez ! ^^)

A+
Avatar de l’utilisateur
dnstouron
Modérateur
Modérateur
Contact :
Moto(s) : ZZR1100 D1 & GPZ500-E10
Signe particulier : regardez mon avatar :)
Localisation : A la campagne dans 28 proche Dreux
Messages : 6994
Inscription : 16 mai 2010, 17:36

Re: [INFO] suivi et évolution du serveur

07 sept. 2017, 07:50

On va dire que tu as des pics
- entre 7h et 9h
- entre 12h et 14h
- entre 19h et 22h

ceux sont les périodes où il y a le plus de messages postés

Soit tu ajoutes de la Ram à ton serveur Mysql pour absorber ces pointes d'activités, soit tu colles du disques plus performant mais le budget est différent

Coller des index ou modifier le plan d'exécution des requettes il y a un gros risque de foutre le bordel sur le fonctionnement du forum

pas de compétence en MariaDB ... désolé
ImageImage
ZZR un jour, ZZR toujours
Club des 100 000
POST PouAaAAAAaaaa !!!
Avatar de l’utilisateur
papy_is_back
Membre à vie du GPZ Dream Team :D
Membre à vie du GPZ Dream Team :D
Moto(s) : GPZ 500 P
Localisation : 43°16' latitude nord - 0°07' longitude est
Messages : 4111
Inscription : 13 sept. 2010, 23:26

Re: [INFO] suivi et évolution du serveur

07 sept. 2017, 09:47

Je n'y connais strictement rien, toutefois je me permets une intervention avec le recul du Candide :
Ce forum fonctionne parfaitement bien depuis de nombreuses années, vous êtes des malades de perfectionnisme qui vous prenez le chou pour des "problèmes" qui échappent totalement à 99,9 % des membres de ce forum.
Voilà !     :mrgreen:
La première course de motos a eu lieu le jour où la deuxième moto est sortie de l’atelier.
Avatar de l’utilisateur
schwomp
Membre à vie du GPZ Dream Team :D
Membre à vie du GPZ Dream Team :D
Moto(s) : SV 650 S (un bi qu'il est bien !)
Signe particulier : Intégriste (mais j'me soigne...)
Localisation : Quimper
Messages : 2689
Inscription : 31 déc. 1976, 22:59

Re: [INFO] suivi et évolution du serveur

13 sept. 2017, 02:25

Là, c'est clair, on va tous mourir ! :mrgreen:

Voici les stats du serveur MySQL pour aujourd'hui :

Image

Donc, là, normalement, avec un pic de 30 requêtes SQL lentes par seconde, c'est simple : - "Houston, We've Got a Problem..."

Mais, en fait, non...

@papy : ton intuition était la meilleure, bien que dénuée d'outils pour surveiller la "latence" du forum

@denis : tu réagis comme un sysadmin ! (chercher des solutions techniques en omettant les choses "simples")

Bon, je vous livre le "secret"... :wink:

Pour du web, je considère toute requête SQL comme étant "lente" si elle met plus de une milliseconde pour s'exécuter.
(long_query_time = 0.001)

Soit 10 000 fois moins que la valeur par défaut de MySQL.

Autrement dit, le graph indique les requêtes qui ont mis plus de 0.001 secondes pour s'exécuter.

Cela me permet de mesurer la latence dans le temps (graphs annuels).

Cependant, il y a un inconvénient à fixer une valeur aussi basse.

Les "grosses" requêtes SQL n'apparaissent pas clairement.

Donc il est possible que certaines requêtes soient anormalement lentes sans que je le sache.

Mais pour ça, j'ai d'autres graphiques !

A+
Avatar de l’utilisateur
dnstouron
Modérateur
Modérateur
Contact :
Moto(s) : ZZR1100 D1 & GPZ500-E10
Signe particulier : regardez mon avatar :)
Localisation : A la campagne dans 28 proche Dreux
Messages : 6994
Inscription : 16 mai 2010, 17:36

Re: [INFO] suivi et évolution du serveur

13 sept. 2017, 07:50

schwomp a écrit :
13 sept. 2017, 02:25
Là, c'est clair, on va tous mourir ! :mrgreen:

(...)

@papy : ton intuition était la meilleure, bien que dénuée d'outils pour surveiller la "latence" du forum

@denis : tu réagis comme un sysadmin ! (chercher des solutions techniques en omettant les choses "simples")

Bon, je vous livre le "secret"... :wink:

Pour du web, je considère toute requête SQL comme étant "lente" si elle met plus de une milliseconde pour s'exécuter.
(long_query_time = 0.001)

Soit 10 000 fois moins que la valeur par défaut de MySQL.

Autrement dit, le graph indique les requêtes qui ont mis plus de 0.001 secondes pour s'exécuter.

(...)
Si comme d'habitude les admin application ne nous donne pas toutes les informations le job du Sysadmin est plus compliqué : surtout quand il faut trouver des solutions à un soucis qui en fait n'existe pas

Et oui je réagit comme un sysadmin ... 20 ans ( putain ça passe vite ) a faire ce job sur différentes technologies (system, stockage, virtu, et maintenant plus généralement dans ce qu'on appel Cloud ) ça laisse des traces :roll: :roll:
ImageImage
ZZR un jour, ZZR toujours
Club des 100 000
POST PouAaAAAAaaaa !!!
Avatar de l’utilisateur
schwomp
Membre à vie du GPZ Dream Team :D
Membre à vie du GPZ Dream Team :D
Moto(s) : SV 650 S (un bi qu'il est bien !)
Signe particulier : Intégriste (mais j'me soigne...)
Localisation : Quimper
Messages : 2689
Inscription : 31 déc. 1976, 22:59

Re: [INFO] suivi et évolution du serveur

13 sept. 2017, 23:59

Plop ! :D

dnstouron a écrit :Si, comme d'habitude, les admin application ne nous donne pas toutes les informations le job du Sysadmin est plus compliqué

Mmmh... Dis voir, t'as déjà rencontré un "end-user" qui te donnait les "bonnes" infos du premier coup ? :mrgreen:

Bon, OK, j'avoue, je me suis joué de vous. Sinon c'était pas drôle ! :D

Image

Le serveur MySQL se promène tranquillement (dans les bois) avec, en moyenne, 150 requêtes/seconde. (autant dire #KE_DALLE)

La majorité des tables sont en mémoire (bien que cela n'améliore pas les perfs car les données "chaudes" sont bien inférieures à la taille totale des BDD).

De temps en temps il y a du "made young" (les vieilles données qui repassent dans la mémoire "active" d'InnoDB) lors des backups.

Côté disques, ce sont des SSD (qui se la coulent douce)

@denis : je sais bien qu'on est loin des "charges" auxquelles tu es quotidiennement habitué, l'idée c'est d'avoir la meilleure latence possible pour les sites. :wink:

A+
Avatar de l’utilisateur
schwomp
Membre à vie du GPZ Dream Team :D
Membre à vie du GPZ Dream Team :D
Moto(s) : SV 650 S (un bi qu'il est bien !)
Signe particulier : Intégriste (mais j'me soigne...)
Localisation : Quimper
Messages : 2689
Inscription : 31 déc. 1976, 22:59

Re: [INFO] suivi et évolution du serveur

06 oct. 2017, 01:45

Dis Bernard, c'est quoi le futur ?

Houla... :mrgreen:

Debian "Stretch" (une distribution de Linux) est sortie depuis plusieurs mois, il est donc temps d'aller de l'avant.

Au menu :

1) Utiliser une adresse IP totalement dédiée pour le forum/carte des membres/galerie d'images/mails/ftp/etc
2) Isoler complètement le forum GPZ Dream Team et le forum ER5 (nos copains !) sur un VPS dédié (machine virtuelle)
3) Effectuer une mise à jour complète des logiciels : Ngnix, Varnish, Apache, PHP, MariaDB, Postfix, Dovecot, Vsftpd, PowerDNS et j'en oublie.
4) Sélectionner un hébergeur de secours avec lequel on peut faire un copier/coller intégral des données (crise systémique, reprise d'activité, #TOUSSA)

La logique est toujours la même : pérenniser le forum sur le long terme.

Bref, c'est dans le tube : je ne sais pas quand je vais pouvoir m'y coller mais c'est prévu ! :wink:

A+
Avatar de l’utilisateur
dnstouron
Modérateur
Modérateur
Contact :
Moto(s) : ZZR1100 D1 & GPZ500-E10
Signe particulier : regardez mon avatar :)
Localisation : A la campagne dans 28 proche Dreux
Messages : 6994
Inscription : 16 mai 2010, 17:36

Re: [INFO] suivi et évolution du serveur

06 oct. 2017, 07:48

:clap2: :clap2: :clap2: :clap2:

bon courage
ImageImage
ZZR un jour, ZZR toujours
Club des 100 000
POST PouAaAAAAaaaa !!!
Avatar de l’utilisateur
papy_is_back
Membre à vie du GPZ Dream Team :D
Membre à vie du GPZ Dream Team :D
Moto(s) : GPZ 500 P
Localisation : 43°16' latitude nord - 0°07' longitude est
Messages : 4111
Inscription : 13 sept. 2010, 23:26

Re: [INFO] suivi et évolution du serveur

06 oct. 2017, 09:42

Tu es le squal13 des réseaux informatiques.   :)
La première course de motos a eu lieu le jour où la deuxième moto est sortie de l’atelier.
Avatar de l’utilisateur
schwomp
Membre à vie du GPZ Dream Team :D
Membre à vie du GPZ Dream Team :D
Moto(s) : SV 650 S (un bi qu'il est bien !)
Signe particulier : Intégriste (mais j'me soigne...)
Localisation : Quimper
Messages : 2689
Inscription : 31 déc. 1976, 22:59

Re: [INFO] suivi et évolution du serveur

18 nov. 2017, 04:12

Kernel Linux : 1 - Schwomp : 0

En résumé : n'essayez jamais de combattre (via des techniques annexes) le noyau Linux, il est plus fort que vous ! :mrgreen:

Les forums GPZ/ER5 tournent sur un des serveurs de prod et, 4 fois par jour, il y a une sauvegarde complète des machines virtuelles.
(Bon, ok, il s'agit de containers OpenVZ gérés par "myself" et optimisés aux petits oignons...)

Les premières sauvegardes sont stockées sur un serveur de secours qui fait tampon.

Ensuite, ces sauvegardes sont répliquées sur d'autres serveurs de backups.

Le souci était que la mémoire allouée aux "inodes" sur les serveurs de backups annexes était faible, voire limitée.

Et là, ce soir, je (re)découvre le paramètre "/proc/sys/vm/vfs_cache_pressure".

Il s'agit d'un "élément" (que l'on garde dans un coin du cerveau) dont je suspectais l'utilité sans en avoir besoin.

Pour l'instant les résultats sont mitigés : meilleurs perfs sur le serveur "tampon", pas d'amélioration sur les serveurs de backups.

Bref, c'est en cours de test... :wink:

A+
gjoliet
Pilote confirmé !
Pilote confirmé !
Moto(s) : GPZ500S
Messages : 194
Inscription : 05 déc. 2016, 11:10

Re: [INFO] suivi et évolution du serveur

20 nov. 2017, 11:56

Tu penses vraiment que quelqu'un a compris quelque chose? :mrgreen: :mrgreen: :mrgreen: :mrgreen:
Avatar de l’utilisateur
dnstouron
Modérateur
Modérateur
Contact :
Moto(s) : ZZR1100 D1 & GPZ500-E10
Signe particulier : regardez mon avatar :)
Localisation : A la campagne dans 28 proche Dreux
Messages : 6994
Inscription : 16 mai 2010, 17:36

Re: [INFO] suivi et évolution du serveur

20 nov. 2017, 12:25

:ange: :siffle:
:kiss:
ImageImage
ZZR un jour, ZZR toujours
Club des 100 000
POST PouAaAAAAaaaa !!!

Revenir vers « Fonctionnement du forum »

Qui est en ligne ?

Utilisateurs parcourant ce forum : Aucun utilisateur inscrit et 1 invité