[INFO] suivi et évolution du serveur

Un problème concernant le site ? Des suggestions ou des idées, pas de panique, c'est ici !
Avatar de l’utilisateur
goldo
Membre à vie du GPZ Dream Team :D
Membre à vie du GPZ Dream Team :D
Moto(s) : GPZ
Messages : 4925
Inscription : 25 oct. 2011, 21:52

Re: [INFO] suivi et évolution du serveur

24 août 2021, 09:02

Hello, franchement impressionné par le savoir du petit dodu ,comme quoi ,il n'a pas seulement une bonne brioche ,mais un cerveau bien rempli .
Avatar de l’utilisateur
schwomp
Membre à vie du GPZ Dream Team :D
Membre à vie du GPZ Dream Team :D
Moto(s) : SV 650 S (un bi qu'il est bien !)
Signe particulier : Intégriste (mais j'me soigne...)
Localisation : Quimper
Messages : 2973
Inscription : 31 déc. 1976, 22:59

Re: [INFO] suivi et évolution du serveur

05 déc. 2021, 02:10

Bonsoir à toutes et tous ! :D

Ce message n'a strictement aucun intérêt car tout est Ok,

Version courte : - "Circulez, y'a rien à voir..." :mrgreen:

1) le résultat des migrations s'est avéré concluant
2) augmentation de 25% des perfs (merci HAProxy et Varnish).
3) Pas mal de réglages/tuning internes mais rien de "folichon"

Donc, en attendant la suite, je vous propose une vidéo fort sympathique :

1) Évidemment, il s'agit d'un mix
2) Évidemment, le clip est génial
3) Évidemment, l'original est peu connu



Bonne nuit !
Avatar de l’utilisateur
goldo
Membre à vie du GPZ Dream Team :D
Membre à vie du GPZ Dream Team :D
Moto(s) : GPZ
Messages : 4925
Inscription : 25 oct. 2011, 21:52

Re: [INFO] suivi et évolution du serveur

24 déc. 2021, 11:07

:clap2: je ne connaissais pas .
Bonnes fêtes.
Avatar de l’utilisateur
schwomp
Membre à vie du GPZ Dream Team :D
Membre à vie du GPZ Dream Team :D
Moto(s) : SV 650 S (un bi qu'il est bien !)
Signe particulier : Intégriste (mais j'me soigne...)
Localisation : Quimper
Messages : 2973
Inscription : 31 déc. 1976, 22:59

Re: [INFO] suivi et évolution du serveur

16 janv. 2022, 04:46

Bonsoir à toutes et tous.

Version courte : suite à une corruption de fichier (métadonnées des bases de données), j'ai dû restaurer une "vielle" sauvegarde des forums GPZ, ER5 et ZZR

Le backup intégral effectué à 00h08 du container hébergeant MariaDB était inutilisable, ne restait que les backups effectués avec mysqldump.

Du coup, les messages postés entre samedi 19h19 et dimanche 1h45 sont perdus. :(

Pour l'instant je n'ai pas d'explication sur l'origine du problème. Je continuerai les recherches demain.

Bonne nuit et encore désolé.
Avatar de l’utilisateur
dnstouron
Membre à vie du GPZ Dream Team :D
Membre à vie du GPZ Dream Team :D
Contact :
Moto(s) : ZZR1100 D1 & GPZ500-E10
Signe particulier : regardez mon avatar :)
Localisation : A la campagne dans 28 proche Dreux
Messages : 9963
Inscription : 16 mai 2010, 17:36

Re: [INFO] suivi et évolution du serveur

16 janv. 2022, 09:14

Ceux sont des choses qui arrivent
Pour moi ( je reçois les notifications de tous les nouveaux messages) il y en a eu que 4
1 a 20h45 de REYFAST dans le sujet viewtopic.php?f=29&t=23033&e=1&view=unread#unread
Deux de Ville coyote et un de kawasutra entre 22h et 23h30 dans le sujet viewtopic.php?f=35&t=23415&e=1&view=unread#unread

Pas de message sur le forum Zzr hier soir

Pour les Mp je peux pas savoir par- contre
Image
ZZR un jour, ZZR toujours
Club des 100 000
POST PouAaAAAAaaaa !!!
Avatar de l’utilisateur
schwomp
Membre à vie du GPZ Dream Team :D
Membre à vie du GPZ Dream Team :D
Moto(s) : SV 650 S (un bi qu'il est bien !)
Signe particulier : Intégriste (mais j'me soigne...)
Localisation : Quimper
Messages : 2973
Inscription : 31 déc. 1976, 22:59

Re: [INFO] suivi et évolution du serveur

28 janv. 2022, 01:54

Hello ! :D

schwomp a écrit :Pour l'instant je n'ai pas d'explication sur l'origine du problème. Je continuerai les recherches demain.

Désolé, l'explication ne va pas être simple mais je vais essayer d'être compréhensible.

Version courte : la sauvegarde de la base de données "mysql", celle qui stocke les accès et autres méta-données des bases de données, s'est avéré foireux.

J'm'explique :

1) pour une raison que j'ignore une des tables de la BDD "mysql" utilisait le format "InnoDB" ou lieu de "Aria" (ce sont des moteurs de stockage différents).

2) par effet de bord, mysqldump ne pouvait plus sauvegarder l'intégralité de la BDD "mysql" car, dès qu'il rencontrait cette table "inadaptée", il arrêtait d'écrire le backup

3) là où c'est vraiment pas de bol, c'est que les backups (de la base "mysql") étaient cependant "valides", même s'il manquait une bonne partie des données (aucune erreur de syntaxe)

Donc, quand j'ai fait l'import complet (et à froid) de toutes bases de données via les backups (afin de ne pas flinguer la taille du fichier "ibdata", celui qui stocke aussi les méta-données), tout s'est bien passé.

Pour info, les tables InnoDB supportent les index FULLTEXT mais certaines de ces données sont stockées dans le fichier "ibdata".

Or, l'objectif était de rétablir, pour les forums GPZ, ER5 et ZZR, la recherche "classique", celle qui ne nécessite pas l'ajout d'index FULLTEXT.

Bref, tout s'est bien passé, jusqu'au moment où j'ai restauré (via les backups invalides) la base de données "mysql".

Et là, aucune erreur, rien, RAS.

Sauf que dans les faits, seule une partie de la base "mysql" était vraiment restaurée, l'autre partie existante restait inchangée.

Ce qui a créé une corruption des méta-données puisque l'ensemble des paramètres n'étaient plus valides.

Résultat des courses, le serveur MariaDB ne cessait de planter dès qu'il tentait d'accéder à une BDD "inconnue/invalide/différente" (le tout avec des core dump, signe que quelque chose se passait vraiment mal).

Depuis, le problème de la BDD "mysql" a été résolu (toutes les tables utilisent "Aria")

Cependant, je n'ai toujours pas compris pourquoi, ce jour là, le backup à minuit du VPS qui gère les bases de données n'était pas exploitable.

Voilà, voilà...

Si vous avez des questions, n'hésitez pas !

Aau pire, je ne saurai pas vous répondre et, au mieux, si j'ai les bonnes informations, ce sera limpide.

Bonne nuit à toutes et tous. :D
Avatar de l’utilisateur
kawasutra
Membre à vie du GPZ Dream Team :D
Membre à vie du GPZ Dream Team :D
Moto(s) : 500GPZ-post Retour aux sources!
Signe particulier : Vieux con :-)
Localisation : Au dessus de mes pieds (sud-42)
Messages : 5382
Inscription : 19 août 2011, 12:11

Re: [INFO] suivi et évolution du serveur

28 janv. 2022, 09:38

Tu as écris à 2h54… :D

Si je t’avais lu à la même heure, j’aurai eu mal à la tête. :mrgreen:
" À celui qui dit la vérité, offre lui un cheval, il en aura besoin pour s’enfuir." (proverbe Arabe)
Image
Comprendre la situation du covid viewtopic.php?f=71&t=22974 et en Ukraine:
viewtopic.php?f=71&t=23479
Avatar de l’utilisateur
schwomp
Membre à vie du GPZ Dream Team :D
Membre à vie du GPZ Dream Team :D
Moto(s) : SV 650 S (un bi qu'il est bien !)
Signe particulier : Intégriste (mais j'me soigne...)
Localisation : Quimper
Messages : 2973
Inscription : 31 déc. 1976, 22:59

Re: [INFO] suivi et évolution du serveur

05 févr. 2022, 22:57

Bonsoir à toutes et tous. :D

"Upgrade" de la configuration des reverse proxy

Version 1) Normalement, tout est OK, vous ne devriez y voir que du feu (ça fait une semaine que je suis dessus).

Version 2) Un sale bug a été introduit (tout changement comporte ce risque) donc si quelque chose vous parait bizarre, signalez-le !

Il ne s'agit pas d'une mise à jour de Varnish (le logiciel) mais de l'ensemble des règles qui permettent d'accélérer les temps de chargement (mise en cache).

Je vérifie depuis 3 heures maintenant et tout semble OK d'après les logs.

Mais, encore une fois, je le redis, si vous constatiez un bug/souci/autre avec le forum, merci de m'envoyer un copieux message d'insultes... :mrgreen:

A+
Avatar de l’utilisateur
schwomp
Membre à vie du GPZ Dream Team :D
Membre à vie du GPZ Dream Team :D
Moto(s) : SV 650 S (un bi qu'il est bien !)
Signe particulier : Intégriste (mais j'me soigne...)
Localisation : Quimper
Messages : 2973
Inscription : 31 déc. 1976, 22:59

Re: [INFO] suivi et évolution du serveur

14 juin 2022, 02:57

Hello toutes et tous ! :D

Je vous propose de fermer ce topic car je n'ai plus grand chose d'intéressant à vous communiquer.

L'objectif, concernant l'hébergement, est de fournir un système "UP" 99.9% par an, ce qui n'est pas facile (mises à jour et migrations).

Mais, si vous le souhaitez, on ouvre un topic dans "Discussions libres" avec pour sujet "Linux [questions/réponses] !"

Je ne prétend pas avoir réponse à tout, loin de là, mais cela me ferait plaisir d'échanger avec vous.

Du coup, si vous êtes "chaud", on démarre la discussion.

Bonne nuit ! :)
Avatar de l’utilisateur
dnstouron
Membre à vie du GPZ Dream Team :D
Membre à vie du GPZ Dream Team :D
Contact :
Moto(s) : ZZR1100 D1 & GPZ500-E10
Signe particulier : regardez mon avatar :)
Localisation : A la campagne dans 28 proche Dreux
Messages : 9963
Inscription : 16 mai 2010, 17:36

Re: [INFO] suivi et évolution du serveur

14 juin 2022, 09:25

J'aime bien ton sujet de geek qui parle des infra sous jacente
tu peux faire une newsletter :siffle: :kiss: ?


Ps : Sinon maintenant que les Android et autre system Appel (à base de noyau linux/BSD ...) et toutes la domotique connectée aux Wifi sont partout dans nos maisons les virus (plutôt des bots espions que des virus destructeurs ) sont légions aussi sur ces systèmes les hackeurs en profite au maximum pour jouer
Image
ZZR un jour, ZZR toujours
Club des 100 000
POST PouAaAAAAaaaa !!!
Avatar de l’utilisateur
Remph
Membre à vie du GPZ Dream Team :D
Membre à vie du GPZ Dream Team :D
Contact :
Moto(s) : GPZ 500 S - 2001
Signe particulier : Motard plongeur .oO
Localisation : proche Compiègne
Messages : 2110
Inscription : 28 janv. 2013, 21:47

Re: [INFO] suivi et évolution du serveur

14 juin 2022, 23:38

kawasutra
Signe particulier : Vieux con :-)

schwomp
Signe particulier : Intégriste (mais j'me soigne...)

"Je t'aime, moi non plus."
Programmez-vous des vacances estivales ensemble et vous nous ferez un CR dans les discussions libres. :lol:

(J'édite vu que les messages en référence ne sont plus là.)




Sinon ok pour le sujet Questions/Réponses, pour être un peu au courant du fonctionnement du bouzin.
ImageImage
Avatar de l’utilisateur
schwomp
Membre à vie du GPZ Dream Team :D
Membre à vie du GPZ Dream Team :D
Moto(s) : SV 650 S (un bi qu'il est bien !)
Signe particulier : Intégriste (mais j'me soigne...)
Localisation : Quimper
Messages : 2973
Inscription : 31 déc. 1976, 22:59

Re: [INFO] suivi et évolution du serveur

04 août 2022, 02:22

Bonsoir à toutes et tous ! :D

Bon, en fait, j'ai plus grand chose à vous raconter...

Comme je m'ennuie un peu, je vais regarder de plus près les méthodes existantes pour gérer la "scalabilité" des services, que ce soit de manière horizontale ou verticale (je sais pas encore).

En bref, dans le tube, il y a :

- Haproxy : répartiteur de charge TCP/HTTP.

Actuellement sous exploité sur la plate-forme actuelle donc voir comment distribuer la charge vers différents services web de manière efficace.

- ProxySQL : pas encore testé mais à priori génial, un peu comme Varnish (requêtes HTTP) mais cette fois avec des requêtes SQL,

L'idée est de faire, dans un premier temps, du split read/write vers un serveur MariaDB "master" (write) et des serveurs MariaDB "slave" (read).

Je regarderai également la réplication master/master de MariaDB mais, en cas de pépin et de ce que j'ai compris, cela semble un peu périlleux (donc à voir)

- h2o : serveur web (très) peu connu mais diablement efficace avec HTTP/2 pour gérer sans sourciller les connexions entrantes.

Comme le protocole HTTP/3 est supporté, je vais regarder si je peux l'activer (d'abord en mode test, histoire de comprendre ce que cela implique).

Cet outil est en constante évolution et le développeur principal est un "fou furieux", dans le bon sens du terme... ^^

Voilà, voilà...

L'idée est de faire comme le "Cloud" (élasticité) mais seulement avec des serveurs dédiés (ensuite on verra si le "Cloud" est abordable).

C'est à dire pouvoir réorganiser (ajouter/supprimer) facilement et rapidement différents services afin d'augmenter ou réduire la capacité de traitement.

Tout ceci sera fait et testé avec des containers fonctionnant sous OpenVZ 7, ce qui va grandement me simplifier la vie.

Note : OpenVZ traine une sale réputation depuis des années car, sur le Net, vous verrez pulluler des offres low-cost avec des specs délirantes.

La raison est simple : la majorité de ces hébergeurs font de l'overselling comme des malades : vous n'obtiendrez quasiment jamais les perfs annoncées.

A l'inverse, sans overselling (ou très peu) , OpenVZ est extrêmement performant car il n'y a pas la surcouche présente dans le cas d'une machine virtuelle.

Bref, l'outil est bon (et pourtant je regarde attentivement LXC/LXD) donc autant l'utiliser correctement.

Bonne nuit ! :D
Avatar de l’utilisateur
dnstouron
Membre à vie du GPZ Dream Team :D
Membre à vie du GPZ Dream Team :D
Contact :
Moto(s) : ZZR1100 D1 & GPZ500-E10
Signe particulier : regardez mon avatar :)
Localisation : A la campagne dans 28 proche Dreux
Messages : 9963
Inscription : 16 mai 2010, 17:36

Re: [INFO] suivi et évolution du serveur

04 août 2022, 09:08

Merci pour tes explications et tes investissements intellectuels
Je suis avec attention car dans mon activité professionnelle je dois me réorganiser intellectuellement afin de faire plus dans le soft-design ... que dans l'architecture d'infrastructure
Image
ZZR un jour, ZZR toujours
Club des 100 000
POST PouAaAAAAaaaa !!!
Avatar de l’utilisateur
colthard
Membre à vie du GPZ Dream Team :D
Membre à vie du GPZ Dream Team :D
Moto(s) : Gpz900r
Localisation : Hérault
Messages : 941
Inscription : 22 mai 2011, 18:17

Re: [INFO] suivi et évolution du serveur

04 août 2022, 17:33

:heu: :heu: bon j'ai toujours rien compris et je pense que je ne comprendrais jamais rien à votre langage :coupe:
Par contre si tu pouvais rajouter un "bouton" mettre une photo pour avoir plus facile à les insérées, surtout en version mobile ça serait le rêve.
Merci pour tout que tu fais pour le forum, parce que peux de personnes ont t'es capacités et encore moins l'envi de les partager gratos.
:clap2: :clap2:

Revenir à « Fonctionnement du forum »

Connexion · Inscription

Big brother

Au total, il y a 11 utilisateurs en ligne :: 1 inscrit, 0 invisible et 10 invités
Utilisateurs inscrits : Bing [Bot]
Le nombre maximal d’utilisateurs en ligne simultanément a été de 100 le 04 juil. 2022, 05:22
261676 messages
12827 sujets
5834 membres
Notre membre le plus récent est ZANESE
Aucun membre ne fête son anniversaire aujourd’hui.