Page 31 sur 36

Re: [INFO] suivi et évolution du serveur

Publié : 10 janv. 2018, 11:11
par kawasutra
Pour faire simple:
La clef de ta maison, tu peux la perdre.
Le mot de passe que tu as écrit quelque part sur une feuille de papier sans électronique ni informatique, quelqu'un peut un jour le lire.

Bref, la sécurité absolue est un leurre générateur de peurs qui, de plus, est utilisé par pas mal de gens pour te mener par le bout du nez.
Donc, doucement, c'est un tango et tu gagnera plus à épargner à ton petit cœur des soucis futiles qu'à tenter à tout prix d'atteindre ce qui n'existe pas. :wink:

Re: [INFO] suivi et évolution du serveur

Publié : 10 janv. 2018, 16:58
par papy_is_back
dnstouron a écrit :. . . en gros pour faire simple . . . tu as zéro risque chez toi . . .
Voilà des mots en français, dans un vocabulaire simple et dont je comprends le sens   :P .
Ainsi Meltdown et Spectre resteront hors de mon processeur et se contenteront de pourrir la vie des pros (désolé pour vous).
Bien !

Re: [INFO] suivi et évolution du serveur

Publié : 11 janv. 2018, 03:08
par schwomp
C'est confirmé : Linux : 1 - Schwomp : 0

schwomp a écrit :Le souci était que la mémoire allouée aux "inodes" sur les serveurs de backups annexes était faible, voire limitée.

Et là, ce soir, je (re)découvre le paramètre "/proc/sys/vm/vfs_cache_pressure".

Il s'agit d'un "élément" (que l'on garde dans un coin du cerveau) dont je suspectais l'utilité sans en avoir besoin.

Traduction en Français :

1) dans un livre, et généralement à la fin, il y un "index"
2) L'index vous indique la page à consulter quand vous cherchez un terme précis

Bonne nouvelle, sous Linux, c'est pareil.

Quand vous cherchez les méta-données (nom, poids en Ko, date du dernier accès, etc) d'un fichier (ou d'un répertoire, ou autre...), vous devez d'abord consulter l'index.

Exemple : quelle est la date de modification du fichier "hippocrate.2014.french.1080p.bluray.x264-rough.mkv" ?
(Un film que je me suis promis de regarder...)

Pour obtenir cette information, vous devez :

1) consulter l'index pour savoir où se trouvent les méta-données du fichier X
2) aller à la page concernée (sous Linux, il s'agit en fait de l'Inode) du fichier X
3) enfin, lire les méta-données du fichier X présent à la page indiquée

Sauf que, dans le cas d'un backup, vous voulez sauvegarder toutes les données.

Donc, pas le choix, il faut passer en revue l'ensemble de l'index pour déterminer les fichiers (répertoires et autres), qui ont été modifiés.

Chaque opération (lire l'index, aller à l'Inode, consulter les méta-données) est très coûteuse en terme de temps avec des disques durs mécaniques (les SSD c'est autre chose).

Cela revient à :

1) Lire un terme présent dans l'index
2) tourner les pages jusqu'à trouver la bonne
3) lire les méta-données du fichier
4) recommencer l'opération X fois

On comprend vite qu'à ce petit jeu là, tourner les pages d'un bouquin pour chercher les infos des fichiers X/Y/Z, c'est à la fois long et chiant.

Pour les disques durs mécaniques, c'est strictement pareil : tourner les pages est l'équivalent d'un repositionnement de la tête de lecture à un autre endroit.

Pour ceux qui aiment/connaissent les Vinyles, cela revient à déplacer manuellement le bras de la platine afin de l'aligner sur le le bon morceau.

Quand vous avez plusieurs de millions de fichiers à sauvegarder, au premier abord il est nécessaire de lire les méta-données de chaque fichier.

Autant vous dire que, sans système de cache, la tâche est rude : les disques vont passer leur temps à faire des allez-retours entre l'index et les pages contenant les méta-données.

Bonne nouvelle, et c'est là où je voulais en venir, Linux permet de mémoriser ces méta-données.

Sauf que, par défaut, le contenu des fichiers est jugé plus important que les méta-données.

Donc Linux stocke en mémoire, principalement, les données consultées récemment.

Dans le cadre d'une sauvegarde, on s'en fiche : ce que l'on veut savoir c'est si le fichier X/Y/Z a été modifié (son contenu importe peu).

C'est là qu'intervient le paramètre "/proc/sys/vm/vfs_cache_pressure" : il permet d'équilibrer la mémoire allouée entre les méta-données et les données.

Pour faire simple, j'ai utilisé ce paramètre pour "forcer" le stockage (et la rémanence) en mémoire des méta-données.

La raison est plutôt simple : lors de chaque backup, il faut à nouveau analyser/vérifier des millions de fichiers et ensuite transférer les données de chaque fichier modifié.

La probabilité qu'un fichier change étant faible, la priorité était d'accélérer les accès aux méta-données.

Comme il est possible de "forcer" en mémoire le stockage des méta-données, leur accès devient quasiment immédiat : plus besoin de demander aux disques durs d'aller chercher l'info.

Bref, si vous avez des serveurs de backup entièrement dédiés aux sauvegardes (incrémentales) : "vm.vfs_cache_pressure = 5" (attention, c'est violent...)

A+

Re: [INFO] suivi et évolution du serveur

Publié : 11 janv. 2018, 07:02
par Rata
J'ai bien fait de quitter l'informatique. C'était usant. :lol:

Re: [INFO] suivi et évolution du serveur

Publié : 11 janv. 2018, 09:07
par kopp
schwomp a écrit :
11 janv. 2018, 03:08
C'est confirmé : Linux : 1 - Schwomp : 0

schwomp a écrit :Le souci était que la mémoire allouée aux "inodes" sur les serveurs de backups annexes était faible, voire limitée.

Et là, ce soir, je (re)découvre le paramètre "/proc/sys/vm/vfs_cache_pressure".

Il s'agit d'un "élément" (que l'on garde dans un coin du cerveau) dont je suspectais l'utilité sans en avoir besoin.

(...)
Pas sûr que ça me serve un jour (j'ai un SSD :siffle: ) mais c'est intéressant. Un jour je me pencherai sur tout ce qu'on trouve dans /proc/sys/ .... ou pas :)

Re: [INFO] suivi et évolution du serveur

Publié : 15 janv. 2018, 23:52
par schwomp
Plop ! :D

kopp a écrit :Petite remarque d'abord sur ta dernière phrase. La SCNF ne vent pas plus de billets que de places disponibles, sauf bug.

Ok, mauvais exemple ! Le plus parlant, c'est le surbooking des hôtels ou des avions :



kopp a écrit :Pour les 30% de perf, pour le moment rien n'est démontré....

Si, si ! :mrgreen:

Online a communiqué sur ce point : Update #22 (Web Hosting Important Performance Issue) - 01/11/18 6:00pm UTC

kopp a écrit :Enfin, pour les ventes d'action du président d'intel, apparemment le cours à l'époque est le même que l'actuel, du coup il a rien gagné, à part attirer l'oeil de la SEC :)

Mmmh... A priori, c'est pas exactement ça : Le patron d'Intel a cédé des millions de titres avant la révélation des failles de sécurité :
Brian Krzanich a acquis environ 644.000 actions Intel à des prix compris entre 12,99 et 24,17 dollars et les a revendus à un cours moyen pondéré de 44,05 dollars

Donc, et si l'info est vraie, cela signifie que le PDG d'Intel a, au minimum, doublé la mise. :clap2:

dnstouron a écrit :coté professionnel c'est complexe les mises à jour des ces failles surtout en limitant les impacts clients ...

De ce que j'ai pu comprendre, les "patchs" sont énormes : des milliers de lignes de code au "coeur" (c'est le cas de le dire...) des noyaux Linux/Windows/autre.

Pendant que tout le monde fêtait joyeusement Noël et le nouvel an, des centaines voire des milliers de développeurs s'arrachaient les cheveux. :roll:

Et après, comme tu le soulignes, il faut mettre en prod : sauf erreur, un reboot est nécessaire, même avec les systèmes de "Live Update" du kernel (ex : KernelCare).

A+

Re: [INFO] suivi et évolution du serveur

Publié : 16 janv. 2018, 07:54
par kopp
schwomp a écrit :
15 janv. 2018, 23:52
Ok, mauvais exemple ! Le plus parlant, c'est le surbooking des hôtels ou des avions :


.
Oui meilleur exemple, mais c'est un autre cas. Cracher sur la SNCF toujours, pour des choses qu'ils n'ont pas fait, c'est pas nécessaire. Ils foirent suffisamment de choses pour pas avoir besoin d'en inventer d'autres :mrgreen:
schwomp a écrit :
15 janv. 2018, 23:52
Si, si ! :mrgreen:

Online a communiqué sur ce point : Update #22 (Web Hosting Important Performance Issue) - 01/11/18 6:00pm UTC
Bon oki, mais ça reste un hébergeur particulier, ça ne veut pas dire que ce sera le cas pour tout le monde, ni pour toutes les applications.
Perso, j'ai rien remarqué sur ma machine ;) (c'est ironique, mon utilisation n'a rien à voir)

Ensuite, il y a moyen que les implémentations du patch évoluent, de même que les correctifs par mise à jour du microcode, et que ça améliore les choses. Apparemment, il y a encore du boulot dessus, certains correctifs ont pas mal de problèmes, donc ça peut changer.

Je ne sais pas si c'est aussi possible (en demandant beaucoup plus de travail) de changer comment certaines choses sont faite niveau kernel et logiciel, pour être moins impacté. Sinon, y a plus qu'à attendre des nouveaux processeurs (je sais pas combien de temps, mais je dirais facilement 18 mois minimum avant qu'un quelconque changement puisse être appliqué) Si j'ai bien compris, d'autres architecture font du preemptive sans ce problème de mémoirée cachée partagée. (SPARC, je crois)


schwomp a écrit :
15 janv. 2018, 23:52

Mmmh... A priori, c'est pas exactement ça : Le patron d'Intel a cédé des millions de titres avant la révélation des failles de sécurité :
Brian Krzanich a acquis environ 644.000 actions Intel à des prix compris entre 12,99 et 24,17 dollars et les a revendus à un cours moyen pondéré de 44,05 dollars

Donc, et si l'info est vraie, cela signifie que le PDG d'Intel a, au minimum, doublé la mise. :clap2:

Ce que je disais, c'est que le cours de l'action n'a pas eu une chute significative , si tu regardes les graphes dans ton lien. Bon quand tu vends 600000 actions, 2$ de changement, ça fait quelques dollars au final.
Mais son bénef il le fait sur la différence au moment de l'achat, il y a plusieurs années.
Donc c'est très stupide, il aurait pu vendre après l'annonce, faire plus ou moins le même bénef, et ne pas avoir les mêmes soucis avec la SEC

Re: [INFO] suivi et évolution du serveur

Publié : 16 janv. 2018, 09:16
par dnstouron
Les technologie de processeurs SPARC sont en voie de disparition
Oui elles sont plus performantes que les architecture X86/X64 mais bien plus coûteuse et c'est pour ça qu'aucun particulier n'a ça chez lui et que les professionnels essayent de sortir ces technologie depuis 5 à 10 ans ...

Re: [INFO] suivi et évolution du serveur

Publié : 16 janv. 2018, 10:32
par kawasutra
Elle étaient plus performantes… :ange:
Le hard à bien changé depuis et la taille des caches, la vitesse des procs font que l'architecture risk et cisc font jeu égal de nos jours.
Tu prends un vieux mac, une wii ou une xbox et tu as aussi une architecture risk au niveau du processeur; ce qui fait que des millions de particuliers l'utilisent tous les jours.
Par contre, il est possible que cette architecture ne soit pas concernée pour ces failles de sécurité; à voir…

Re: [INFO] suivi et évolution du serveur

Publié : 16 janv. 2018, 10:38
par kopp
Je ne suis pas certain que ça depende du choix risc/cisc, plutot d'autres choix architecturaux
While Intel systems are the ones known to have the defect, they may not be the only ones affected. Some platforms, such as SPARC and IBM's S390, are immune to the problem, as their processor memory management doesn't need the split address space and shared kernel page tables; operating systems on those platforms have always isolated their kernel page tables from user mode ones.

Re: [INFO] suivi et évolution du serveur

Publié : 16 janv. 2018, 10:55
par kawasutra
Si, c'est lié.
C'est des vieux souvenirs mais le risk, c'est un jeu d'instructions réduit et de taille fixe permettant l'exécution de chacune d'elle en un coup d'horloge.
Donc, pas besoin de paginer ou autre.
Il me semble que d'autres trucs comme les calculs arithmétiques étaient en dur dans le proc mais faudrait vérifier, enfin, si on a la fibre de l'archéologie informatique… :wink:

Re: [INFO] suivi et évolution du serveur

Publié : 16 janv. 2018, 11:11
par dnstouron
Les pc MAC ont longtemps étaient avec des processeur de type SPARC ( architecture RISK) et à cadence moins élevé ils étaient bien plus performant que les classiques processeurs X86-X64

MAC a depuis basculé aussi dans le monde des architectures X86-X64 pour des raisons de coût/performance ( quoique coté clients ils ont pas vu de différences de coût :siffle: )

Sinon en recherchant sur la toile IBM ( gros consommateur de processeur RISK) a annoncé que ces serveurs POWER7 et POWER8 sont concernés par ces failles donc mêmes les architectures RISK sont concernés

Re: [INFO] suivi et évolution du serveur

Publié : 16 janv. 2018, 11:39
par kopp
là ça commence à tout mélanger entre type d'architecture et architecture.
Apple n'a jamais utilisé de processeur SPARC, mais des PowerPC d'IBM pendant une dizaine d'année, succédant au Motorola 68k et suivi par les processeurs Intel.

Le fait que les POWER 7 et 8 soient affectés montrent bien que ce n'est pas seulement lié au choix RISC/CISC. Et apparemment, SPARC n'est pas totalement immunisé non plus (ou du moins seulement à l'un des deux)

Dans tous les cas, on diverge, et ça ne résoudra pas le problème.

Re: [INFO] suivi et évolution du serveur

Publié : 29 janv. 2018, 07:57
par kopp
Ah, la neige a enfin disparu \o/

Re: [INFO] suivi et évolution du serveur

Publié : 31 janv. 2018, 04:14
par schwomp
Hello ! :D

Prochaine étape pour les forums (GPZ & ER5) : basculer le SSL sur H2O.

==> the optimized HTTP/1.x, HTTP/2 server

Vous n'en avez pas entendu parler et c'est normal : les "mecs" se concentrent principalement sur le code.

Version courte : je vais commencer par m'occuper de la terminaison SSL (et HTTP/2).

La virtualisation permettant de segmenter les tâches, on va faire cela pas à pas.

L'idée, à terme, est de basculer vers une stack "HVAPM" soignée aux petits oignons via Debian 9.

==> H2O, Varnish, Apache, PHP, MariaDB

Concernant HAProxy, on verra ça plus tard.

Bref, je commence par H2O.

A+

Re: [INFO] suivi et évolution du serveur

Publié : 31 janv. 2018, 07:32
par dnstouron
sur ce coup là je suis largué :mrgreen:
mias comme tu sais ce que tu fais :kiss:

Re: [INFO] suivi et évolution du serveur

Publié : 31 janv. 2018, 09:40
par papy_is_back
schwomp a écrit :. . . Bref, je commence par H2O. . .
Moi aussi, le matin.

Re: [INFO] suivi et évolution du serveur

Publié : 02 févr. 2018, 01:14
par schwomp
Plop ! :D

dnstouron a écrit :sur ce coup là je suis largué :mrgreen:

Meuh non, pas de panique, on prends les mêmes d'autres et on recommence.

Pour faire court, c'est juste une grosse mise à jour de la plate-forme web.

Les composants/logiciels changent mais le but reste le même : être à jour et améliorer les perfs.

Actuellement, je consulte le forum via le serveur H2O en HTTP/2 (histoire de vérifier que ça marche).

Après, comme avec tout nouveau logiciel, il faut comprendre pourquoi ça marche. :roll:

C'est plus ou moins long : le temps de se cogner la doc et d'utiliser Google pour comprendre les termes/configurations un poil compliqués.

Ensuite, et après les derniers tests, on déploie sereinement.

Le processus global va être assez long : je dois "reconstruire" tous les containers à partir d'une image Debian 9 "minimale".

Pour chaque container, tout doit être automatisé au maximum avant de passer en prod : gestion/archivage des logs, sauvegardes, programmes annexes, etc.

Mais ce qu'il y a de sympa avec la virtualisation, c'est que l'on peut avancer/progresser pas à pas.

Et, en cas de souci, on peut revenir à tout moment sur une ancienne version stable, histoire de ne pas s'arracher les cheveux.

papy_is_back a écrit :Moi aussi, le matin.

Mmmmh... Même pas un petit café-calva ? :mrgreen:


Si vous avez des questions, n'hésitez pas : je vais continuer à poster dans ce topic pour vous tenir informés.

A+

Re: [INFO] suivi et évolution du serveur

Publié : 08 févr. 2018, 01:27
par schwomp
H2O : mangez-en, c'est bon pour le Kama (HTTP/2)

=> H2O - the optimized HTTP/1.x, HTTP/2 server

Je n'ai pas encore fini de "défricher/tester" les directives mais une chose est sure : ça envoie du lourd.

Le programmeur principal est, sauf erreur, Japonais.

Il maitrise l'Anglais (à côté de lui je suis un pur débutant).

Bref, la prochaine étape, pour ceux qui le souhaitent, est de basculer le forum sur ce serveur web.

Si vous disposez d'une adresse IP fixe (bouygues, free, fdn, autre) et que vous souhaitez testez le "futur" concernant le forum, envoyez-moi un mail :

schwomp [AT] gpzdreamteam [DOT] com

Au pire, ça marchera pareil, au mieux la latence sera meilleure. :wink:

A+

Re: [INFO] suivi et évolution du serveur

Publié : 09 févr. 2018, 09:05
par jennygpz500
schwomp a écrit :
08 févr. 2018, 01:27
(...)

Rien à voir avec ce que tu as dit précédemment, par contre j'ai remarqué que lorsque je réponds en citant quelqu'un sur un topic, ma réponse n'apparaît pas sur le tchat. Alors que si je réponds sans citer personne, la réponse apparaît.
Suis-je la seule ? Est ce un bug de pouvoirs ? :lol: