Bonjour,

Les retours de vacances associés à une charge anormale causent des latences sur le service Gandi Mail ce matin.
Nos ingénieurs travaillent actuellement sur le problème pour désengorger le service le plus rapidement possible. Nous nous excusons pour la gêne occasionnée.

Edit :
suite à la dégradation des performances des serveurs Mails de Gandi, nous procédons à un redémarrage de ceux-ci, qui devrait aboutir à une résolution du problème. Aucun email ne sera perdu, mais votre client mail ne devrait pas pouvoir joindre nos machines durant 5 à 10 minutes.

mardi 15.00: redémarrage effectué, le service devrait progressivement revenir à la normale

mercredi 10.00: la charge est malheureusement encore anormale ce matin, nos ingénieurs travaillent à désengorger le service le plus rapidement possible

mercredi 14.00, Explications : Un bug dans notre solution Mail a été identifié. En résumé, nous laissons les demandes de récupération de messages se multiplier. En cas de surcharge importante temporaire, les process ainsi engendrés se stockent et se mettent en attente les uns derrière les autres. Du coup, les boites se verrouillent pour répondre à cette demande incessante et ont du mal à se déverrouiller pour accepter les mails qui arrivent. L'effet de bord, c'est que vous êtes impatient de récupérer vos messages et lancer de plus en plus souvent de requêtes de récupération (POP) qui accentuent le problème. Voila pourquoi le redémarrage d'hier a amélioré la situation. Seulement, le problème d'affluence se représente aujourd'hui.

Nos développeurs sont donc sur la réparation de ce bug et nos administrateurs systèmes luttent pour vous rendre la main. La solution temporaire va inclure une limitation du nombre de requête dans le temps : cela signifie que si vous tentez de récupérer vos mails et que vous n'obteniez pas de réponse, nous vous conseillons d'attendre cinq minutes avant de réessayer. Dans tout les cas, le fait d'insister et de faire des requêtes toutes les 10 secondes ne vous aidera pas, bien au contraire. Nous vous prions de bien vouloir accepter nos excuses pour la gêne occasionnée et nous vous assurons que nous mettons tout en oeuvre pour régler définitivement ce problème.

Jeudi, 11.29 :

Nous allons faire une communication plus large sur le blog, mais voilà
un retour rapide sur la situation.

Le problème de charge est résolu ce matin. Nous sommes encore en train
de délivrer des messages datant d'hier à certains clients.

Nous avons visiblement un bug kernel sur les bras (sur NFS), mais nous
avons un moyen de le contourner maintenant. Nous sommes en train
d'essayer de l'identifier très précisément pour pouvoir le patcher.

Pour ceux d'entre vous qui sont encore en difficulté, nous avons besoin
que vous nous contactiez sur mail@support.gandi.net, pour que nous
puissions essayer de vous aider individuellement ET nous apporter plus
d'informations.

Nous vous présentons nos plus sincères regrets sur la situation de ce
service, qui a effectivement connu ces deux derniers jours un
fonctionnement bien en deçà de nos objectifs. Le mail est un service
qui ne peut par définition être parfait (et personne au monde ne
l'est), mais nous avons une obligation de gérer un service sans grosses
pertubations récurrentes, c'est un fait. Que le service en question
soit gratuit ou pas, cela n'est pas la question. Nous parlons là d'un
service de base.

Nous avons mis tout en oeuvre depuis quelques mois (software et
hardware) pour apporter une réponse sérieuse à nos problèmes
récurrents de fiabilité de ce service en particulier. L'incident
d'hier aurait pu être évité en dépit du bug mentionné, ce qui rend
tout cela encore plus rageant. Cela ne se reproduira pas, 2009 étant
une année de consolidation de l'existant (chose sur laquelle je
reviendrai dans un prochain billet).

Ceux qui, malgré tout, continueront à nous accorder ce qu'il ont de
plus précieux, leur confiance, ne le regretterons pas. Je pense qu'une
fois passé la colère, que je partage, la majorité d'entre vous
réalisera que nous sommes toujours là : honnêtes, transparents, et
professionnels.

Jeudi dans la soirée:

Pour certains utilisateurs, nous observons toujours un retard d'environ 3h qui se résorbera dans la soirée.

Certains d'entre vous n'ont pu accéder à leur boite entre 16h et 17h: ce problème est réglé.

Nous avons identifié les bugs et problèmes liés à ces pics de charge. Nous planifions actuellement les mises à jour nécessaires pour que ce type de problème ne se reproduise plus. Nous validerons ces mises à jour à partir de vendredi.

Nous vous informerons d'éventuelles périodes de maintenance nocturnes si elles étaient nécessaires à ces correctifs.