Maintenances et Incidents
Fil des billets
jeudi 2 juillet 2009
Par Arti le jeudi 2 juillet 2009, 16:12
Chers Clients,
Comme certains d'entre vous ont pu le constater, nous avons subi une panne de 11h30 à 15h30 environ aujourd'hui.
Le gestionnaire en charge du datacentre dans lequel est hébergée
l'une de nos salles machines a fait effectuer une maintenance sur un
équipement électrique.
Une erreur humaine du prestataire a fait que l'ensemble du datacentre
s'est retrouvé privé d'électricité pendant quelques minutes.
La panne a impacté de nombreux acteurs sur internet (Dailymotion,
SkyBlog, Pixmania...), dont une partie de nos clients.
Le système de basculement automatique s'est normalement opéré de
cette salle vers une autre de nos salles, jusqu'à une certaine limite
malheureusement atteinte assez rapidement. Les raisons sont multiples :
panne de grande ampleur très rarement constatée, choix d'une montée en
charge progressive des autres salles au lieu de les remplir d'un coup,
processus de relance des serveurs perfectible, succès énorme de notre
opération de test gratuit, bref, un enchaînement de choses qui ont
causé cette coupure pour certains d'entre vous.
Il va sans dire que ce qui est de notre responsabilité sera revu,
avec par exemple, un remplissage plus rapide des autres salles
(l'opération de promotion sur l'hébergement nous y aide grandement), le
script de relance déjà en cours d'optimisation (dans le cas où les
dieux de l'électricité ou le prestataire du datacentre nous en
voudraient encore).
Il est également évident que nous vous remboursons cette journée et
somme à votre écoute pour toute demande complémentaire. Nous allons
ajouter un jour à la date de validité de l'ensemble des ressources
affectées, dans le courant de la journée. (maj: c'est fait)
Nous vous prions d'accepter nos excuses pour la gêne occasionnée, et
travaillons pour que la montée en charge de notre infrastructure soit à
la fois performante et maîtrisée, pour que vous puissiez TOUS profiter
de notre technologie.
Si vous souhaitez réagir, c'est par là.
Par Kalou le jeudi 2 juillet 2009, 11:31
Suite à une perte totale de courant dans un datacentre hébergeant une de nos salles serveurs (et en passant, Dailymotion, Skyblog, PixMania...), une partie de la production hébergement est impactée.
Nous travaillons actuellement sur le problème pour rétablir le service dans les plus brefs délais.
Nous reviendrons bien sûr sur tous les détails de cet incident dès que nous aurons rétabli le service.
12.20: l'incident électrique est terminé dans la salle 1, les serveurs redémarrent tous automatiquement, mais au nombre de serveurs concernés, le temps de rétablissement maximum pour l'ensemble des clients impactés sera de plusieurs dizaines de minute.
12:50: le processus suit son cours, nous vérifions que les serveurs redémarrent correctement.
15:30: les serveurs sont maintenant tous redémarrés, par contre il en reste quelques uns, ayant besoin d'une vérification fsck, dont nous allons nous occuper.
16:00: nous venons de publier un rapport suite à l'incident http://www.lebardegandi.net/post/2009/07/02/Explication-de-la-panne-qui-a-dure-4-heures
mercredi 1 juillet 2009
Par aegiap le mercredi 1 juillet 2009, 14:01
Nous sommes en train d'effectuer des interventions mineures sur les couches accès et distribution du réseau de Gandi. Pendant cette maintenance, les utilisateurs pourraient avoir de légères pertes de connectivité vers le service
hebergement de Gandi. Cela ne devrait pas durer plus d'une minute le temps que le réseau se stabilise.
Veuillez nous excuser pour la gêne occasionnée.
Update: cette intervention est maintenant terminée. (15h15 CEST)
mardi 30 juin 2009
Par aegiap le mardi 30 juin 2009, 15:44
Suite à un incident léger sur la plate-forme Gandimail, les emails en réception pour 27 % des boites aux lettres auront quelques heures de retard (5h maximum).
Aucun email ne sera perdu.
maj : 17h15 : le retard sur la livraison des emails est resorbé.
Veuillez nous excuser pour la gène occasionnée.
mardi 23 juin 2009
Par Nicolas le mardi 23 juin 2009, 09:46
Un incident est en cours sur la plateforme Gandi SiteMaker rendant l'accès à vos sites impossible. Nous vous tiendrons informé de la situation dès que la panne aura été identifiée.
Veuillez accepter nos excuses pour la gêne occasionnée.
10:38 => incident corrigé
11:15 => nous avons lancé une opération de maintenance qui devrait dégrader le service pendant une heure maximum afin de réparer les quelques corruptions de disque engendrer par le problème de ce matin.
13:08 => maintenance terminée
lundi 8 juin 2009
Par Nicolas le lundi 8 juin 2009, 09:52
Bonjour,
Suite à un problème de fibre optique sur nos locaux de Nation, le service client est indisponible jusqu'à nouvel ordre. Veuillez nous excuser pour la gène occasionnée.
Mise à jour : Tous les outils support sont de nouveau fonctionnels et l'équipe est à fond pour absorber le retard. Merci de votre patience !
samedi 6 juin 2009
Par aegiap le samedi 6 juin 2009, 11:11
Suite à une défaillance d'équipement réseau, une partie des machines virtuelles hebergées sont injoignables. Notre équipe travaille activement à la résolution du problème.
Veuillez nous excuser pour la gêne occasionnée.
12h15 : Maintenance terminée, tout est rentré dans l'ordre.
jeudi 4 juin 2009
Par Nicolas le jeudi 4 juin 2009, 17:21
Suite au passage des opérations de transfert de noms de domaine en .FR dans le nouveau mode de transmission du Registre (Afnic), les commandes de transfert en cours échouées vont être relancées.
Nous vous rappelons que depuis le 30 mars 2009, un code d'autorisation est à demander à votre prestataire actuel pour valider l'opération. Ce code doit être renseigné dans l'interface de commande en cours, disponible dans votre compte à l'adresse :
https://www.gandi.net/admin/domaine/commandes Les demandes en échec pour une raison autre qu'un code d'autorisation invalide ou manquant vont être traitées, une par une, de manière pro-active de notre côté. Vous pouvez donc ignorer les emails automatiques vous invitant à contacter le support.
05.06.09 le processus est toujours en cours, il se poursuivra jusqu'à lundi ou mardi
Par aegiap le jeudi 4 juin 2009, 10:21
Nous allons mettre à jour notre infrastructure de réseau pendant les nuits du 4 au 5 et 5 au 6 juin 2009 en installant des nouveaux multiplexeurs optiques. Pendant ces maintenances, les services de Gandi pourront être brièvement inaccessible pour les clients (sur des periodes de 5 minutes). Toutefois la manipulation sera effectuée de manière étagée pour minimiser l'impact sur nos services.
Cette manipulation nous permettra d'optimiser notre infrastructure réseau et d'ajouter de la capacité pour les prochains mois et années qui nous permettra de continuer d'assurer la meilleure qualité de services pour nos clients.
Veuillez nous excusez pour la gène que pourrait occasionner cette manipulation.
Update: 06/06/09 07h00: ces mises à jour sont maintenant terminées.
mercredi 27 mai 2009
Par flyou le mercredi 27 mai 2009, 17:27
Suite a un gros retour de spam (backscatter) un de nos mx a réceptionné beaucoup de mails sans pouvoir les écouler correctement. De ce fait un retard dans la livraison des mails peut être ressenti dans certain cas.
Veuillez nous excuser pour la gêne occasionnée.
EDIT : La situation est revenue a la normale.
vendredi 22 mai 2009
Par flyou le vendredi 22 mai 2009, 19:23
Suite à une indisponibilité du registre gérant les extensions .CC, .TV, .NAME, les créations sont retardées et les opérations courantes (whois, changement DNS) sont indisponibles.
EDIT : La situation est revenue à la normal, veuillez nous excuser pour la gène occasionnée.
mardi 12 mai 2009
Par flyou le mardi 12 mai 2009, 11:39
Suite à un problème sur une des unités de stockage du gandimail nous sommes obligés d'effectuer une maintenance d'urgence.
Des perturbations peuvent survenir pendant cette maintenance pour les clients étant sur cette unité.
Veuillez nous excuser pour la gêne occasionnée.
Edit 14:18: La maintenance est toujours en cours.
Edit 20:36: L'unité de stockage ayant subit une maintenance a mal réagit à la remonté du service. Une quasi indisponibilité du service à impacté les clients sur cette unité. La situation ne devrait s'améliorer que vers le milieu de la nuit. Plusieurs maintenances auront lieu au cours de la nuit pour éviter que la même situation ne se reproduise demain.
Edit 23:11: Le retard dans la livraison des mails est rattrapé. Des maintenances au cours de la nuit pourraient occasionner quelques indisponibilités pendant des brefs laps de temps.
Edit 12/05 06:42: Les maintenances sont terminées.
Edit 12/05 11:22: Certains clients continuent à constater des problèmes de connexion à leurs boites et / ou un délai anormalement long dans la livraison des mails. Une intervention est en cours afin de corriger ces problèmes.
Edit 12/05 : La maintenance est terminée.
jeudi 7 mai 2009
Par Nicolas le jeudi 7 mai 2009, 09:47
Bonjour,
Suite à une maintenance cette nuit de notre prestataire de paiement, notre système de facturation pose des problèmes ce matin.
L'incident entraine des retards dans la réalisation de vos commandes. Nous travaillons actuellement pour résoudre le problème le plus rapidement possible.
Nous vous prions de nous excuser pour la gêne occasionnée.
maj (10h12):Le problème est corrigé, l'ensemble des commandes sera effectué d'ici quelques minutes.
mardi 5 mai 2009
Par aegiap le mardi 5 mai 2009, 12:36
Nous avons actuellement un incident sur un de nos routeurs de coeur de réseaux. Nous devons redémarrer l'équipement impacté. Cette opération causera quelques perturbations réseaux (flap) pendant quelques minutes, le temps que le réseau se stabilise. Cette opération impactera nos transits et nos peerings. Selon votre fournisseur d'accès, vous pourrez avoir une brève perte d'accès aux services de Gandi pendant la convergence des routes.
Veuillez nous excusez pour la gêne occasionnée.
Update (15:00) : Il semble que les problèmes rencontrés soit du a un membre du PaNAP (Point d'échange). Toutes nos connections au PaNAP sont actuellement coupées jusqu'à ce que l'incident soit résolu.
Update (18:00) : Le problème au PaNAP est maintenant résolu, toutes nos sessions bgp au PaNAP ont été remontées.
lundi 4 mai 2009
Par flyou le lundi 4 mai 2009, 10:50
Nous rencontrons actuellement un problème avec un des serveurs qui heberge les données des blogs.
Nous travaillons à la résolution du problème.
Veuillez nous excuser pour la gêne occasionnée.
Edit : Le service des blogs est revenu à la normale.
mercredi 29 avril 2009
Par aegiap le mercredi 29 avril 2009, 12:53
L'accès au service Gandimail en POP3 est légèrement perturbé. Nous travaillons activement à la résolution du problème.
Maj: problème corrigé
L'équipe technique
mardi 21 avril 2009
Par aegiap le mardi 21 avril 2009, 12:03
La création et la mise à jour des serveurs en GandiAI est actuellement retardée par un problème sur le serveur de packages. Nous travaillons à la résolution du problème.
L'équipe technique.
edit: Les distributions ubuntu gutsy 7.10 n'étant plus supportées, nous les mettons à disposition sur un repository
dédié. Ce repository est en cours de synchronisation et sera complètement disponible dans la soirée.
Les installations GandiAI reprendront sans intervention de votre part à ce moment.
Les experts pourront mettre à jour leur source apt (/etc/apt/sources.list) en utilisant ces nouveaux points de
distribution:
deb http://mirrors.gandi.net/ubuntu-old gutsy main universe multiverse
deb http://mirrors.gandi.net/ubuntu-old gutsy-security main universe multiverse
deb http://mirrors.gandi.net/ubuntu-old gutsy-updates main
deb http://mirrors.gandi.net/gandi/ubuntu gutsy main
edit: le problème est désormais corrigé
mercredi 15 avril 2009
Par Kalou le mercredi 15 avril 2009, 09:22
Une maintenance corrective est effectuée ce matin sur notre API hosting.
En conséquence, les opérations de base (création, arrêt/démarrage de VM, attachement/détachement
de disque, ajout/retrait de mémoire/cpu) pourront être retardées (15/30 minutes) pendant cette
période.
edit: la maintenance maintenant terminée n'a pas impacté vos opérations
vendredi 3 avril 2009
Par flyou le vendredi 3 avril 2009, 04:02
Suite à des problèmes techniques chez Global Crossing nous avons subit la perte de deux de nos transit.
Bien que le trafic ait été transféré vers nos autres connexions transitaires, quelques clients aurait pu constater une légère coupure de connectivié pendant que les routes sur Internet aient reconvergé.
Les deux connexions ont été coupés à 02:48 (CET) et ont été rétablies à 04:45 (CET).
Veuillez nous excuser pour la gêne occasionnée.
Cet incident est maintenant résolu.
lundi 30 mars 2009
Par Arti le lundi 30 mars 2009, 10:48
Service(s) suspendu(s)
30 mars 2009 : En vue des changements de procédures et du passage à EPP,
l'AFNIC suspend sa chaîne de production à partir de 10h pour une durée
estimée à 6 heures. À la fin de l'intervention, la chaîne de production
reprendra son cours normal progressivement avec une surveillance accrue.
Pour toutes informations, veuillez consulter http://www.afnic.fr/operations.
Tous les formulaires sont bien reçus mais les émissions des numéros
d'ordre et des tickets correspondants seront opérées à la fin de
l'intervention.
vendredi 27 mars 2009
Par aegiap le vendredi 27 mars 2009, 16:45
Ce soir (vendredi 27 mars) aura lieu à 23h00 (CET) une maintenance sur un des serveurs de Gandimail. Cette opération durera environ une heure. L'accès aux emails par IMAP/POP3 sera perturbé. La réception de mail ne sera pas impactée.
L'équipe technique de Gandi.
mercredi 25 mars 2009
Par Mikael le mercredi 25 mars 2009, 13:12
Nous allons effectuer deux modifications mineurs sur notre politique de routage réseau aujourd'hui à 14:30 et 15:30. Pendant ces modifications, vous pourrez subir deux courtes (60 à 90 secondes) interruptions de service.
Nous nous excusons par avance de la gène occasionné.
UPDATE: l'Intervention est terminée
Par flyou le mercredi 25 mars 2009, 11:33
Nous rencontrons actuellement quelques difficultés sur le webmail qui provoquent des lenteurs.
Nos équipes sont actuellement en train de travailler sur le problème.
Mise à jour : Le problème est maintenant fixé. (14h00 CET)
Veuillez nous excuser pour la gêne occasionnée.
lundi 23 mars 2009
Par flyou le lundi 23 mars 2009, 14:59
Une maintenance aura lieu mardi 24 mars de 11:00 PM CEST à 11:30 PM CEST. Durant ce laps de temps, quelques perturbations pourraient survenir sur la plateforme mail.
Veuillez nous excuser pour la gêne occasionnée.
Par Arti le lundi 23 mars 2009, 10:08
Depuis 7h30 ce matin, les blogs subissent d'énormes lenteurs d'accès à cause d'une charge importante des bases de données. Le problème est identifié et en cours de résolution par nos ingénieurs. Veuillez nous excuser pour la gène occasionnée.
Update 11h30 : Les accès sur les blogs sont redevenus normaux.
