AWS is van plan de elektriciteits-redundancy te verbeteren, evenals de load balancing en de manier waarop het communiceert op het moment dat er iets misgaat met zijn cloud.
In een analyse legt het bedrijf uit wat de oorzaak was voor de storing die gevolgen had voor de beschikbaarheid van Amazons EC2 (Elastic Compute Cloud), EBS (Elastic Block Store), the RDS-database en Amazons netwerk. De storing begon in de ochtend van 7 augustus toen Amazons elektriciteitsbedrijf te maken kreeg met problemen.
Toch geen blikseminslag
Aanvankelijk werd de schuld gelegd bij een blikseminslag, maar inmiddels denkt het elektriciteitsbedrijf dat dat toch niet de reden was. Volgens Amazon wordt het onderzoek nog voortgezet.
Normaalgesproken wordt de vraag bij stroomuitval direct overgenomen door backup-generators. Maar in dit geval weigerde één van de Programmable Logic Controllers (PLCs) dienst, met als gevolg dat sommige generatoren eveneens uitvielen, aldus Amazon. Het bedrijf neemt maatregelen om dit in de toekomst te voorkomen.
EBS
De grootste problemen deden zich voor bij EBS, waar data worden opgeslagen voor EC2. Na de storing bleek de hoeveelheid data die verwerkt moesten worden, opeens te veel voor de nodes.
Toen gerelateerde nodes geen stroom meer kregen, moest Amazon de betreffende data herstellen met behulp van recovery snapshots. Dat bleek een tijdrovend proces. Op 10 augustus waren 98 procent van de recovery snapshots gereed. De rest moest handmatig gebeuren, aldus Amazon.
Het bedrijf heeft zich voorgenomen om de hersteltijd bij een volgende storing aanzienlijk te bekorten. Niet alleen de stroomstoring vormde een probleem, ook softwarefouten en menselijke fouten speelden een rol.
Communicatie
Hoe klanten een storing ervaren, hangt nauw samen met hoe goed het bedrijf hen op de hoogte houdt.
"Klanten maken zich vanzelfsprekend zorgen over de tijd die gemoeid is met het herstellen van de schade en vragen zich af wat ze in de tussentijd moeten doen", schrijft Amazon. Hoewel het bedrijf naar eigen zeggen zijn best deed om klanten op de hoogte te houden, erkent het wel dat er ruimte is voor verbetering.
Zo had Amazon sneller extra personeel aan de support-afdeling moeten toevoegen. Ook moet het makkelijker worden voor gebruikers om te zien wat de impact van de storing op hen is, aldus Amazon. Het bedrijf werkt aan tools die dat laatste mogelijk moeten maken en verwacht die binnen enkele maanden klaar te hebben.
-
-
Er zijn nog geen reacties.Reageer
Preview