Locked Obavestenje naseg hosting operatora o incidentu zbog kojeg ne radi server

[Goldfinger]

Tekst preveden sa engleskog jezika, original na ovom linku https://prnt.sc/h8mxjf

 

 

Pozdrav,

Jutros u 7:23 ujutru imali smo veliku nestasicu elektricne energije u nasem centru u Strazburu (SBG): Nestasicu koja je ostavila tri datacentra bez struje na 3.5 sata. Datacentri SBG1, SBG2 i SBG4 su bili zahvaceni ovim incidentom. Ovo je najverovatnije najgori moguci scenario koji je mogao da nam se dogodi.
Centar u Strazburu se napaja od strane 20KVA strujnog voda koji se sastoji od 2 kabla svaki dostavljajuci po 10 megavata. Dva kabla rade zajedno, povezani su na isti strujni izovr i na isti osigurac u ELD-u (Strazburska Elektricna mreza). Ovoga jutra, jedan od dva kabla je ostecen i osigurac je prekinuo dotok energije datacentrima.

Centar u Strazburu napravljen na takav nacin da moze da funkcionise, bez vremenskog ogranicenja, na generatorima. Za SBG1 i SBG4 postavili smo sistem od 2 generatora svaki od po 2 megavata, podesene na N+1 i 20kilovolta. Za SBG2 postavili smo tri grupe u N+1 konfiguraciji po 1.4 megavata svaki. U slucaju nestanka struje uzrokovanog spoljasnjim uticajem, visokonaponske celije automatski se rekonfigurisu motornim sistemom za zastitu nase serverske opreme. Za manje od 30 sekundi, SBG1, SBG2 i SBG4 datacentri mogu da imaju vracen dotok struje u nivou od 20kv. Da bi se ovakvo prebacivanje sa jednog izvora napajanja na drugo izvrsilo bez gasenja dovoda struje serverima, posedujemo UPS uredjaj koji sam moze da odrzi nesmetan dotok struje nakon prekida napajanja do 8 minuta.

Ovoga jutra motorni sistem za prebacivanje sa jednoga izvora napajanja na drugo nije radio onako kako je ocekivano. Komanda da se pokrenu pomocni generatori nije data od strane PLC-a (info https://bs.wikipedia.org/wiki/Strujni_internet). On je NSM (Normalno-opasnosno motorizovan) obezbedjen sa 20KV visokovoltaznim celijama. U kontaktu smo sa proizvodjacem i dostavljacem ovog sistema kako bismo razumeli uzrok ovog problema. Ipak, ovo je mana koja je trebala biti otkrivena tokom periodicnog simuliranja nestasice elektricne energije. Poslednji ovakav test u nasem centru u Strazburu je bio krajem maja 2017. godine. Tokom poslednjeg testa, napajali smo SBG samo iz generatora tokom 8 sati bez ikakvih problema i svakoga meseca mi vrsimo ovakve testove na pomocnim generatorima. Uprkos svemu, ovaj sistem nije bio dovoljan da izbegnemo nedostatak struje.

Oko 10 casova ujutru, uspeli smo da promenimo celije manuelno i poceli smo da napajamo datacentar ponovo iz generatora. Pitali smo ELD da iskljuci sigurnostni kabal iz visokonaponskih celija i da vrati osigurac koji je iskocio na samo jedan od dva kabla, tako da smo ostali limitirani na samo 10 megavata. ELD je izvrsio ono sta smo od njih zahtevali i struja se vratila od prilike oko 10:30. Ruteri u centru su se vracali od 10:58 pa nadalje.

Od tada, radimo na tome da obnovimo nase pruzanje usluga. Dostavljanje struje u centar omogucava serverima da se restartuju, ali procesi koji su pokrenuti na serverima moraju sami da budu restartovani. Zato svaki proces se vracao lagano od 10:30. Nas sistem za pracenje dozvoljava nam da znamo potpunu listu servera koji su uspesno podignuti kao i one koji jos uvek imaju problem. Intervenisemo na svakome od tih servera da bismo otrkili i uklonili problem koji ih onemogucava da se restartuju.

U 7:50 ujutru podesili smo kriznu jedinicu u datacentru u Rubeu (RBX) gde smo centralizovali informacije i poteze koje dostavljaju i vrse razliciti timovi na terenu. Kamion iz RBX je natovaren sa rezervnim delovima za SBG. Stigao je na destinaciju oko 5:30 popodne. Da bi pomogli nasim lokalnim timovima koji otklanjaju kvarove poslali smo dodatne timove iz naseg datacentra LIM u Nemackoj i ljude iz RBX datacentra, sve koji su mobilizovani jos od 4 sata popodne. Trentno preko 50 tehnicara rade u Strazburu da podignu servere online. Pripremamo grupe koje ce raditi i trecu smenu kao i sutradan, ako je to neophodno.

Da bi smo izbegli katastrofalni scenario kao ovakav, tokom 18 godina OVH je izgradio elektricnu arhitekturu koja moze da izdrzi svakakve vrste nestanka struje. Svaki test, svaka mana, svaka nova ideja je obogacena nasim iskustvom koje nam je omogucilo da izgradimo pouzdane datacentre kakvi su oni danas.

Pitate se, pa zasto onda ovakav kiks? Zasto nije SBG izdrzao obicnu nestasicu struje? Zasto svo iskustvo koje je OVH sakupio tokom vremena nije moglo da spreci ovu katastrofu?

Najbrzi odgovor je da je SBGova mreza nasledila sve mane u dizajnu koje su rezultat malih ambicija koje su inicijalno bile nameravane za ovu lokaciju.

Sada, dugacak odgovor:

2011. godine, planirali smo da otvorimo nove datacentre u Evropi. Da bismo testirali traznju svakog za svako trziste, sa novim gradovima i novim zemljama, izumeli smo novi nacin rasporedjivanja datacentara. Uz pomoc ove nase tehnologije nadali smo se da cemo imati fleksibilnost koja dolazi sa rasporedjivanjem datacentra bez vremenskih ogranicenja koje postavljaju dozvole za gradjenje. Inicijalno, zeleli smo da mogucnost da potvrdimo nasu hipotezu pre nego sto smo investirali u neku odredjenu lokaciju.

Eto kako, na pocetku 2012, smo podigli SBG1 datacentar napravljen od tri kontejnera. Rasporedili smo 8 kontejnera i SBG1 je bio u operativnom stanju za manje od dva meseca. Zahvaljujuci ultra-brzom postavljanju datacentara koje je zahtevalo manje od 6 meseci mi smo bili u mogucnosti da potvrdimo da je SBG zaista strateska lokacija za OVH. Do kraja 2012, mi smo odlucili da izgradimo i SBG2 a u 2016 smo pokrenuli izgradnju SBG3. Ova dva datacentra nisu bila izgradjena od kontejnera, vec su bazirane na nasoj "Tower" tehnologiji.

Izgradnja SBG2 je trajala 9 meseci a SBG3 bi trebalo da pocne da radi za mesec dana. Kako bismo odgovorili na problem nedostatka prostora, pocetkom 2013 izgradili smo SBG4 veoma brzo, baziranom na vec pomenutim kontejnerima.

Problem je taj, sto postavljanjem SBG1 u kontejnere nismo bili spremni da ovo mesto bude lokacija jednog mnogo veceg projekta. 

Napravili smo 2 greske:

1) Nismo napravili SBG lokaciju po nasim unutrasnjim standardima koji zahtevaju dve odvojene 20kilovatne elektricne table, kao sto imaju sve nase DC lokacije. To je velika investicija od oko 2 do 3 miliona evra po elektricnoj tabli, ali verujemo da je to deo naseg standarda.
2.) Izgradili smo SBG2 mrezu napajanja tako sto smo je ukopcali na mrezu od SBG1 umesto da ih ostavimo odvojene i nezavisne jedne od drugih kao sto je to u svim nasim datacentrima. U OVH, svaki broj u imenu datacentra oznacava da je mreza napajanja nezavisna od drugih datacentara. To vazi svuda osim u Strazburu.

Tehnologija gradnje u kontejnerima je koriscena samo za izgradnju SBG1 i SBG4. Zapravo, shvatili smo da datacentri u kontejnerima ne odgovaraju nasim standardima. Bazirano na rastu mreze servera u SBG-u minimalna velicina mesta mora biti ekvivalentna velicini nekoliko datacentara i time da ima kapacitet od 200,000 servera. To je razlog sto danas kada gradimo datacentar koristimo samo dva tipa za gradjenje datacentara koje smo nasiroko testirali i koji su planirani za velike projekte i pouzdanost:

1) izgradnja 5 do 6 spratova (RBX4, SBG2-3, BHS1-2) za 40,000 servera.
2) Kupovina zgrada (RBX1-3, 5-7, P19, GRA1-2, LIM1, ERI1, WAW1, BHS3-7, VIH1, HIL1) za 40,000 do 80,000 servera. 

Iako je incident od jutros izazvan od strane uredjaja koji je izradila druga firma, ne mozemo da osporimo nasu odgovornost u ovom slucaju. SBG ocekuju odredjene izmene kako bi ga podigli na standard koji poseduju nasa druga OVH postrojenja.

Tokom veceri odlucili smo sledeci plan delovanja:

1) Instalacija druge, potpuno nezavisne 20MVA elektricne table
2) Odvajanje SBG2 mreze napajanja od SBG1/SBG4 kao i separacija buduceg SBG3 od SBG2 i SBG1/SBG4
3) migracija nasih SBG1/SBG4 korisnika na SBG3
4) zatvaranje SBG1/SBG4 i razmontiranje kontejnera

Ovo je investicija vredna 4 do 5 miliona evra, koja krece da se realizuje sutra i nadamo se da ce nam omoguciti da povratimo poverenje nasih korisnika u SBG i OVH.

Nasi timovi jos uvek vredno rade da povrate usluge do zadnjeg naseg ostecenog korisnika. Kada se incident potpuno stavi pod kontrolu primenicemo SLA klauzulu iz naseg ugovora.

Veoma nam je zao zbog ovoga incidenta i zahvalni smo vam za poverenje koje ste stavili u nas.

Sva najbolje, Oktav

[Guest Ultra^]

Valjda ce brzo jbg

[*Monster*]

Ma brzo ce

[Tihovic]

Ce ce nacekamo

[Lanna]

Cu poludim eee

[Maximus]

2 minutes ago, Lejla_Sa said:

Cu poludim eee

Tocnooo to

[Micro]

Izborice se to lako .

[Emrah_Omerovic]

Dabogdom proradio u kuci ne znam sta da radim provjervam sve kad ce doci Strpljivo cekamo!

[Guest]

Au mame,ko da su ti dali hamburger da jedes,ali da ces morati kasnije da ga pojedes.....

E to je ovo,mi toliko zelimo da igramo sad na Skill Areni,ali moramo cekati....

Ali izdrzacemo nekako,samo jako !

Edited November 10, 2017 by Guest

[Rudolf.]

Kad će proraditi više,smorik se?!

 

[Danijel_Samardzija]

Ajde da brxo prodje ova kriza.

[Cipa Corleone^]

Ma server nije tol'ko bitan, OĆEMO ČETBOKS !

[Aleksandar_Edwards]

O bože, valjda će brzo  

Čeka se čeka se

 

[Nasty]

Cekamooooo

[Reper.]

Neverujem da ce skoro,kroz 5/6 dana..

[Smith]

Ses je to

[Marko_Stosich]

Ode nam skill arena u k.... ali sta smo sve preziveli, i ovo cemo! ?

[AdisKulas23]

Dosadno bez SA raje samo da hoce brzo to

 

[Deuce]

EEEEEEE taman sam hteo opet da pocnem da igram i kurac nemoze... Valjda ce ovo brzo da prodje  

 

[Guest Hulk]

Ako ne povrate do ponedeljka ima da odem tamo da in polupam i to sto ostalo , jaojjj sta bez SAAA?

[Glavonja.]

Chillamo i cekamo na TS ajmo polako ;D  

[Guest Velko_Ivanovic]

Ahhhh nzm sta da igram osim sampa na skill areni sve druge igre dosadne

[Jack_Richart.]

Sta radit bez SA?

[Guest Joohny]

Skill Arena samp kaki Donald Tramp  <3 

[Laki_Scalleta]

Samo mi da udjemo na voljunu SA