Google doskonale wie co sprawi, gdy Ziemię zaatakują Marsjanie

Google bardzo dobrze wie, co zrobi, wówczas gdy Ziemię zaatakują Marsjanie

Gdyby na Ziemi zjawili się nagle Obcy lub gdyby Kalifornia, gdzie Google dzierży swoją siedzibę, została zalana przez gigantyczne tsunami, Yahoo chce być pewny, iż nadal będzie mógł zapewniać swoje usługi.

Te wszystkie scenariusze testuje szczególny 10-osobowy zespół inżynierów – psują procedury, systemy jak i również urządzenia. Tylko po wówczas, by zobaczyć, co się wydarzy.

Zadaniem owego zespołu jest upewnienie się, że strony i usługi Google'a będą działały obojętnie od tego, jaka katastrofa spotka Ziemię lub Kalifornię.

Zespół do zajęć specjalnych atakuje z zaszokowania, testuje cierpliwość, odporność jak i również gotowość do działania przy trudnych warunkach programistów, managerów i HR-owców.

Ta wyjątkowa grupa inżynierów wówczas drużyna DiRT (Disaster Recovery Testing; w wolnym tłumaczeniu: zespół ds. testowania wznawiania działań po katastrofach). Na jej czele stoi Kripa Krishnan, która absorbuje się „psuciem” Google'an od prawie 10 lat.

Foto: Google Developers / YouTube Kripa Krishnan, szefowa zespołu DiRT

Nabuzowani kofeiną

Wspomniane katastroficzne scenariusze mogą zabawiać, gdy rozmawia się na temat nich przy kawie. Jednak w rzeczywistości to, jakie możliwości robi Krishnan i do niej współpracownicy, jest niezwykle istotne.

Gdy DiRT wykonuje testy, „grzebie” w prawdziwych, aktywnych systemach i bazach danych. Jeśli te testy pójdą za daleko jak i również Google wpadnie w rzetelne tarapaty, firma może być narażona na ogromne straty finansowe i… wściekłość użytkowników.

Krishnan opowiada Business Insiderowi, że przed dowolną próbą, jaką przeprowadza ze swoim zespołem, zbiera każdego w specjalnych sztabach, które Google ma na całkowitym świecie. Gromadzi się w nich około 20-30 osób. Każda zazwyczaj pije wcześniej hektolitry kawy, wszelcy są pobudzeni i nadzwyczaj zdenerwowani.

Nie za każdym razem wszystko idzie zgodnie wraz z planem. I dokładnie o to chodzi. W takich momentach poziom stresu wzrasta jeszcze bardziej.

Krishnan opowiada o jednej z kwestii, w której testowana miała stanowić sieć. Gdyby test się nie powiódł, spora część usług Google’a stałaby się niedostępna. W trakcie przeprowadzania eksperymentu programiści zauważyli, że jedna z popularnych programów, której używają miliony jednostek, zaczyna reagować z sporym opóźnieniem.

Zespół nie zaakceptować był pewien, czy wówczas ich działania były owego przyczyną, ale musiał zdecydować, czy przerwać ćwiczenia bądź nie, co również mogło doprowadzić do potężnych problemów z siecią.

Zaryzykowali. Ostatecznie okazało się, że to nie oni spowodowali ten problem.

- Ale te 15 minutek, w trakcie których zastanawialiśmy się, czy nie naraziliśmy firmy na poważne kłopoty, były wypełnione wściekłymi okrzykami, pojawiły się też łzy - wspomina szefowa DiRT.

Problemy z telefonem

Zespół sprawdza też reakcję podwładnych Google'a w bardziej przyziemnych sytuacjach. Pewnego razu ćwiczyli scenariusz, w którym globalna sieć w ogóle miał nie funkcjonować, co oczywiście sprawiło, iż nie działał np. Yahoo Hangouts. Pracownicy mieli się przerzucić… na zwykłe, stacjonarne telefony i wykorzystać gryzie, by zrobić telekonferencję. Ale okazało się, że nie zaakceptować wiedzieli za bardzo jakim sposobem to zrobić. Nie zaakceptować mieli pojęcia jaki nr wybrać, by połączyć się z kimś spoza przedsiębiorstwa i rozpocząć telekonferencję.

Gdy już się udało, raz na kilka dni któraś z osób nagle wstrzymywała połączenie, zmuszając w związku z tym pozostałych do tego, by słuchali muzyki „na czekanie”.

Google na czarną, niesłychanie czarną godzinę, ma także telefony satelitarne. Czasy temu, firma kupiła hałasuje dla kilku najważniejszych programatorów, by zawsze można się było z nimi scalić, zwłaszcza w sytuacji jakiejś katastrofy.

Ale kiedy zespół DiRT symulował sytuację, w jakiej Kalifornię nawiedza trzęsienie Ziemi, nikt nie potrafił ich prawidłowo wykorzystać. Programiści nie mogli ich odszukać, potem okazało się, że wiele z nich jest rozładowanych lub jedynym rodzajem na znalezienie sygnału wydaje się być wspinaczka na dach. Ale podczas trzęsienia ziemi nie jawi się być to najbezpieczniejsze wyjście.

- Gdybyśmy nie przetestowali takiego scenariusza, nie mielibyśmy pojęcia o tych każdego problemach i prawdopodobnie kupowalibyśmy kolejne telefony satelitarne - przyznaje Krishnan.

Kosztowny olej napędowy

Innym razem DiRT rzucił wyzwanie pracownikom centrum danych. Zostali poinformowani, że przyszła powódź i serwery muszą zostać przełączone na zapasowy generator zasilany… olejem napędowym. Musieli szybko zakupić ogromną ilość tego powietrza.

Ten eksperyment proch sprawdzić, czy pracownicy mają świadomość, że w unikatowych sytuacjach mogą uaktywnić wyjątkową procedurę i sięgnąć po fundusze „ratunkowe”.

Nie mieli. Za każdym wspólnie, gdy zespół DiRT informował ich o tym, że powódź przybiera na sile lub że w innym pokoju wybuchł pożar, informatycy rzucali kreatywne pomysły na tek krok, w jaki sposób osiągnąć pieniądze na zrealizowanie pierwotnego zadania, czyli zakup oleju napędowego.

Zwrócili się o pomoc do lokalnej społeczności, ktoś zaproponował, by skorzystać z karty kredytowej z potężnym limitem. Nie zadzwonili niestety do osoby, która przesłałaby im w takiej sytuacji dodatkowe pieniążki. Ale i nie pozwolili, by strona wyszukiwarki padła.

- Nasi osoby traktują te zadania poważnie - zapewnia Kripa Krishnan.

Inżynieria chaosu

Google nie jawi się być jedyną dużą firmą technologiczną z Doliny Krzemowej, jaka sprawdza różne scenariusze. Niektóre zdecydowały się nawet powiązać siły i wymienić dobrymi praktykami. Swoją młodą dyscyplinę nazwali „inżynierią chaosu”.

Te osoby pracują obecnie nad tym, żeby zautomatyzować część testów.

- W tym chwili problemem jest dla naszą firmę skala działalności. Realizujemy setki testów, ale istotną wiedzę nabywa tylko zdefiniowana liczba osób. Dlatego szukamy teraz sposobu, by cząstka naszych działań zautomatyzować. Frapujemy się, jak wciąż trochę psuć tak, by systemy za każdym razem wracały do pracy.

Tagi: Bing Komentując korzystasz wraz z narzędzia Facebooka. Publikowane komentarze są prywatnymi opiniami Użytkowników. Aby zgłosić naruszenie – kliknij w link „Zgłoś Facebookowi” przy wybranym poście. Regulamin i zasady obligatoryjne na Facebooku znajdują się pod adresem https://www.facebook.com/policies

Polecamy

  • Piotr Kuczyński: "Jestem wściekły. Zmieniłem punkt widzenia o likwidacji OFE. W jeszcze gorsze"

  • Jeśli ktoś spóźnił się ze złożeniem PIT, być może uniknąć kary. Wystarczy czynny żal

AUTOPROMOCJI Koniec bloku reklamowego

Afera GetBack

  • Trigon TFI zmienia nazwę według aferze GetBacku

  • Afera GetBacku. Gerda Broker próbuje uciec spod topora

  • Afera GetBack. Twórca Altus TFI usłyszał nowe zarzuty

  • Zatrzymano byłego prezesa Idea Banku i kilkunastu pracowników. Chodzi o aferę GetBack

Notowanie