Kopia zapasowa w zakładzie, czyli co zrobić, zanim serwer przy hali padnie

Była sobota rano, kiedy zadzwonił do mnie kierownik zmiany. Serwer, na którym trzymaliśmy programy do centrów obróbczych, nie wstawał. Dysk w macierzy padł kilka tygodni wcześniej, nikt nie zauważył komunikatu, a tej nocy padł drugi. Kopia była. Ostatnia sprzed czterech miesięcy, na zewnętrznym dysku w szufladzie informatyka, który był na urlopie.

Odtworzenie trwało dwa dni. Brakujące programy z ostatnich miesięcy odtwarzaliśmy częściowo z pamięci sterowników maszyn, częściowo z laptopa technologa, częściowo pisaliśmy od nowa. Nikt nie stracił pracy, klient dostał towar z trzydniowym opóźnieniem. Mogło być dużo gorzej.

Od tamtej soboty uważam, że pytanie o kopie zapasowe powinien zadać sobie każdy właściciel zakładu, a nie tylko informatyk. Bo to właściciel zapłaci za przestój.

Co właściwie trzeba zabezpieczyć

Biuro zwykle ma jakąś kopię. Księgowość w chmurze, poczta u dostawcy, dokumenty na dysku sieciowym. Gorzej z tym, co żyje przy hali. Zróbcie listę i przejdźcie się z nią po zakładzie. W typowym średnim zakładzie produkcyjnym znajdziecie:

• programy do maszyn CNC i pliki technologiczne, często w kilku wersjach, z których aktualna jest tylko jedna,
• kopie programów sterowników PLC, paneli operatorskich i ustawień falowników,
• bazę systemu magazynowego lub produkcyjnego, jeśli działa lokalnie,
• dokumentację jakości: karty pomiarowe, protokoły, certyfikaty materiałowe, które trzeba przechowywać przez lata,
• rysunki i modele 3D, na podstawie których pracuje technologia,
• arkusze kalkulacyjne, które nieoficjalnie prowadzą połowę zakładu.

Ostatni punkt jest poważniejszy, niż się wydaje. O tym, jak arkusz przejmuje rolę systemu, pisałem w wydaniu o magazynie w Excelu. Taki arkusz na pulpicie kierownika magazynu to często jedyne źródło prawdy o stanach. I nikt go nie kopiuje.

Sterowniki i maszyny: najczęściej zapomniane

Programy PLC i konfiguracje maszyn to osobna kategoria. Informatyk często w ogóle o nich nie wie, a automatyk ma kopie na swoim laptopie. Gdy sterownik padnie, a razem z nim program, bez kopii maszyna stoi, aż integrator przyjedzie i odtworzy logikę. Jeśli integrator jeszcze istnieje.

Zróbcie dla każdej maszyny kartę: jaki sterownik, gdzie jest aktualna kopia programu, kiedy ją zrobiono, kto ją zmieniał ostatnio. Po każdej zmianie programu nowa kopia trafia do wspólnego repozytorium, a nie tylko na laptopa osoby, która zmieniała.

Zasada 3-2-1 w wersji dla zakładu

W informatyce od lat powtarza się prostą regułę: trzy kopie danych, na dwóch różnych nośnikach, z czego jedna poza firmą. W zakładzie produkcyjnym przekłada się to tak:

1. Dane robocze na serwerze lub dysku sieciowym przy hali.
2. Kopia lokalna na osobnym urządzeniu, najlepiej w innym pomieszczeniu niż serwer. Pożar szafy elektrycznej nie powinien zabrać obu naraz.
3. Kopia poza zakładem: w chmurze albo na nośniku wywożonym regularnie w inne miejsce.

Do tego dochodzi warunek, który w ostatnich latach stał się najważniejszy: przynajmniej jedna kopia musi być odporna na zaszyfrowanie. Ataki ransomware dotykają także małe firmy produkcyjne. Złośliwe oprogramowanie szyfruje wszystko, do czego ma dostęp z zainfekowanego komputera, łącznie z dyskiem sieciowym i podłączonym na stałe dyskiem zewnętrznym. Kopia, której nie da się zmodyfikować przez określony czas, albo nośnik odłączony od sieci to jedyne pewne zabezpieczenie.

Kopia, której nikt nie odtworzył, to nadzieja, a nie kopia

Najważniejsza lekcja z mojej soboty: posiadanie kopii to połowa roboty. Druga połowa to sprawdzenie, czy da się z niej odtworzyć dane, i ile to trwa.

Raz na kwartał zróbcie test. Wybierzcie jeden element, na przykład bazę magazynową albo folder z programami CNC. Odtwórzcie go na innym komputerze. Zmierzcie czas. Sprawdźcie, czy dane są kompletne i aktualne.

Za pierwszym razem prawie zawsze coś wyjdzie. Kopia nie obejmuje jednego folderu, bo ktoś go przeniósł. Hasło do kopii zna tylko jedna osoba. Odtworzenie bazy trwa osiem godzin zamiast jednej. Lepiej to odkryć w czwartek po południu przy kawie niż w sobotę rano przy stojącej linii.

Ile czasu możecie stać i ile danych możecie stracić

Dwa pytania, które warto zadać przy każdym systemie w zakładzie:

• Jak długo możemy działać bez tego systemu? Godzinę, dzień, tydzień?
• Z jakiego okresu możemy stracić dane? Z ostatniego dnia, tygodnia, miesiąca?

Odpowiedzi będą różne. Bez systemu magazynowego zakład wydający towar kilkadziesiąt razy dziennie wytrzyma może kilka godzin na papierze. Bez archiwum certyfikatów materiałowych przeżyje tygodnie, ale nie może go stracić. Od tych odpowiedzi zależy, jak często robić kopie i jak szybko musi działać odtworzenie. Dla jednego systemu wystarczy kopia nocna, dla innego trzeba myśleć o zapasowym serwerze.

Plan na awarię: jedna kartka

Kiedy serwer staje, nie ma czasu na szukanie instrukcji. Przygotujcie jedną stronę, wydrukowaną i powieszoną w biurze produkcji, na której będzie:

• kogo dzwonić najpierw i jaki jest do niego numer, także w weekend,
• gdzie są kopie i kto ma do nich dostęp,
• jak pracować awaryjnie bez systemu: papierowe karty wydań, ręczne listy kompletacyjne,
• kto podejmuje decyzję o wstrzymaniu wysyłek albo produkcji.

Kartkę warto przećwiczyć. Raz w roku, najlepiej w spokojny dzień, udajcie, że serwer nie działa, i sprawdźcie, czy magazyn umie wydać towar na papierowych dokumentach, a produkcja wie, skąd wziąć programy do maszyn. Takie ćwiczenie trwa godzinę i zawsze coś ujawnia.

Nie potrzebujecie do tego firmy doradczej. Potrzebujecie godziny rozmowy z informatykiem, automatykiem i kierownikiem produkcji przy jednym stole.

A co ze sztuczną inteligencją i chmurą

Często słyszę, że „wszystko będzie w chmurze, więc problem zniknie”. Częściowo to prawda: system w chmurze u poważnego dostawcy ma zwykle lepsze kopie niż serwer w szafie. Ale programy sterowników, pliki na maszynach i arkusze na pulpitach nadal zostają lokalnie. Poza tym trzeba sprawdzić, co dokładnie dostawca kopiuje i czy w umowie jest mowa o odtworzeniu danych, a nie tylko o dostępności usługi.

Podobnie z nowymi narzędziami analitycznymi. Pisałem w rozważaniach o AI w małym zakładzie, że najpierw trzeba mieć porządek w danych. Kopia zapasowa jest częścią tego porządku. Nie ma sensu uczyć modeli na danych, których jutro może nie być.

Na ten tydzień

1. Zróbcie listę danych przy hali, łącznie z programami sterowników i arkuszami.
2. Dla każdego elementu zapiszcie, gdzie jest kopia, kiedy była robiona i kto za nią odpowiada.
3. Sprawdźcie, czy przynajmniej jedna kopia jest poza zakładem i odporna na zaszyfrowanie.
4. Zaplanujcie pierwszy test odtworzenia na najbliższy miesiąc.
5. Przygotujcie jednostronicowy plan na awarię.

Kopie zapasowe to temat, który nie wygrywa żadnych konkursów na zebraniach zarządu. Wygrywa za to wszystkie soboty, w których serwer przestaje działać.