Otkrivanje problema na serveru prije pada, ne poslije
Detekcija anomalija strojnim učenjem kroz infrastrukturu nacionalne vladine platforme
2024
Kontinuirana suradnja
Javni sektor / Infrastruktura
Početno stanje
Početna pozicija
- Ne postoji
Način otkrivanja servera u riziku prije kvara
Problemi su se pojavljivali samo nakon što je ispad već utjecao na platformu
- Raspršeno
Centralizirana vidljivost kroz produkcijske klastere
Metrike i logovi raspršeni po zasebnim alatima po klasteru
- Ne postoji
Automatska detekcija anomalija na infrastrukturnim metrikama
Pragovi su se postavljali ručno, ako i uopće, bez naučene referentne vrijednosti
- Ručno
Upravljanje životnim ciklusom indeksa za logove velikog volumena
Retencija logova i troškovi pohrane upravljali su se ad hoc
Veličina tržišta
Desetci produkcijskih servera kroz više Elasticsearch klastera koji podržavaju nacionalnu digitalnu vladinu platformu
Produkcijska infrastruktura nadzirana kroz platformu
Okvirni budžet
50.000 - 199.999 €
Struktura budžeta
Kategorija proračuna prema Clutch.co kategorizaciji troškova projekta. Točni iznosi zaštićeni su ugovorom o povjerljivosti.
Kontinuirana suradnja
Kontinuirano
- 1
Faza 1
Istraživanje i arhitektura klastera/indeksa kroz okruženja
- 2
Faza 2
Infrastruktura kao kod (Terraform/Terragrunt) za Elastic konfiguraciju
- 3
Faza 3
ML zadaci detekcije anomalija i upozorenja na infrastrukturnim i aplikacijskim logovima
- 4
Faza 4
Kontinuirane operacije: dashboardi, životni ciklus indeksa, uvođenje kroz više okruženja
Infrastruktura nacionalne platforme nije imala sustav ranog upozoravanja
Nacionalna digitalna vladina platforma oslanja se na više produkcijskih Elasticsearch klastera i desetke servera kroz razna okruženja. Problemi u ponašanju CPU-a, memorije, diska ili mreže obično su se uočavali samo nakon što su već utjecali na platformu, bez automatiziranog načina da se neobični obrasci uoče ranije.
Nije postojao automatiziran način da se server u riziku otkrije prije nego stvarno padne
Metrike i logovi raspršeni su kroz klastere i okruženja, bez jedinstvenog pregleda
Nije postojala naučena referentna vrijednost normalnog ponašanja, tako da su se anomalije morale uočavati ručnim pregledom
Infrastrukturni i aplikacijski logovi velikog volumena zahtijevali su upravljanje životnim ciklusom radi kontrole troškova pohrane na nacionalnoj razini
Detekcija anomalija strojnim učenjem kroz cijelu infrastrukturu
Izgradili smo i održavamo Elastic Stack observability slojeve kao infrastrukturu kao kod, s ML detekcijom anomalija koja kontinuirano uspoređuje ponašanje servera, mreže i aplikacija uživo s naučenom referentnom vrijednosti - prijavljujući neobične obrasce prije nego postanu ispadi.
Infrastruktura kao kod
Elasticsearch i Kibana konfiguracija - predlošci indeksa, politike životnog ciklusa, uloge, dashboardi - upravljani i verzionirani kroz Terraform i Terragrunt.
ML detekcija anomalija
Elastic ML zadaci kontinuirano ocjenjuju infrastrukturne i aplikacijske metrike u odnosu na naučenu referentnu vrijednost, prijavljujući odstupanja po ozbiljnosti.
Jedinstveni observability dashboardi
Uptime, CPU, RAM i iskorištenost diska za svaki server, vidljivo na jednom mjestu, po okruženju.
Upravljanje životnim ciklusom indeksa
Automatske hot/warm/cold/delete politike održavaju logove velikog volumena troškovno učinkovitima bez ručnog čišćenja.
Uvođenje kroz više okruženja
Isti observability stack radi dosljedno kroz demo, stage, UAT i produkciju.
Kako se promijenio nadzor infrastrukture
Nadzor je prešao s reaktivne provjere po klasteru u jedan proaktivan, ML-vođen observability sloj koji pokriva cijelu platformu.
Otkrivanje problema u infrastrukturi
Before
Reaktivno, nakon utjecaja
After
Proaktivno, putem ML ocjenjivanja anomalija
Neobično ponašanje prijavljuje se prije nego postane ispad.
Observability kroz klastere
Before
Raspršeno, po klasteru
After
Jedinstveni dashboardi kroz okruženja
Jedno mjesto za pregled zdravlja servera kroz cijelu platformu.
Elastic Stack konfiguracija
Before
Ručne promjene, po klasteru
After
Infrastruktura kao kod, verzionirano
Svaka promjena predložaka indeksa, politika životnog ciklusa i uloga pregledava se i ponovljiva je.
Upravljanje pohranom logova
Before
Ručno, ad hoc retencija
After
Automatizirane politike životnog ciklusa indeksa
Trošak pohrane raste predvidljivo s rastom volumena logova.
Manje iznenađenja, na infrastrukturi koja si ne može priuštiti ispade
Proaktivan naspram reaktivnog nadzora
anomalije se danas otkrivaju prije utjecaja, ne poslije
Inženjersko vrijeme vraćeno iz reaktivnog odgovora na incidente
procijenjeno ušteđeno vrijeme otkrivanjem anomalija prije nego eskaliraju u ispade
50.000 - 199.999 €
Povrat ulaganja
Ostvareno kroz smanjeno vrijeme odgovora na incidente i manje reaktivnih eskalacija
Metoda
Usporedba reaktivnog, ručnog nadzora prije i automatizirane ML detekcije anomalija poslije
Pouzdanost
Srednja - temelji se na operativnoj usporedbi, a ne na revidiranom izvještaju o incidentima
Riječ je o kritičnoj nacionalnoj infrastrukturi - detaljne brojke incidenata i uptime-a povjerljive su.
Problemi u infrastrukturi otkriveni prije nego postanu ispadi
Observability platforma je u produkciji, nadzire infrastrukturu nacionalne vladine platforme kroz više okruženja. Stvarne brojke incidenata u vlasništvu su klijenta; brojke u nastavku opisuju promjenu u načinu rada.
Otkrivanje servera u riziku prije kvara
Prije
Nije bilo moguće
Poslije
Kontinuirano ML ocjenjivanje anomalija
U produkciji
Observability kroz produkcijske klastere
Prije
Raspršeno, po klasteru
Poslije
Jedinstveni dashboardi kroz okruženja
Kontinuirano
Upravljanje Elastic Stack konfiguracijom
Prije
Ručno, po klasteru
Poslije
Infrastruktura kao kod
Od uvođenja
Upravljanje životnim ciklusom logova
Prije
Ručno, ad hoc
Poslije
Automatizirane politike životnog ciklusa indeksa
Kontinuirano
“Prije smo za server u kvaru znali iz pritužbi, ne iz sustava. Danas detekcija anomalija prijavi to prva.”
Voditelj infrastrukture
Povjerljivo
