Automaatteataja

… ehk lembelugu arvutiga.

Pühapäeva hommik. Süsadminni või devopsi seisukohalt on tehniliselt tegu reede õhtuga, kus laivi ei torgita. Aga pannkook keres, matetass ees, miks mitte väike apt install productionis. No miks mitte eksole! Prr-prr vuriseb ekraanil teateid, et värgid toimuvad, uuendused paigalduvad, asjad liiguvad … kuni kärinal lendab mingi megabait põigiti kodaratesse – locale-whatever pisike fail kuskil pakis write error. Hmm… Ok, mingi käsk veel, mis soovitab arvutile fsck-fsck-suki-suki teha. Asjad hakkavad põnevaks tõmbuma. Tubli lurin matet kerre, teeme siis serverile väikse suki-suki. Suki ütleb, et selle plokiga ja tolle plokiga on asjad nüüd sedapsi. Ja neid sedapsi plokke on üsna seitseteist. Ahsoo.

Astun tausta andmiseks sammu tagasi – mis masin see “laiv” on, mida ma siin pühapäeva hommikul nii muuseas natuke torkisin? “Eraviisiline” server, mis jooksutab igasugu eraeluks hädavajalikke asju. Blogi (jah, seesama veebileht siin), nutikodu mingeid graafikuid grafana otsas, mqtt brokerit, andmebaasiserverit, InfluxDB-d home assistanti andmete “mirroriks”, ftp-d ja veel mingeid pisemaid pudinaid. Pole iseenesest palju, napilt kahekohaline arv konteinereid 🙂

Ealised iseärasused on samas sellised, et VPS instants ise on pea 10a vana ning asjad seal peal kohati veel vanemad. Ehk siis selle setup on kerge spagett pluss on sinna kogunenud asju, millest kohe puusalt ei teaks öelda, kas seda on veel vaja või mitte või et see üldse seal on või et milleks.

Siit jõuame sujuvalt sedapsi plokkideni tagasi. Olles järgmise lonksu matet kurku tõmmanud, hakkan peast läbi laskma asju, mis on backupitud ja mis mitte ning kuidas ja kuhu vajalikud asjad kiirelt vasakule tõsta enne kui midagi veel rohkem hapuks läheb. Ja hapuks ta läheb! Nähtavalt omaenese silme all tundub see väike debianikast kortsu vajuma – teise sessiooniga enam masinasse sisse logida ei õnnestu ja osad käsud käima ei lähe. Saan vist paar korda scp’ga mõned kataloogid vihma käest räästa alla ära kopeerida kui järgmine megabait lendab põigiti kodaratesse – scp enam ei käivitu. Käivittu! Mingi libpcre-whatever on kadunud. ls – ei midagi, sama – libwhatnot.so-6.6.6 kadunud. Midagi enam selles terminalis käima ei lähe.

Backuppidest. Tegelikult olukord backupirindel ei ole selles masinas läbinisti halb. Midagi on olemas. Alustuseks on kodukataloog giti repos ehk siis kõik seal olev skriptindus jms on tegelikult suht ok päästetavusega. Teiseks olen blogist teinud manuaalseid backuppe enam vähem alati kui olen midagi muutnud või kirjutanud. Ja õnneks need konkreetsed manuaalsed backupid ei ole ka samas masinas. Mida ei saa öelda andmebaasi backupifailide kohta – mysqldump on kenasti automaatselt jooksma seatud ja logrotate roteerib tehtud backupifaile, aga nad on samas masinas 😀 Üks õnnestunud scp asjade välja kopeerimise liigutus keskenduski nendele failidele.

Aga kuhugi välja backuppimata on ka süsteemi enda konfid ja loomulikult dockeri konteinerite persistent storaged. Ehk mingi andmekadu terendab siiski silmapiiril. Buudikatse näitas küll optimistlikku valikut “(recovery mode)”, aga kui grub käised üles kääris ja seda recovery modet mulle käima tõmbama hakkas, jäi ta siiski kuskil poole peal suht vagusi ega teinud enam piiksugi. Must tähti täis ekraan liikumatult mind, ja mina teda, põrnitsemas. Pühapäevahommikuses veel pannkoogilõhnalises toas.

Siit jõuame nüüd sujuvalt selleni, et oli selle pühapäevaga mis oli (õhtuni istusin arvuti taga, mis ta muud oli!), aga tegu oli siiski kokkuvõttes õnneliku õnnetusega – sain lõpuks masina rescue modes üles (hostingupakkuja suppordi abil) ning üllatus-üllatus ka kettale ligi. Tundub, et ikaldas ära ainult mingi osa süsteemifaile ning mu enda kodukataloog oli küll jätkuvalt 10a vana spagett, aga siiski eksisteeriv ja ligipääsetav spagett! Nokkisin sealt kahvliga vajalikud asjad ettevaatlikult välja ning panin reinstalliks vaimu valmis.

NÜÜD POST (hääldada pehmelt nagu telefonipost) MORTEM.

1. Tee backuppe ja liiguta neid MUJALE. Elementaarne, Watson, aga kesseviitsib.
2. Tee backuppe ja … just.
3. Liiguta!
4. Tee!
5. Pane robot seda tegema. Küsi LLMi käest kui muidu ei saa.
6. Korista sodi ära.
7. Fikseeri failistruktuurile tundlikud teenused (jah, sina, andmebaas) viimase numbrini konkreetse image versiooni peale.
8. Kasuta oma üles seatud teenuste rägastikus nimesid. Mqtt server on mqtt. Influx on influx.

Vot. Pannkooke tuleb süüa, mitte terminali torkida.