Anime.se tillbaka från sin värsta downtime någonsin!

[Sceleris]

Nu är vi tillbaka! Servern dog 26 september av fortfarande okänt skäl, så med 16 dagars downtime så har vi – olyckligtvis! – slagit ett personligt rekord i downtime. 🥳 🎉 ... 😢

Vad hände?

Vi vet inte ännu!

Den omkring 19:00 den 26 september så hände något okänt med servern som gjorde att webbservern inte fungerade korrekt. Baserat på loggar misstänkte jag något slags minnesläcka, så jag startade om servern för en snabbfix så att den kunde komma igång medan jag felsökte i bakgrunden... hade jag tänkt. Servern startade inte upp igen! Leverantören hade dessutom planerat underhåll, så vi kunde inte logga in för att komma åt fjärrkonsolen (med vilken man kan kontrollera en virtuell server även utan installerat operativsystem).

Senare försökte vi fixa problemet genom fjärrkonsolen, men servern bootade till diskens räddningspartition, men därifrån tog det stopp. Jag kunde inte hitta någon disk alls att montera eller boota från (fastän räddningspartitionen bör ha laddats från en disk). Jag bad därför leverantören kolla om de kunde se något fel på sin ände och de svarade att de skulle kolla upp saken.

Senare frågade leverantören om det gick bra att återställa servern till dess läge 26 september 23:00. Jag svarade att det gick bra, om datan såg bra ut med tanke på att det var fyra timmar efter fel uppstod, och jag frågade vad som kunde ha hänt. Senare så meddelade leverantören att de inte lyckades återställa servern, och erbjöd datanedladdning.

I och med igår så hade jag fått hem all data och fått den säkerhetskopierad, och fått leverantören att göra en total återställning av servern. Och jag har spenderat min torsdagskväll med att ladda upp den viktigaste datan och få den på samma plats som den var för två veckor sedan.

Förhoppningsvis fungerar allt som förut.

Vad var orsaken?

Som sagt, det är ännu okänt. Jag ska kolla loggarna senare för att se om det går att se vad som hände. Det borde inte ha varit vårt fel, eftersom vi inte varit inloggade, inte ändrat på systemet på länge, hårddisken hade flera gigabyte ledigt etc. Mycket märkligt. 🤔 Möjligtvis kan det ha varit något som hänt hos leverantören (det är en "VPS", en virtuell server, d.v.s. det är en server som kör på "hårdvara" som endast emuleras av leverantörens riktiga hårdvara som de förhoppningsvis har kontroll på), men jag fick aldrig något rakt svar på om de visste vad problemet var.

Vad har vi lärt oss?

Nja, jag vet inte. Kanske att leverantörens support är långsam. Och att det är svårt att hitta pålitliga VPS-leverantörer som erbjuder den funktionalitet som vi kräver av en server för Anime.se – vi började shoppa runt efter bättre leverantörer, men vi fortsätter med nuvarande tills vidare.

Vi ska också utforska möjligheterna för att få igång något slags "fallback"-server som kan köra igång vid liknande problem i fortsättningen.

[Sceleris]

Det var några grejer jag hade missat att göra (t.ex. göra några kataloger skrivbara, och forumet vill ha ett jobb i crontab), vilket var anledningen till ett par "buggar" jag upplevt. Och typ 25 000 rader i systemloggarna.

Om någon annan märker något konstigt så är det fritt fram att sparka på mig. ('-')/