Idag, onsdag 4 oktober, från cirka 07:44 fram till klockan 14:02 så låg BTCX hemsida, bt.cx, nere. Vi beklagar det inträffade och har påbörjat arbetet  med att se till detta inte ska hända igen.

Inga bitcoin eller betalningar har försvunnit, och det är ingen som gjort intrång i våra system.

Det hela berodde på en

avgrävd elkabel.

Klockan 07:22 i morse så grävde någon av den elkabel som försörjer serverhallen vi huserar i. Batteribackupen gick direkt igång som den skulle och höll igång våra servrar fram tills dess att dieselgeneratorn skulle hinna starta. Men av någon anledning så gick aldrig dieselgeneratorn igång och allting stängde därmed av sig drygt 20 minuter senare, klockan 07:44.

Klockan 08:33 hade Ellevio lagat den trasiga kabeln och serverhallen fick åter strömförsörjning. Arbetet med att starta upp nätverket påbörjades omgående.

Vid lunchtid var nätverket igång så pass att vi kunde få tillgång till att börja starta upp våra servrar.

Eftersom vi är ytterst noggranna i säkerhetsfrågor, dels för att skydda våra kunders personuppgifter och dels för att säkerställa att ingen kan stjäla några bitcoin, så är all data krypterad i flera lager. Av säkerhetsskäl så måste man ha fysisk tillgång till servrarna för att kunna skriva in kryptonycklarna.

Arbetet med att låsa upp servrarna var klart cirka 13:00 och vi övergick till att göra integritetskontroller på databaser, spola ikapp alla blockkjedjor samt jämföra datan mot offsitebackuper.

Klockan 14:00 kunde vi konstatera att all data var korrekt och vi kunde därmed släppa på trafik för våra kunder igen.

Under de kommande timmarna så startade vi upp fler och fler system och klockan 15:50 var alla system igång igen. Vi kunde betala ut bitcoin till alla kunder som lagt ordrar sedan klockan 14:00.

För att förhindra att detta händer igen i framtiden så har vi inlett en dialog med vår serverhall om att installera ytterligare en dieselgenerator. Vi beräknar att det arbetet kommer vara klart senare under hösten.

Vi vill också passa på att be om ursäkt till alla kunder som fått vänta längre än de borde på sina bitcoin. Nu är alla system igång igen och det går återigen att växla bitcoin på under 3 minuter på bt.cx.

Med vänliga hälsningar,
Alla på BTCX