GitHub ha confermato di ha riscontrato un peggioramento delle prestazioni per il secondo giorno consecutivo, derivante da un aggiornamento che ha interrotto in modo significativo le operazioni della piattaforma. Il servizio di collaborazione sul codice di proprietà di Microsoft ha segnalato problemi che riguardano principalmente le pull request, con ritardi fino a dieci minuti riscontrati dagli utenti. I ritardi hanno reso difficile per i membri del team vedere i commit che sono stati effettuati e inviati tempestivamente alle filiali. Il primo riconoscimento del problema è arrivato alle 23:39 UTC del 12 marzo. Successivamente, GitHub ha annunciato di aver identificato una misura di mitigazione e, entro le 00:34 UTC, ha dichiarato l’incidente risolto, anche se senza fornire in quel momento una spiegazione dettagliata.
Causa principale e impatto
Il giorno precedente, 11 marzo, GitHub ha subito un’interruzione a partire dalle 22:45 UTC, che è durata fino alle 00:48 UTC del giorno successivo. Questa interruzione ha avuto un impatto su diversi servizi, tra cui Secret Scanning e 2FA tramite GitHub Mobile, che hanno visto i tassi di errore salire al 100% prima di stabilizzarsi intorno al 30%. Inoltre, Copilot è stato interessato da tassi di errore che hanno raggiunto il 17% e gli errori API sono aumentati fino all’1%.
Stiamo riscontrando un numero elevato di richieste pull non sincronizzate al caricamento della pagina. https://t.co/BreARYBWUj
— Stato GitHub (@githubstatus) 12 marzo 2024
Secondo la pagina Cronologia stati di GitHub, una distribuzione che coinvolgeva una configurazione relativa alla rete applicata erroneamente all’ambiente sbagliato ha attivato questi problemi. Sebbene sia stato effettuato un tentativo di ripristinare le modifiche entro quattro minuti dal rilevamento dell’errore, in un data center non è riuscito a causa di un problema precedentemente non correlato che ha contaminato il datastore del servizio di configurazione. Ciò ha richiesto un intervento manuale per risolvere il problema, con il ripristino completo del servizio entro le 00:48 UTC.
Misure preventive future
In risposta a questi incidenti, GitHub si è impegnato ad implementare varie misure di protezione per evitare simili interruzioni future. Questi includono il miglioramento dei protocolli di sicurezza per le modifiche alla configurazione, il miglioramento del monitoraggio dei sottosistemi per un rilevamento più rapido dei problemi e il rafforzamento della resilienza del sistema di configurazione. Verranno adottate misure per prevenire e ripulire automaticamente eventuali record danneggiati, puntando a un ripristino automatico da problemi di dati simili in futuro.
Gli sforzi di GitHub per comprendere e correggere le ragioni alla base degli errori di distribuzione evidenziano le sfide nella gestione sistemi distribuiti complessi. Poiché gli sviluppatori e le aziende di tutto il mondo si affidano a GitHub per la collaborazione sul codice e il controllo delle versioni, la risoluzione di questi problemi e la prevenzione di incidenti futuri rimangono una priorità assoluta per GitHub e Microsoft.
