Το Cloudflare εξηγεί πώς αφαίρεσε μεγάλα κομμάτια του Διαδικτύου

Τεράστια κομμάτια του Διαδικτύου δεν ήταν εντελώς διαθέσιμα χθες, με πολλούς άλλους ιστότοπους και υπηρεσίες να παρουσιάζουν αργή απόδοση. Ήταν αμέσως σαφές ότι το πρόβλημα ήταν με το δίκτυο Cloudflare, αλλά χρειάστηκε λίγος χρόνος για να διαπιστώσει η εταιρεία την πραγματική αιτία.

Η Cloudflare λέει ότι αρχικά πίστευε ότι αντιμετώπιζε μια μαζική κυβερνοεπίθεση, αλλά στη συνέχεια συνειδητοποίησε ότι τα προβλήματα προκλήθηκαν από ένα «επώδυνο» σφάλμα με μια ενημέρωση λογισμικού…

Όπως αναφέραμε χθες, η διακοπή ήταν τεράστια.

Ένας μεγάλος αριθμός εφαρμογών και ιστότοπων έχουν ληφθεί αυτήν τη στιγμή εντελώς εκτός σύνδεσης ή αντιμετωπίζουν σημαντικές διακοπές λειτουργίας, λόγω ενός προβλήματος με τον δημοφιλή πάροχο υποδομής Cloudflare. Το Cloudflare CDN τροφοδοτεί τους ιστότοπους πίσω από πολλές εφαρμογές υψηλού προφίλ, επομένως οποιαδήποτε διακοπή λειτουργίας στο Cloudflare έχει εκτεταμένες επιπτώσεις. Αυτό περιλαμβάνει τον ιστότοπο κοινωνικής δικτύωσης X (πρώην Twitter), όπου οι χρήστες δεν μπορούν επί του παρόντος να δημοσιεύσουν νέες αναρτήσεις ή να ανανεώσουν τα χρονολόγιά τους. Το πρόβλημα φαίνεται να επηρεάζει τους χρήστες του Ιστού παγκοσμίως.

Γιατί το Cloudflare πίστευε ότι ήταν υπό επίθεση

Το Cloudflare είπε ότι το μοτίβο που είδε ήταν ότι οι συνδέσεις αποσυνδέονταν για περίπου πέντε λεπτά τη φορά πριν αποκατασταθούν και στη συνέχεια αποκατασταθούν ξανά. Αυτό το μοτίβο οδήγησε την εταιρεία να πιστέψει ότι βίωνε αυτό που περιέγραψε ως επίθεση DDoS υπερκλίμακας, καθώς ένα τεχνικό σφάλμα κανονικά δεν διορθωνόταν από μόνο του.

Μια κατανεμημένη επίθεση άρνησης υπηρεσίας είναι όταν ένας κακόβουλος παράγοντας κατευθύνει έναν πολύ μεγάλο όγκο αιτημάτων σε έναν διακομιστή προκειμένου να χρησιμοποιήσει όλη τη διαθέσιμη χωρητικότητά του, πράγμα που σημαίνει ότι οι πραγματικοί χρήστες δεν μπορούν να έχουν πρόσβαση στην υπηρεσία.

Αυτό που φαινόταν ως περαιτέρω απόδειξη για μια κυβερνοεπίθεση αποδείχθηκε καθαρή σύμπτωση.

Το να μας πετάξουν και να μας κάνει να πιστέψουμε ότι αυτό μπορεί να ήταν επίθεση ήταν ένα άλλο εμφανές σύμπτωμα που παρατηρήσαμε: η σελίδα κατάστασης του Cloudflare κατέρρευσε. Η σελίδα κατάστασης φιλοξενείται εντελώς εκτός της υποδομής του Cloudflare χωρίς εξαρτήσεις από το Cloudflare. Αν και αποδείχθηκε σύμπτωση, οδήγησε ορισμένους από την ομάδα που διέγνωσε το πρόβλημα να πιστέψουν ότι ένας εισβολέας μπορεί να στοχεύει τόσο τα συστήματά μας όσο και τη σελίδα κατάστασής μας.

Η πραγματική αιτία ήταν ένα σφάλμα Cloudflare

Ωστόσο, στη συνέχεια ανακάλυψε ότι το πρόβλημα ήταν ότι είχε μπερδέψει μια ενημέρωση σε ένα αρχείο που χρησιμοποιούσε το σύστημα διαχείρισης ρομπότ.

Υπάρχει ένας άγραφος κανόνας στο IT ότι εάν αντιμετωπίζετε ένα πρόβλημα με περίεργα συμπτώματα, θα είναι θέμα αδειών – και αυτό συνέβη εδώ.

Προκλήθηκε από μια αλλαγή σε ένα από τα δικαιώματα των συστημάτων βάσης δεδομένων μας, η οποία έκανε τη βάση δεδομένων να εξάγει πολλαπλές καταχωρήσεις σε ένα “αρχείο δυνατοτήτων” που χρησιμοποιείται από το σύστημα διαχείρισης ρομπότ. Αυτό το αρχείο χαρακτηριστικών, με τη σειρά του, διπλασιάστηκε σε μέγεθος. Στη συνέχεια, το μεγαλύτερο από το αναμενόμενο αρχείο χαρακτηριστικών μεταδόθηκε σε όλα τα μηχανήματα που αποτελούν το δίκτυό μας.

Το λογισμικό που εκτελείται σε αυτά τα μηχανήματα για τη δρομολόγηση της κυκλοφορίας στο δίκτυό μας διαβάζει αυτό το αρχείο χαρακτηριστικών για να διατηρεί το σύστημα διαχείρισης ρομπότ ενημερωμένο με συνεχώς μεταβαλλόμενες απειλές. Το λογισμικό είχε ένα όριο στο μέγεθος του αρχείου χαρακτηριστικών που ήταν κάτω από το διπλασιασμένο μέγεθός του. Αυτό προκάλεσε την αποτυχία του λογισμικού.

Υπήρχε επίσης μια απλή εξήγηση για τον περίεργο κύκλο των πέντε λεπτών.

Το αρχείο δημιουργήθηκε κάθε πέντε λεπτά από ένα ερώτημα που εκτελούνταν σε ένα σύμπλεγμα βάσεων δεδομένων ClickHouse, το οποίο ενημερωνόταν σταδιακά για τη βελτίωση της διαχείρισης δικαιωμάτων. Τα κακά δεδομένα δημιουργήθηκαν μόνο εάν το ερώτημα εκτελούνταν σε ένα τμήμα του συμπλέγματος που είχε ενημερωθεί. Ως αποτέλεσμα, κάθε πέντε λεπτά υπήρχε η πιθανότητα να δημιουργηθεί ένα καλό ή ένα κακό σύνολο αρχείων διαμόρφωσης και να διαδοθεί γρήγορα στο δίκτυο.

Η εταιρεία εξέδωσε μια συγγνώμη, περιγράφοντας το λάθος της ως «βαθιά οδυνηρό».

Λυπούμαστε για τον αντίκτυπο στους πελάτες μας και στο Διαδίκτυο γενικότερα. Δεδομένης της σημασίας του Cloudflare στο οικοσύστημα του Διαδικτύου, οποιαδήποτε διακοπή λειτουργίας οποιουδήποτε από τα συστήματά μας είναι απαράδεκτη. Το ότι υπήρξε μια χρονική περίοδος που το δίκτυό μας δεν ήταν σε θέση να δρομολογήσει την κυκλοφορία είναι πολύ οδυνηρό για κάθε μέλος της ομάδας μας. Ξέρουμε ότι σας απογοητεύσαμε σήμερα.

Μπορείτε να διαβάσετε μια πιο λεπτομερή εξήγηση στο μια ανάρτηση ιστολογίου Cloudflare.

Τονισμένα αξεσουάρ

Φωτογραφία από David Pupăză επί Ξεβιδώστε