Qanday qilib bitta kompyuter fayli kecha tasodifan internetning 20% qismini ishdan chiqardi – oddiy ingliz tilida tushuntirilgan

Kecha yuz bergan uzilish zamonaviy vebning asosiy infratuzilma provayderlarining bir nechtasiga qanchalik bog‘liqligini ko‘rsatdi.

Haqiqatan ham, bu bog‘liqlik shunchalik kuchli ekanki, bitta konfiguratsiya xatosi butun internetning katta qismini bir necha soat davomida butunlay kirib bo‘lmas holga keltirdi.

Ko‘pchiligimiz kriptoda ishlaymiz, chunki moliyadagi markazlashuv xavfini tushunamiz, lekin kechagi voqealar internetning asosida markazlashuv ham shunchalik dolzarb muammo ekanligini yana bir bor eslatdi.

Amazon, Google va Microsoft kabi yirik kompaniyalar ulkan bulut infratuzilmasini boshqaradi.

Lekin Cloudflare, Fastly, Akamai, DigitalOcean kabi kompaniyalar ham, shuningdek, butun dunyo bo‘ylab veb-saytlarni tezroq yetkazib beruvchi CDN yoki internetning “manzillar kitobi” bo‘lgan DNS provayderlari (masalan, UltraDNS va Dyn) ham juda muhimdir.

Ko‘pchilik ularning nomini deyarli bilmaydi, lekin ularning uzilishi ham kechagi kabi jiddiy oqibatlarga olib kelishi mumkin.

Boshlash uchun, internetni kutilganidek ishlashini ta’minlaydigan, lekin siz eshitmagan bo‘lishingiz mumkin bo‘lgan kompaniyalar ro‘yxati:

Kategoriya Kompaniya Nazorat qilinadigan narsa Ular ishlamay qolsa ta’siri

Asosiy Infra (DNS/CDN/DDoS)	Cloudflare	CDN, DNS, DDoS himoyasi, Zero Trust, Workers	Dunyo bo‘ylab veb-trafikning katta qismi ishlamaydi; minglab saytlar kirib bo‘lmaydigan bo‘ladi.
Asosiy Infra (CDN)	Akamai	Banklar, loginlar, savdo uchun korporativ CDN	Yirik korporativ xizmatlar, banklar va login tizimlari ishdan chiqadi.
Asosiy Infra (CDN)	Fastly	CDN, edge compute	Global uzilish ehtimoli (2021 yilda kuzatilganidek: Reddit, Shopify, gov.uk, NYT).
Bulut provayderi	AWS	Hisoblash, hosting, saqlash, APIlar	SaaS ilovalari, striming platformalari, fintech va IoT tarmoqlari ishlamaydi.
Bulut provayderi	Google Cloud	YouTube, Gmail, korporativ backendlar	Google xizmatlari va ularga bog‘liq ilovalarda katta uzilishlar.
Bulut provayderi	Microsoft Azure	Korporativ va hukumat bulutlari	Office365, Teams, Outlook va Xbox Live ishlamay qoladi.
DNS Infratuzilmasi	Verisign	.com va .net TLDlar, root DNS	Internetning katta qismi uchun global marshrutlashda halokatli xatoliklar.
DNS Provayderlari	GoDaddy / Cloudflare / Squarespace	Millionlab domenlar uchun DNS boshqaruvi	Butun kompaniyalar internetdan yo‘qoladi.
Sertifikat beruvchi	Let’s Encrypt	Vebning ko‘p qismi uchun TLS sertifikatlari	HTTPS butun dunyo bo‘ylab ishlamaydi; foydalanuvchilar hamma joyda xavfsizlik xatolarini ko‘radi.
Sertifikat beruvchi	DigiCert / GlobalSign	Korporativ SSL	Katta korporativ saytlar HTTPS ishonchini yo‘qotadi.
Xavfsizlik / CDN	Imperva	DDoS, WAF, CDN	Himoyalangan saytlar kirib bo‘lmaydigan yoki zaif bo‘lib qoladi.
Load Balancerlar	F5 Networks	Korporativ load balancing	Banklar, shifoxonalar va hukumat xizmatlari butun mamlakat bo‘ylab ishlamay qolishi mumkin.
Tier-1 Backbone	Lumen (Level 3)	Global internet backbone	Marshrutlash muammolari global kechikish va mintaqaviy uzilishlarga olib keladi.
Tier-1 Backbone	Cogent / Zayo / Telia	Transit va peering	Mintaqaviy yoki mamlakat darajasida internet uzilishlari.
Ilova tarqatish	Apple App Store	iOS ilovalarini yangilash va o‘rnatish	iOS ilovalari ekotizimi deyarli to‘xtaydi.
Ilova tarqatish	Google Play Store	Android ilovalarini tarqatish	Android ilovalari butun dunyo bo‘ylab o‘rnatilmaydi yoki yangilanmaydi.
To‘lovlar	Stripe	Veb-to‘lov infratuzilmasi	Minglab ilovalar to‘lovlarni qabul qila olmaydi.
Identifikatsiya / Login	Auth0 / Okta	Autentifikatsiya va SSO	Minglab ilovalarda login ishlamaydi.
Aloqa	Twilio	2FA SMS, OTP, xabarlar	Dunyo bo‘ylab 2FA va OTP kodlarining katta qismi ishlamaydi.

Kecha nima bo‘ldi

Kechagi muammo sababchisi Cloudflare bo‘ldi, u butun veb-trafikning deyarli 20% ini yo‘naltiradi.

Hozirda kompaniya uzilish kichik bir ma’lumotlar bazasi konfiguratsiyasi o‘zgarishidan boshlanganini, bu esa tasodifan botlarni aniqlash fayliga takroriy elementlarni qo‘shib yuborganini aytmoqda.

Bu fayl birdaniga qat’iy o‘lcham chegarasidan oshib ketdi. Cloudflare serverlari uni yuklashga harakat qilganda, ular muvaffaqiyatsiz bo‘ldi va Cloudflare’dan foydalanadigan ko‘plab veb-saytlar HTTP 5xx xatolarini (foydalanuvchilar server ishlamayotganida ko‘radigan xatolar) qaytara boshladi.

Mana oddiy zanjir:

Hodisalar zanjiri

Kichik ma’lumotlar bazasi o‘zgarishi katta zanjirli reaksiyani boshlab yubordi.

Muammo 11:05 UTC da, ruxsatnomalar yangilanishi tizimni botlarni baholash uchun fayl tuzishda ortiqcha, takroriy ma’lumotlarni olishga majbur qilganida boshlandi.

Bu faylda odatda oltmishga yaqin element bo‘ladi. Takroriy elementlar uni 200 ta qat’iy chegaradan oshirib yubordi. Tarmoq bo‘ylab mashinalar kattalashgan faylni yuklaganda, bot komponenti ishga tushmadi va serverlar xatolar qaytardi.

Cloudflare ma’lumotiga ko‘ra, hozirgi va eski server yo‘llari ham ta’sirlandi. Biri 5xx xatolarini qaytardi. Ikkinchisi bot ballini nolga o‘rnatdi, bu esa bot balliga asoslanib trafikni bloklaydigan mijozlar uchun noto‘g‘ri signal bo‘lishi mumkin edi (Cloudflare’ning bot va insonni aniqlash tizimi).

Diagnostika qiyin bo‘ldi, chunki yomon fayl har besh daqiqada, ma’lumotlar bazasi klasteri bosqichma-bosqich yangilanayotganda qayta yaratilardi.

Agar tizim yangilangan qismdan olgan bo‘lsa, fayl yomon edi. Aks holda, yaxshi edi. Tarmoq tiklanar, so‘ng yana ishdan chiqardi, versiyalar almashganda.

Cloudflare ma’lumotiga ko‘ra, bu yoqib-o‘chirish naqshi dastlab ehtimoliy DDoS kabi ko‘ringan, ayniqsa uchinchi tomon status sahifasi ham o‘sha vaqtda ishlamay qolganidan. Jamoalar xatolarni botlarni aniqlash konfiguratsiyasiga bog‘lagach, e’tibor o‘zgardi.

13:05 UTC da Cloudflare Workers KV (login tekshiruvlari) va Cloudflare Access (autentifikatsiya tizimi) uchun aylanma yo‘lni joriy qildi, ishlamayotgan xatti-harakatlarni chetlab o‘tib, ta’sirni kamaytirdi.

Asosiy yechim jamoalar yangi bot fayllarini yaratishni va tarqatishni to‘xtatib, ma’lum yaxshi faylni yuklab, asosiy serverlarni qayta ishga tushirganda keldi.

Cloudflare ma’lumotiga ko‘ra, asosiy trafik 14:30 da tiklana boshladi va barcha pastki xizmatlar 17:06 da tiklandi.

Bu nosozlik ba’zi dizayn muvozanatlarini ko‘rsatadi.

Cloudflare tizimlari ishlashni barqaror saqlash uchun qat’iy chegaralarni qo‘llaydi. Bu resurslardan haddan tashqari foydalanishni oldini oladi, lekin bu ichki fayldagi xato muammosiz zaxira rejimiga emas, balki to‘liq to‘xtashga olib kelishini anglatadi.

Botlarni aniqlash ko‘plab xizmatlar uchun asosiy yo‘lda joylashgani sababli, bitta modulning ishdan chiqishi CDN, xavfsizlik funksiyalari, Turnstile (CAPTCHA alternativasi), Workers KV, Access va boshqaruv paneli loginlariga ta’sir ko‘rsatdi. Cloudflare, shuningdek, xatolar kontekstini qo‘shishda nosozliklarni tuzatish vositalari CPU ni ko‘proq ishlatganini qayd etdi.

Ma’lumotlar bazasi tomonida esa, tor doiradagi ruxsatnomalar o‘zgarishi keng ta’sir ko‘rsatdi.

O‘zgarish tizimga oldingidan ko‘ra ko‘proq jadvallarni “ko‘rishga” imkon berdi. Botlarni aniqlash faylini tuzuvchi ish yetarlicha filtrlashni bajarmadi, shuning uchun u ustun nomlarini takrorlab, faylni 200 elementdan oshirib yubordi.

Yuklash xatosi so‘ngra server nosozliklari va ta’sirlangan yo‘llarda 5xx javoblarini keltirib chiqardi.

Ta’sir mahsulotga qarab farq qildi. Asosiy CDN va xavfsizlik xizmatlari server xatolarini qaytardi.

Workers KV darajasida 5xx xatolari ko‘paydi, chunki so‘rovlar uning gateway’idan ishlamayotgan yo‘l orqali o‘tdi. Cloudflare Access 13:05 gacha autentifikatsiya xatolarini ko‘rsatdi, boshqaruv paneli loginlari esa Turnstile yuklanmaganda ishlamadi.

Cloudflare Email Security vaqtincha IP reputatsiya manbasini yo‘qotdi, bu esa bir muddat spamni aniqlash aniqligini pasaytirdi, lekin kompaniya mijozlarga jiddiy ta’sir bo‘lmaganini aytdi. Yaxshi fayl tiklangach, login urinishlari navbati qisqa muddat ichki APIlarni zo‘riqtirdi, so‘ngra normallashdi.

Taqvim oddiy.

Ma’lumotlar bazasi o‘zgarishi 11:05 UTC da amalga oshirildi. Birinchi mijozlarga ko‘rinadigan xatolar 11:20–11:28 atrofida paydo bo‘ldi.

Jamoalar hodisani 11:35 da ochdi, 13:05 da Workers KV va Access uchun aylanma yo‘lni joriy qildi, 14:24 atrofida yangi fayllarni yaratishni va tarqatishni to‘xtatdi, ma’lum yaxshi faylni yuklab, 14:30 da global tiklanishni ko‘rdi va 17:06 da to‘liq tiklanishni qayd etdi.

Cloudflare ma’lumotiga ko‘ra, avtomatik testlar 11:31 da anomaliyalarni aniqladi va qo‘lda tekshiruv 11:32 da boshlandi, bu esa ikki soat ichida hujumdan konfiguratsiyani qaytarishga o‘tishni tushuntiradi.

Vaqt (UTC) Holat Harakat yoki ta’sir

11:05	O‘zgarish joriy qilindi	Ma’lumotlar bazasi ruxsatnomasi yangilanishi takroriy yozuvlarga olib keldi
11:20–11:28	Ta’sir boshlanadi	Bot fayli 200 elementdan oshganda HTTP 5xx ko‘payadi
13:05	Yumshatish	Workers KV va Access uchun aylanma yo‘l xatolarni kamaytiradi
13:37–14:24	Qaytarishga tayyorgarlik	Yomon fayl tarqalishini to‘xtatish, yaxshi faylni tekshirish
14:30	Asosiy tiklanish	Yaxshi fayl joriy qilindi, asosiy trafik odatdagidek yo‘naltirildi
17:06	Hal qilindi	Pastki xizmatlar to‘liq tiklandi

Raqamlar sabab va cheklovlarni tushuntiradi.

Besh daqiqalik qayta qurish sikli, ma’lumotlar bazasining turli qismlari yangilanganida, yomon fayllarni qayta-qayta kiritdi.

200 elementli chegara xotira sarfini himoya qiladi va odatda oltmish atrofida bo‘lgan son yetarli zaxira qoldirardi, takroriy yozuvlar kelmaguncha.

Chegara o‘z vazifasini bajardi, lekin ichki fayllar uchun bardoshli “xavfsiz yuklash” yo‘qligi yomon konfiguratsiyani yumshoq xatolik o‘rniga to‘liq ishdan chiqishga aylantirdi. Cloudflare ma’lumotiga ko‘ra, bu mustahkamlash kerak bo‘lgan asosiy soha.

Cloudflare ichki konfiguratsiyani tekshirishni mustahkamlashini, funksional pipeline’lar uchun ko‘proq global o‘chirish tugmalarini qo‘shishini, hodisalar paytida xatolar haqida hisobot berish CPU ni ko‘p ishlatishini to‘xtatishini, modullar bo‘ylab xatolarni boshqarishni ko‘rib chiqishini va konfiguratsiyani tarqatishni yaxshilashini aytdi.

Kompaniya buni 2019 yildan beri eng yomon hodisa deb atadi va ta’siri uchun uzr so‘radi. Cloudflare ma’lumotiga ko‘ra, hech qanday hujum bo‘lmagan; tiklanish yomon faylni to‘xtatish, ma’lum yaxshi faylni tiklash va server jarayonlarini qayta ishga tushirish orqali amalga oshirildi.

The post How a single computer file accidentally took down 20% of the internet yesterday – in plain English appeared first on CryptoSlate.