Öncelik sonrası bir raporda Microsoft, bu haftanın 5 saatlik Microsoft 365 dünya çapında kesintisinin, birden fazla bölgede basamaklı arızalara ve kullanılabilirlik etkisine yol açan hatalı bir işletme yapılandırma hizmeti (ECS) dağıtımıyla tetiklendiğini açıkladı.
ECS, Microsoft Services'ın birden fazla hizmet ve özellikte geniş kapsamlı dinamik değişiklikler yapmasını ve kiracı veya kullanıcı başına belirli yapılandırmalar gibi hedeflenmiş olanlar için tasarlanmış dahili bir merkezi yapılandırma deposudur.
Başlangıçta küçük bir Microsoft Teams ofutage gibi başlayan şey, Exchange Online, Windows 365 ve Office Online dahil olmak üzere EC'leri de kullanan ekip entegrasyonuyla birden fazla Microsoft 365 hizmetine aşağı doğru genişledi.
Sonuç olarak, dünya çapında kullanıcılar Microsoft Teams ve birden fazla Microsoft 365 hizmeti veya özellik kullanamayacaklarını bildirmeye başladı.
Şirket, "Bu sorun, kullanıcıların Microsoft Teams masaüstü, web ve mobil müşterilere bağlanma yeteneğini etkiledi."
"Telemetri, bu olaydan yaklaşık 300 bin çağrının etkilendiğini gösterdi. Asya Pasifik (APAC) bölgesi en çok etki penceresine denk gelen çalışma saatleri nedeniyle etkilendi. Ayrıca, doğrudan yönlendirme ve Skype MFA çoğunlukla etkilendi."
Redmond'un raporuna göre, olay 21 Temmuz Perşembe günü saat 01: 05'te UTC'de başladı ve şirketin mühendisleri etkisinin çoğunu beş saat içinde saat 06: 00'da yeniden canlandırdı.
Bununla birlikte, aynı gün 13: 14'e kadar UTC'ye kadar bazı izole artık etki vardı ve sosyal medyadaki müşteri raporlarını eşleştirdi.
Sonunda, olay, aşağıdaki Microsoft 365 hizmetlerinden birini veya daha fazlasını kullanmaya çalışan kullanıcıları etkiledi (hepsi kesinti tarafından bir dereceye kadar etkilenir):
Redmond tarafından olay raporunda tarif edildiği gibi ve başlangıçta belirtildiği gibi, bu kesintinin arkasındaki ön kök nedeni hatalı bir kurumsal yapılandırma hizmeti (ECS) dağıtımıydı.
Şirket, "ECS hizmetindeki bir dağıtım, EC'lerden yararlanan hizmetlerle geriye dönük uyumluluğu etkileyen bir kod kusuru içeriyordu. Net sonuç, EC'leri kullanan hizmetler için yanlış yapılandırmaları tüm ortaklarına geri döndürecekti."
"Bu, aşağı akış hizmetlerinin '200' durum mesajı almasına neden oldu (çekimin başarılı olduğunu gösteren), ancak aslında hatalı bir JSON nesnesi içeriyordu.
"Etkinin kapsamı, bireysel Microsoft Hizmetlerinin EC'ler tarafından sağlanan kötü biçimlendirilmiş yapılandırmayı nasıl kullandığına bağlıydı. Etki, ekipler gibi hizmetlerin çökmesi arasında değişirken, diğer hizmetlerin hiçbir etki ile sınırlı kalması."
Bu olayın bir sonucu olarak Microsoft, gelecekteki bir ECS hatası durumunda önbelleğe alınmış bir ECS yapılandırma sürümüne geri dönmek için Microsoft Teams hizmetinin esnekliğini iyileştirmeye çalıştıklarını söylüyor.
Ayrıca, bir ECS arızasının etkisini sınırlamak ve bu tür düşük dereceli arızaları daha iyi tanımlamak için izleme eşiklerini güncellemek için ek hata izolasyonuna yatırım yapıyorlar.
Microsoft Teams Outage ayrıca Microsoft 365 hizmetlerini de deviriyor
Microsoft 365 Outage, Microsoft Teams ve Exchange Online'ı etkiler
Microsoft, devam eden Exchange Online, Outlook Outage'ı araştırıyor
Microsoft, bu haftanın Microsoft 365 Kesinti
İngiltere Heat Wave Google ve Oracle Cloud kesintilerine neden olur
Kaynak: Bleeping Computer