Этот день, когда все мало летки выйдут на улицу и увидят что мир не только в социальных сетях и вокруг есть много интересного. Вот он и наступил 04/10/2021. Дата конечно не очень красивая, но факт так как сегодня еще с 12 дня по Украинскому времени мы наблюдали ошибку «This site cant be reached» от Facebook.
В ~18:50 в сети Facebook раскатали обновление на всё своё сетевое оборудование, занимавшееся анонсами BGP, которое объявляет маршрутизацию к их сервисам. Это привело к полной остановке связи между сервисами FACEBOOK, а вместе с этим и приостановке обслуживания их DNS: Входы по facebook.com буквально у всего мира около получаса-часа показывали
«can’t resolve domain»
< банер Single: Between Content отключен >< банер Single: Between Content отключен >
WhatsApp и Instagram также принадлежат FB и размещаются на их площадке, в связи с чем они также стали недоступны.
Для починки требуется ручное вмешательство:
- 1Во все BGP-роутеры
- Во всех датацентрах
- Всех точек присутствия FACEBOOK
Что очень сложно: физического доступа до всех нужных ЦОД’ов нет, а там, на местах, физически сейчас присутствуют не самые опытные дежурные сотрудники, Чьими руками приходится производить манипуляции с большой задержкой, так как из головного офиса инженеры не могут мгновенно «прилететь» во все необходимые дата центры. Ситуация осложняется эпидем. обстановкой: физическое присутствие персонала в датацентрах сильно сокращено.
Кроме того, у сотрудников FACEBOOK из-за настолько масштабного влияния проблемы стали недоступны внутренние средства коммуникации — по этой причине они вынуждены координировать все происходящие сейчас работы через иные платформы. Что также замедляет решение.
Иные? Через TELEGRAM, разумеется. Не говоря о том, что настолько долгий перерыв прервал все их репликации данных между дата центрами, и на разбор последствий аварии теперь уйдёт какое-то время, в связи с тем, что автоматика их не разрулит после возобновления сетевого общения.
Сервисы не работали слишком долго, поэтому аудитория Facebook, Instagram & WhatsApp плавно перетекает в другие сети и мессенджеры, которые переживают очень резкий наплыв трафика, что выглядит со стороны как замедление их работы. На данный момент, спустя 3 часа, вся экосистема Facebook до сих пор «лежит»