Salus populi suprema lex (988) (don_katalan) wrote,
Salus populi suprema lex (988)
don_katalan

Category:

Pavel Lunin · Про пожар в OVH расскажу, чего знаю


Pavel Lunin
11 березня о 00:48 ·
Про пожар в OVH расскажу, чего знаю.
Для контекста поясню, что у меня в команде и вообще у нас в компании много бывших OVH-вцев, в том числе людей, хорошо знающих этот ДЦ, и, понятно, в контакте с бывшими коллегами. Постараюсь без оценок и сплетен в виду некоторых профессиональных обязательств.
Сгоревший ДЦ SBG2 — часть их большого кластера модульных ДЦ на берегу Рейна, в промышленном пригороде Страсбурга, через речку уже Германия. Там у них одна из крупнейших площадок во Франции. На фоточке видна группа зданий, каждое — отдельный ДЦ (у них есть еще SBG1, SBG3 и т. д.)
Кроме серверов конкретно этот ДЦ был крупным сетевым узлом, обслуживающим весь этот кластер, через него также проходит большая часть линков в Германию до других площадок, зданий плюс, как я понимаю, трансформаторная подстанция кластера, плюс в нем же базировалась дежурная служба.
Полностью потеряли они только это здание, но сетевую связность и электропитание — во всем кластере. Соседние здания вроде целы, но обесточены, и непонятно, насколько сильно их залило водой при тушении.
OVH традиционно строит свои контейнерные ДЦ по всему миру специально для себя. За редким исключением клиентов на колокейшене у них нету. В этом ДЦ вроде как точно не было. Основное наполнение — выделенные сервера, сданные клиентам в аренду. По некоторым данным в SBG2 таковых было примерно 25-30 тысяч (UPD: видимо не в SBG2, а всего в кластере SBG, то есть на данный момент либо сгоревших либо просто отключенных от питания и сети)
Наш с ними трафик (которого много) упал где-то на 20% сегодня. Некоторая грубая оценка извне на основе имеющихся данных говорит, что на данный момент потеряли они примерно 20% своего парка во Франции. Но это с учетом полностью обесточенного и изолированного от сети страсбургского кластера вокруг сгоревшего SBG2.
OVH исповедует водяное охлаждение серверов, поэтому дизайн датацентров у них специфический, «под себя». Плюс это дешевые модульные конструкции быстрой сборки. Т. н. «контейнерный ДЦ». Я не буду спекулировать, но скажем так, этот подход сильно критикуем некоторыми местными специалистами по дизайну ДЦ, в том числе с точки зрения пожарной безопасности.
Одна фоточка (вид с воздуха) из твиттера местного пожарного департамента, другая (вид с немецкой стороны) откуда-то из твиттера, но не знаю какого-именно, да простит меня автор.
На удивление в целом французский публичный интернет большого видимого ущерба не понес. Утром, не работало несколько сайтов, вроде бы как пострадал правительственный сайт открытых данных дата-гоув-фр, сайт центра Помпиду не работает до сих пор, видимо с концами, lichess, хостящийся в OVH пишет, что понес какие-то минимальные потери, ну и прочее по мелочи, но видимого серьезного ущерба пока незаметно. Хотя корпоративные клиенты, которые держали там свои внутренние ресурсы должны был пострадать как следует.
Еще об интересных фактах: два дня назад OVH объявило о выходе на IPO.


=====
Станислав Кукарека
Из жанра ненаучной фантастики.
- Господа офицеры, прошу садиться.
В связи с событиями в Страссбурге жопа подгорела у очень у многих. И следует ожидать массовых движений. Которые по большей части будут носить совершенно броуновский характер. И это таки наш час. Специалисты будут действовать в режиме крайней перегрузки и хронического переутомления. По сути в состоянии паники. Еще и под значительным давлением сверху, где тоже паника. А значит - будут ошибаться. Более того, в ход в пойдут говно и палки, в полный рост, как каппелевцы в атаку в фильме "Чапаев". Большинство бестпрактиксов и даже фундаментальных концепций будут забыты и заброшены, или как минимум - сознательно принесены в жертву тезису "давайте шо то делать", и "это надо срочно". И это наш час, господа. Господа офицеры, все свободны. Идите работайте...
===
Serhii Fomin
Вообще странная история, интересно бы посмотреть на отчеты пожарников...
Где были системы пожаротушения? Они там по-идее дублированные.
Пишут, вроде один из упсов загорелся. Потятно, что в аккумах там припасено много мегаджоулей в ожидании КЗ, но предохранители на стелажах должны были отработать.
Да и вообще пожары в щитовых не особо буйные - кабеля, особенно правильные, горят не очень, больше ущерба от дыма (гарь окисляет все что непокрашено за часы), но для этого есть безгалогеновый кабель.
Разве что аккумуляторы у них там литиевые, вот они покруче бензина будут...
---
Станислав Кукарека
Судя по фоткам снаружи - внутри там уже делать нечего даже фейсбучным экспердам. По идее там должна была быть углекислотная система (что дешево и эффективно) это же безлюдная по сути зона. И почему она не потушила (если была) мне непонятно. А если ее небыло - то мне еще менее понятно....
---
Станислав Кукарека
С третьей стороны должен заметить что стандартные пожарные датчики в датацентрах, серверных и прочих таких местах как правило нормально не работают. И потому обычно их там режут, глушат и т.д. Там кусок железяки +- 100 градусников это нормальный радиатор, а не "очаг возгорания". А датчик дыма не работает патаму шо даже сисадминам вентилятор маринарку с жопы на бошку завертае. Там есть своя специфика.
---
Serhii Fomin
Станислав Кукарека Углекислотная в ЦОДах не применяется, (по крайней мере не видел даже на картинках) ибо последствия для электроники не сильно отличаются от пожара.
А вот с газовой системой, ага - ложные сработки очень нежелательны, пару лет назад два бездыханных инженера в наушниках где-то в Киеве так получились...
Но если отвлечся от деталей, то эпичность этого действа (не щитовая закоптилась, а два отдельных здания в труху, с пожаротушением, 24х7 на вышках с пулеметами и всей мощью французской пожарной охраны) наводит на мысль, что в стандартизированном по самым жестким анальным нормам ПУЕ, IEC и STANAG, современном мире шото сильно прогнило...
===
Дмитрий Мищенко
Стас, а кто "сидел" на том датацентре? А то ведь "скинут" на такой центр наши пидарасы электронные трудовые книжки ("о чем всё время говорили большевики" (с)...) и ... пиздец.
---
Станислав Кукарека
Там дохуя кто сидел. Москальская фискальна служба до сих пор лежит, и половина сбербанка...
===
Пост спочатку надрукований тут: https://don-katalan.dreamwidth.org/2859349.html.
Tags: анализ, дебіли, европа, кукарека, прдоны, франция
Subscribe

Recent Posts from This Journal

promo don_katalan Грудень 29, 2014 14:39 116
Buy for 50 tokens
Расшифровка секретного плана адмиистративно-территориального устройства России после ее распада От гуляющих по сети различных вариантов "государственного" устройства будущего российских территорий отличается наличием территорий в совместном управлении, возвратом исторических территорий…
  • Post a new comment

    Error

    default userpic

    Your IP address will be recorded 

    When you submit the form an invisible reCAPTCHA check will be performed.
    You must follow the Privacy Policy and Google Terms of use.
  • 1 comment