Пролог.
Хозяйке на заметку: если ваш сервер вдруг оказался под водой — не спешите его выбрасывать. В определённых условиях и при быстрой реакции ценное оборудование вполне можно спасти.

Просматривал я тут давеча фотки на телефоне, и вспомнил один случай, о котором решил рассказать моим дорогим читателям. Эта правдивая история случилась с нами в июне прошлого года. Потоп от 25 июня вошёл в историю Сочи своей эпичностью; нескоро забудутся плавающие в мутных стремительных водах коровы, деревья и автомобили. Так получилось, что один из наших узлов связи оказался в зоне риска, он располагался недалеко от реки в подвальном помещении и был частично затоплен. Мы догадались об этом, получив нехитрое сообщение от системы внутреннего мониторинга. Когда наши парни добрались до места и с помощью домкрата и ядрёной матери открыли зажатую изнутри толщей воды противопожарную дверь, то увидели вот это:



Ещё раз, поближе:


На двери шкафа можно разглядеть ватерлинию. Весёленький узор из речного песка и грязи на крышке нижнего сервера как-бы намекал, что этот аппарат находился под водой полностью.

Нам повезло, блок розеток электропитания был смонтирован ниже сервера, и когда был затоплен – произошла утечка на землю, что привело к срабатыванию защиты. Весь шкаф с оборудованием оказался обесточен. Нам повезло, но осталась вторая угроза: окисление.
Вода, особенно укрывшаяся в полостях разъёмов и сопряжений, активирует реакции окисления с выработкой ржавчины, купороса и прочей нежелательной химии. От воды и грязи надо было избавляться, и как можно быстрее.

Это аутентичный олдскульный файловый сервер весом под 70 килограмм, с брутальным 36-дисковым массивом и без малейшего намёка на Fibre Channel или SCSI. Он был мне дорог как память, ведь мы его купили году в 2003 – 2004, в самом начале самостоятельной работы «Бизнес-Связи», потом модернизировали в 2009м, и все эти годы железяка исправно работала. Он казался массивным и шумным, был задвинут в дальный угол нашей сети, но к нему как-то привыкли и воспринимали как нечто само собой разумеющееся.


Что делать? – был задан вопрос. Ну что делать, везите, посмотрим. Честно говоря, надежды на какой-то позитив было совсем мало, ибо про подводные сервера я раньше ничего не слышал. Но тем не менее, 22 года работы в сфере телекоммуникаций научили верить в чудеса и тёмные силы электричества. Привезли огромный сервер в багажнике пикапа, выгрузили на порог. Мутные струйки вытекали из некогда суперсовременного устройства, не предвещая ничего хорошего. Открыл верхнюю крышку. Вытащил все модульные блоки: питание, жесткие диски. Разложил всё на пороге. Сервер выглядел так, будто его доставили прямиком из игры Фолаут, а изнутри он смахивал на домик для жабы, оставалось жабу добавить.




Первая часть операции по спасению сервера со стороны наверное выглядела немного сюрреалистично: я просто промыл всю электронику струёй воды из садового душа. Речная тина весёлыми ручьями побежала в ливнесток, а промокший сервер беспомощно разложился на пороге моего дома, сверкая своими внутренностями, чистыми, как в первый день после покупки.

Первый этап закончился, теперь главное — не терять времени и не дать окислению начать своё грязное дело. Быстро зову жену и старшего сына в подручные, раскидываю сервер на составные части, при этом маркером размечаю что куда было воткнуто, иначе потом не восстановить функциональность. На этом этапе я ещё предполагал, что информация может каким-то чудом сохраниться, ведь жёсткие диски герметичны и крутятся в вакууме, а твердотельные диски тоже состоят из герметичных микросхем. Информацию сохранить не удалось, но об этом потом.


Сейчас же сервер был раскидан на запчасти: платы, шнуры, болты, диски – всё лежало по разным кучкам. Дальше надо было очистить детали от загрязнений, любые куски земли, травы или ещё чего могли сыграть злую шутку в дальнейшем, если их вовремя не заметить и не убрать. Задача была такая: очистить и просушить каждый физический разъём, каждое соединение. Оказалось, что в большом файловом сервере таких соединений — пара сотен как минимум.

Мы втроём образовали некий конвейер: сначала деталь мылась просто под краном в струе воды. Ну а чо, если что-то пролежало сутки под водой, то дополнительное омовение хуже не сделает. Потом эта же деталь мылась в воде из-под фильтра с обратным осмосом. Очень важно было убрать любые возможные соли, которые в избытке присутствуют в водопроводной, и уж тем более в речной воде, поскольку минимальное содержание соли в металлическом контакте могло привести к ухудшению или полной потере электрического контакта через день-неделю-месяц.

После омовения в фильтрованной воде каждая деталь вытиралась сначала в бумажном полотенце, а затем высушивалась под струёй воздуха из мощного фена. После такой обработки, когда деталь казалась абсолютно сухой на ощупь, она помещалась в комнату с работающим на максимальное охлаждение кондиционером. Кондиционеры очень сильно высушивают воздух. Под кондеем все детали провели 24 часа и выглядело это как-то так:




После просушки я начал потихоньку собирать всё до кучи. Сразу же перебрал и смазал все блоки вентиляторов. Собирался сервер в обратном порядке, с использованием этих и множества других фотографий. Кстати, фотки были сделаны в спешке, на телефон — про какие-то публикации тогда и мыслей не возникало. Так что расфокус, движ и недоэкспонирование на картинках присутствуют, знаю. Так вот, собирал значит я это чудо ещё пару-тройку вечеров после работы. Собирал-собирал, и собрал. Настал момент первого запуска.

Вам знакомо это чувство, когда время растягивается подобно жевательной резинке, и каждая секунда становится удивительно длинной? Мир как будто притормаживает в замедленной съёмке и ты можешь разглядеть в деталях все его изменения в эти моменты. Нажимаю на кнопку «Power», проходит одна секунда – ничего не происходит. В голове крутятся мысли: все ли провода соединил, может чего забыл, может перепутал и сейчас коротнёт с искрами и бабахами. Но всё тихо, просто ничего не происходит.

Проходит вторая секунда – тишина, слышно как поют птички за окном. Сам замер и думаешь: ну неужели столько усилий и времени было потрачено напрасно? Ведь вроде же всё правильно сделал, минимум трижды проверил при сборке, знаю теперь этот сервер как свои пять пальцев… Неужели зря?
Долго тянется третья секунда, что-то происходит в обширных электронных внутренностях старой машины, как будто старикан решает – жить ему дальше, или помирать.

Сервер ожил. Бодро зашумели вентиляторы, зажглись ряды светодиодов, освещая идеально чистые внутренности зелёными и красными огнями. На мониторе замелькали ругательства на нерусском языке про несоответствие контрольных сумм, отсутствие загрузочных дисков, и прочее ворчание. Это всё были мелочи, вполне ожидаемые, ведь аккумуляторы из материнской платы и дисковых контроллеров были вынуты и почти двое суток находились на просушке. Но самое главное – железка включилась, прошла самодиагностику и была готова к дальнейшим трудовым подвигам.


Из прямых потерь: мы лишились пяти жёстких дисков из 36ти. Плюс системный SSD, который начал чудить и был отложен на склад. С ним пока непонятка. Также вылетел один из 4х блоков питания. Ещё один был неисправен до потопа, так что сейчас железка выезжает на половине от штатных БП, но их суммарной мощности хватает с большим запасом.

К косвенным потерям можно отнести потерю данных и переустановку системы. RAID-массивы пришлось пересобирать заново, поскольку контроллеры были сброшены в дефолт, а часть дисков – стала предметом интерьера. Этот конкретный сервер использовался для хранения бэкапов и под вспомогательные задачи, типа архива музыки для нашей радиостанции. Так что особой трагедии с данными не произошло, хотя могло быть и хуже. Ну вот ещё сервер CS на нём был, да.
В полном порядке оказались материнка, ЦПУ, память, 31 жёсткий диск, и корпус с контроллером и блоками питания (кроме одного) и толстенными пучками разноцветной сигнальной проводки. Все вентиляторы, после просушки и смазки, оказались также вполне работоспособными. Напомню, файловый сервер провёл почти сутки под водой, в речной тине и болотной жиже. И сейчас, после реанимации и переустановки операционной системы, он вот уже несколько месяцев нормально работает.

После всей этой истории я сделал для себя несколько выводов. Вернее как сделал, знал всё это и раньше, но в теории, без практического подтверждения. Прежде всего, сама по себе вода для электроники не так уж и страшна. Страшна вода в сочетании с электричеством или воздухом, поскольку в первом случае сильные токи могут распространяться непредсказуемо, выжигая нежную электронику на своём пути. А во втором – окисление может сожрать токопроводящие дорожки, выводы микросхем, нарушить контакты, или наоборот создать ненужные перемычки.

Ну и самое главное — стоит верить в чудеса, они иногда случаются.
Вот такая у нас у связистов скукота.