Авария: причины и уроки

Добрый день!

Если вы читаете это сообщение, значит процесс восстановления после аварии завершен и сайт вернулся к работе. Считаю нужным объясниться перед сообществом за недельный простой. И так как всё происходило:

0) Как вы знаете, по причине повышения курса доллара, в конце сентября сайт переехал из уютного дата-центра в Голландии в московский дата-центр компании Инфобокс. 

1) Вечер пятницы. Около 8 часов вечера сервер стал работать нестабильно и я решил перезагрузить его из панели управления сервером. После перезагрузки сервер не включился, и я сразу же написал в тех.поддержку с прочьбой помочь.

2) К сожалению понадобилась помощь верховного администратора хостинг-прощадки, который в выходные дни отсутствует. Первое сообщение от администратора последовало в 4.30 утра во вторник.

3) В течении дня анализировали причины и последствия сбоя. Худшие прогнозы сбылись и на сервере произошел масовый сбой файловой системы, который затронул в том числе и системные файлы. Т.е. сервер стал непригоден для запуска чего-либо.

4) В среду начались работы по переносу файлов, настроек и базы данных на новый сервер, подальше от дата-центра компании Инфобокс и поближе к Саратову. Спасибо хорошим людям, быстро предоставившим нам новый сервер прямо в Саратове.

5) В процессе переноса обнаружилось, что повреждена база данных. Последняя резервная копия базы данных датирована 18 октября. Оставшееся время заняли безуспешные попытки восстановить базу данных до последнего состояния, но к сожалению метаданные(комментарии, новости, посты, описания фотографий) потеряны за период с 18 октября до 14 ноября (дата сбоя). Внимание! Файлы фотографий не потеряны, потеряны только описания. Вытащил из резервной копии все файлы, добавленные за этот период. Нам придётся добавить их вновь. Ссылка на архив с файлами: https://s3.eu-central-1.amazonaws.com/oldsaratov.ru/backup.zip

6) Потеряна так же вся техническая работа за последний месяц (новая карта, фильтры, пейджинг). Будет восстановлена в ближайшее время.

Естественно я извлёк уроки из произошедшего:

1) Система резервного копирования файлов отработала отлично и по моим оценкам ни один файл не потерян.

2) Настроена система ежедневного резервного копирования базы данных во внешнее хранилище.

3) Наш новый хостер в ближайшее время обещал настроить еще один "контур" резервного копировани, на своё оборудование.

4) В следующие выходные будет произведена попытка создать оффлайн-версию сайта, которую вы сможете записать себе на жесткий диск и стать одним из "хранителей", которые помогут вернуть данные в случае глобального сбоя всех систем резервного копирования или злонамеренных действий.

Прошу извинений у сообщества, половина произошедшего - моя вина. Надеюсь такого больше не повторится.

В течении ближайших нескольких дней будет продолжена мелкая настройка нового сервера для поднятия производительности.

Обо всех проблемах сообщайте в комментариях.