?

Log in

No account? Create an account
Журнал Друзья Календарь Биография Пещера Назад Назад Вперед Вперед
На днях пришлось опять провести всю ночь без сна, восстанавливая… - Timur I. Bakeyev
Безумный Тимурк
b_a_t
b_a_t
На днях пришлось опять провести всю ночь без сна, восстанавливая mySQL slaves из-за очень странной ошибки на мастере.

Проявилась данная ошибка в том, что за меньше, чем сутки мастер умудрился залить на slaves 250Гб апдейтов, после чего там кончилось место(а не то он бы еще залил). Анализ дат binlogs показал, что новый гигабайтный лог добавлялся каждые три минуты. Очевидно, что даже при 100% загрузке сервера столько изменений нагенерить было нереально. Откуда же тогда взялись все эти данные? Так бы и осталась эта загадка нерешенной, если бы один из девелоперов не предложил сравнить соседние логи. Простого cmp оказалось достаточно, чтобы выяснить, что все 250 фалов - суть копия одного и того же файла!

Это как минимум объясняет, откуда взялся такой устойчивый мощный поток данных. Но, конечно, так и не ясно, что же взглюкнуло на сервере, что у него не изменялся внутренний счетчик binlogs.

В общем - beware, here live dragons.

Current Mood: bitchy bitchy

Читать 3 комментария или Leave a comment
Comments
abbra From: abbra Date: June 27th, 2008 03:33 am (UTC) (Link)
Было такое с fossplanet один или два раза. Ровно такие же симптомы.
oldmann From: oldmann Date: June 27th, 2008 05:07 am (UTC) (Link)
это надстройка над грепом глючит)
dbrane From: dbrane Date: June 28th, 2008 05:39 pm (UTC) (Link)
У нас в таких случаях спрашивают "где, сцуко, твой мониторинг?" :-)
Читать 3 комментария или Leave a comment