?

Log in

No account? Create an account
Журнал Друзья Календарь Биография Пещера Назад Назад Вперед Вперед
А гентушники у меня во френдах есть :)? - Timur I. Bakeyev
Безумный Тимурк
b_a_t
b_a_t
А гентушники у меня во френдах есть :)?
Требуется помощь зала :) На собеседовании задали вот такие вопросы, даже не знаю, что им и ответить по-серьезному:

1. Какие линуксовые ядерные патчи вы бы посоветовали для высоконагруженного Веб-сервера?
2. Как бы вы организовали контроль версий веб-приложений на Gentoo/PHP для кластера из 500+ узлов, при условии, что на них устанавливается один и тот же код. Как бы вы организавали обновление ОС в таких условиях - локальная или удаленная сборка, перезагрузка узлов которые уже используются в продакшене. Как бы вы спланировали обновления PHP в таких условиях? Объясните ваш выбор.
3. Предоставьте дизайн системы, которая бы позволяла на основе Apache access.log сделать обзор, какие страницы были посещены с определенного IP адреса. Система должна маштабироваться для 500+ узлового веб-кластера. Предоставьте ваши конфигурационные файлы/скрипты и объясните ваше решение и насколько оно маштабируемо.
4. Предоставьте скрипт бекапа базы MySQL, без ее остановки. Размер данных 100+ Гб и в нее постоянно ведется запись, так что приостановка соединений/записи даже на 0.1сек невозможна.
5. Предоставьте скрипт, который изменяет таблицу роутинга таким образом, что весь исходящий трафик с адреса 192.168.10.15 уходит через гейт 192.168.10.254, а весь остальной - через 10.0.0.254.
6. Как бы вы организовали устойчивый к падениям load balancer, способный обрабатывать поток в 500-1000Mbit пакетов SYN/ACK/FIN. Серверы распологаются в разных подсетях. Используйте OpenSource решения. Объясните, насколько маштабируемо такое решение.

Tags:
Current Mood: artistic artistic

Читать 30 комментария или Leave a comment
Comments
dil From: dil Date: May 17th, 2011 02:31 pm (UTC) (Link)
свят-свят.. генту, php, куды ты вляпался??

1. Я бы посоветовал пользоваться готовыми ядрами, которые собирают специализирующиеся на этом люди.

2. rsync? сборка однозначно локальная, какой смысл собирать одно и то же на 500 одинаковых машин.

5 я еще как-то смогу написать, почитав мануал от ip route, а остальное - совсем ПИЧАЛЬ.
b_a_t From: b_a_t Date: May 17th, 2011 02:40 pm (UTC) (Link)
Да это местный вариант Фейсбука. Вот с какго-то хрена у них Генту. Посему, видимо все надо пилить руками :(

1. Ну, надо знать, где их искать, эти ядра.
2. Ну, rsync первым в голову приходит, но может есть более маштабные решения - все же, синхронизировать 500+ машин - это долго.

Вот, тебя тоже не возьмут :)
oldmann From: oldmann Date: May 17th, 2011 02:36 pm (UTC) (Link)
а они не хотят сначала забашлять тебе ДЕСЯТЬ ТЫСЯЧ ЕВРО, особенно за написание скриптов?
b_a_t From: b_a_t Date: May 17th, 2011 02:37 pm (UTC) (Link)
Я думаю, они бедные и хотят решить проблемы со скриптами путем собеседований :)
b_a_t From: b_a_t Date: May 17th, 2011 02:36 pm (UTC) (Link)
4-й, я думаю, влет решается выделенным backup-slave. Но какие скрипты?! Наливай да пейБери и бекапь, как хочешь.

5-й - типичный, source routing. Думаю, с помощью команды ip делается тоже легко(?).

С load-balancer непонятно - из чего его собирать.

Edited at 2011-05-17 02:37 pm (UTC)
tobotras From: tobotras Date: May 17th, 2011 02:59 pm (UTC) (Link)
LVS?
samuel_smith From: samuel_smith Date: May 17th, 2011 02:59 pm (UTC) (Link)
Я к генту использую только ненависть. По пунктам:

1) Лучше всего НЕ использовать патчи в случае отсутствия явной необходимости это делать. Особенно это касается свежих ядер - в старые по понятным причинам (ентерпрайз) бекпортят кучу вкусностей из новых.
2) Ну логично что удаленная только. По поводу PHP могу посоветовать никогда не обновлять major (5.2 -> 5.3) без длительного общения с разрабами и q&a по поводу этого.
3) Ну я бы на перле сделал локальные задачки которые раз в минуту (или в режиме тейла) читают аксес лог и сливают выжимки (или даже раудата) в главный мискл. Главный мискл и отвечает за выборки. Я бы рекомендовал еще сделать мастер-слейв чтобы не перегружать мастер запросами и не блокировать запись.
4) Не бывает. Совсем. Никогда. Точнее - бывает когда есть zfs (фря, солярис). Снепшоты в лвм - говно и х.ета. Если все в иннодб - в принципе катит percona XtraBackup, скрипт в комплекте. Еще можно предложить построить слейв, бекапить его и иногда сверять с мастером через mk-query-checksum.
5) man source routing
6) Я бы наверное предложил LVS. Но меня смущают разные сети. В таком случае хапрокси или тот же варниш (речь же о tcp). Поток пакетов суть неграмотно, флоу примерно похуй в отличии от количества в секунду. И да, фря флоу в 700 мбит на среднем железе проксировала, думаю и линух да. Так как речь явно о tcp - можно юзать haproxy, например, но потеряется сорус. Для устойсивости к падениям - heartbit. Для масштабирования - группа балансеров и Л2 балансер перед ней, например.

Как-то так
mona_sax From: mona_sax Date: May 17th, 2011 03:22 pm (UTC) (Link)
счаз попытаюсь призвать loginex в псто :)
loginex From: loginex Date: May 17th, 2011 03:35 pm (UTC) (Link)
4. невозможно, только при запуске slave сервера и бекап уже с него.
5. ip rule add from 192.168.10.15 table 10 priority 5
ip route add default via 192.168.10.254 table 10
ip route add default via 10.0.0.254
6. freebsd с netgraph
kayakru From: kayakru Date: May 17th, 2011 05:37 pm (UTC) (Link)
плюсанусь - правда за фрю гентушники могут зобанить
duke_igthorn From: duke_igthorn Date: May 17th, 2011 06:49 pm (UTC) (Link)
После субжа про генту я логично прочел "требуется помощь зла"
b_a_t From: b_a_t Date: May 17th, 2011 06:52 pm (UTC) (Link)
Да! Зла не хватает!
techquisitor From: techquisitor Date: May 17th, 2011 07:14 pm (UTC) (Link)
По второму вопросу cfengine, puppet. Но скажу честно ,сам не юзал, но ребята из Apache Foundation гоняют это вовсю.

По остальному совсем печаль. Хайлоад видел только издали, но могу спросить конь-петентных товарищей.
amsterdanin From: amsterdanin Date: May 17th, 2011 07:56 pm (UTC) (Link)
странно, выглядит так, будто им нужен не новый сотрудник, а ответы на эти вопросы ))))
rusmafia From: rusmafia Date: May 17th, 2011 09:36 pm (UTC) (Link)
а я больше не гентушник! ура ура ура!
Могу на пост не отвечать. ля-ля-ля-лляя!

гы.
kiltum From: kiltum Date: May 18th, 2011 09:20 am (UTC) (Link)
Ндас, ну ты и вляпался ...

1. Никакие. Стабильность вперед скорости. лучше серверов добавить, чем патчами баловаться.
2. елементарно. сделать свой, локальный ебилд, выделить тестовую зону и потом на остальные уже заливать бинарники. в общем, в манах на портедж расписано.
3. еще один велосипед. логи в базу и делай что хошь. или логи на одну машину и запарсистесь. в общем, надо смотреть
4. идиоты. а так - поднимает слейв сервер и его уже мучаем бекапами. но идиоты, да, в мускл 100 гигов пихать, а если он еще и один ...
5. лень читать маны по ip
6. всего гигабит? судя по вышеприведенным запросам, это вебовская херня. значит тупо ставим на фрот чего-нить быстро кеширующее. типа nginx и обвязываем скриптами мониторинга

Читать 30 комментария или Leave a comment