High Load WebProjects

Gluster FS. Кто-нибудь использовал в продакшене?

2008-10-08T12:29:55Z

Прошел очередной хайлоад (тот который бунинский, если быть точнее), был доклад под GlusterFS. Доклад пропустил, был в другом зале, видео пока не выложили. Почитал собссно про глюстер. То, что его пишут индусы, про глючность, скорость и проч. Но если NFS - это зло, то кто-нибудь использовал это чудо-глюстер в продакшене, поделитесь результатами? Официцальных клиентов без патчей и непонятных портов ни под солярис, ни под бсд не вижу - только сервера. Это уже без тестирования оттолкнуло.
Жду комментов, спасибо.

offtopic - HL++ afterparty

2008-10-06T18:44:02Z

Кто собиратся на "afterparty" HL++, напишите здесь как соберетесь, я завтра присутствовать не буду, поэтому процесс принятия решения пропущу, но вечером не прочь присоединиться и пообщаться за кружечкой пива.

ru_highload @ 2008-10-06T09:23:00

2008-10-06T05:22:30Z

Начинается трансляция из обоих залов конференции разработчиков высоконагруженных систем HighLoad++. Наш видеопартнер будет гнать два сигнала (по числу залов) из Инфопространства — смотрите!

Ищем крутого PHP-разработчика в команду проекта ФотоСтрана

2008-10-04T10:00:11Z

Ищем крутого PHP-разработчикав команду HighLoad-проекта ФотоСтрана

Требования:

Профессиональное владение web-технологиями:PHP 5.0 + MySQL 5.0 + JS + AJAX + xHTML + CSS и инструментами.
Опыт быстрой разработки web-проектов;
Опыт участия в разработке highload-проектов;
Наличие сделанных веб-проектов;
Умение работать самостоятельно;
Желание работать быстро и на результат!

Обязанности:

Разработка front-end и back-end проекта;
Участие в развитии социального проекта.

Приветствуется:

Знание Zend Framework;
Наличие собственных работающих проектов.

Условия:

Классная молодая команда;
Стремительно растущий интернет-проект;
Полный рабочий день (10:30-19:30);
В центре города Санкт-Петербург – 3 минуты от м. Чкаловская;
Комфортный и просторный офис – комната отдыха, теннисный стол, душевые, массажное кресло;
Конкурентное вознаграждение от 40.000, соответствующее умениям и притязаниям;
Социальный пакет, оформление согласно ТК, питание и иные блага.

Подробности, контакты и тестовое задание здесь: http://job.fotostrana.ru/

Вопрос по рейдам

2008-10-01T20:46:18Z

Накопилось несколько вопросов по рейдам.

Область применения: массивная отдача смешаного контента
Соотношение чтение/запись: 100000000/1
Интересует эффективность: IOPS
Не интересует эффективность: свободное место

Вопрос, рейды какого уровня использовать на отдаче?
Какой коэффициент использования суммарного IOPS винтов дают рейды уровня 5 и 10 на полностью случайном доступе?

Например, рейды уровня 1 и 0 из двух дисков - оба дают суммарный IOPS=2x (практический опыт)

Рейд 5го уровня из 5 дисков даст ли 5х?
А 10ка из 10 дисков даст ли 10х?

И что лучше, заюзать 2х RAID5 из 5 дисков каждый или один RAID5 из 10? Или монописуально?

IO по дискам распараллеливается с помощью IBM GPFS.

Зараннее спасибо.

Amazon WebServices

2008-10-01T10:09:17Z

Присматриваемся к Amazon WebServices для одного проекта. Проект пока живет на одном средненьком сервере, но возможны скачкообразные повышения посещаемости, посему aws выглядит достаточно интересно.

Интересно узнать, какие крупные проекты используют aws (в особенности интересно про EC2)?

С S3 и CND все в общем-то понятно - приемлимо стабильный и удобный сервис, благо статтики у нас там не очень много.

Сложнее с EC2 и EBS.
Сейчас проект работает на nginx -> JBoss -> postgresql. Интересно было бы выделить на каждый из этих уровней по одному или нескольку соответственных инстансов.

Чтобы не было секса с восстановлением после краха инстанса, базу хочется вынести на EBS. Насколько медленно это будет? Соотношение примерно read/write примерно 70/30.
Может быть есть другие идеи относительно того как минимизировать потери и простой в случае коллапса (скажем если все инстансы вдруг грохнулись).

Если тут есть люди, которые используют/использовали/отказались от использования, поделитесь мнениями пожалуйста.

ru_highload @ 2008-09-27T19:12:00

2008-09-27T15:12:53Z

mysql начинает съедать до 80% CPU. как узнать какие запросы грузят его больше всего?

Тестирование кластерных FS

2008-09-26T20:10:22Z

Наткнулся на интересный материал по кластерным FS. Тут одни товарищи из CERN'a тестили кластерные FS и технологии. Были протестированы: Lustre, dCache, DPM, Xrootd, AFS, GPFS.

Люстра разорвала всех на случайных доступах

http://indico.cern.ch/materialDisplay.py?contribId=28&sessionId=10&materialId=slides&confId=27391

(результаты в конце презентации)

ehcache: время жизни объектов и повторная загрузка из базы

2008-09-21T20:54:41Z

Здравствуйте. Есть вопрос архитектурного характера, но в моём случае я его пытаюсь решить с учётом наличия ehcache в проекте. Исходные данные таковы: timeToLive - один час, timeToIdle - пол часа. Есть класс через который клиенты получают данные, методы класса сначала ищут объект в кэше, если нету, то грузят данные из БД и кладут в кэш, а результат возвращается клиенту. Как выяснилось достаточно быстро пользование timeToLive было ошибочным решением. Ситуация такая:

1) большая нагрузка на сервер
2) в какой-то момент объект который всем нужен умирает из-за timeToLive
3) образно выражаясь около 20 working-threads одновременно заходят в метод getSomeObject, он пытается взять из кэша, данных нет и начинается загрузка из базы.

Теперь о печальном. Объект большой, загрузка ~6 секунд, из-за того что все 20 тредов грузят одно и тоже на БД получается всплеск нагрузки и всё работает ещё медленнее - слишком много потоков читает из базы, все рабочие HTTP потоки этим заняты и другие клиенты просто отваливаются ничего не получив.

Я решил что надо отказаться от timeToLive вообще, но непонятно тогда каким образом периодически обновлять данные в кэше новыми из базы. Я не могу проитерироваться по всему содержимому кэша и проверить возраст объектов. В идеале я бы хотел чтобы было некое событие от кэша которое говорит что объект устарел, но из кэша его НЕ удаляет. Тогда бы я в отдельном потоке загрузил новую версию объекта, а в это время все клиенты получали старьё. К сожалению CacheEventListener.notifyElementExpired вызывается ПОСЛЕ того как объект уже выкинут из кэша. В чём, мля, его смысл когда есть notifyElementEvicted, мне глубоко не ясно. В то же время я не могу положить его обратно из event handler метода, это вызывает дедлок рабочего потока ehcache.

В данный момент я сделал следующее. Завёл у себя hashmap в котором я храню устаревшие объекты, метод который возвращает объект проверяет его наличие сначала в кэше, потом в этом мапе, а потом уже берёт из базы. Так же есть отдельный таймер который периодически проверяет нет ли у меня что-то в очереди устаревших объектов и подгружает их из базы. Это работает, но мне не нравится 3 вещи:

1) все эти манипуляции неатомарны, всегда есть момент когда код вызывающий getSomeObject окажется в ситуации что он полезет в базу
2) дополнительные блокировки на модификацию и доступ к контейнерам с устаревшими объектами
3) всё это выглядит слишком сложно, если мне надо будет писать такую логику под другие объекты это будет copy-paste

Что посоветуете?

Спасибо.

До «РИТ: Высокие нагрузки» осталось 6 дней

2008-09-16T08:58:01Z

Напоминаю, что конференция «РИТ: Высокие нагрузки» пройдёт 22-23 сентября в Москве, в «Инфопространстве».

На ней выступят ведущие архитекторы, разработчики и администраторы рунета, сотрудники компаний Яндекс, Рамблер, РБК/Медиа-Мир, Mail.ru, SpyLog, Masterhost, SUP Fabric и прочих.

Первый день будет посвящён правилам построения архитектур высоконагруженных систем, базам данных и коммуникационным системам.

Охват тем:

Что такое нагрузка? Как проектировать высоконагруженные сервера? Типовые проблемы и решения. Примеры промышленных архитектур.
Особенности MySQL и Postgres. Хранение данных в Живом Журнале, поискового образа рунета в Рамблере. Альтернативы Amazon S3.
Архитектура коммуникационных систем — Почта@Mail.ru, Instant Messaging.

Во второй день речь пойдёт о вопросах администрирования, тестирования, обеспечения безопасности, различных инструментах, а также примерах построения архитектур медиа- и поисковых систем.

Охват тем:

Организация защиты от DDOS-атак и перегрузки при наплыве посетителей.
Как хранятся и выдаются фотографии на проектах Яндекс.Фотки, Photofile, Netprint.
Как организуется выдача видео в Smotri.com, как сделать видеосервер своими руками.
Современные проблемы и способы их решения в поисковых системах Gogo.ru и Rambler.
Инструменты виртуализации, распределённых вычислений, организации локального поиска.
Мониторинг состояния большого парка серверов, организация нагрузочного тестирования и обеспечения производительности.

Полная программа 2-х дней: http://www.highload.info/program/

ru_highload @ 2008-09-12T12:47:00

2008-09-12T08:48:04Z

На сервере сидит несколько проектов. Покидайте пожалуйста ссылок, чем можно визуально отслеживать нагрузку на сервер, кроме пресловутых ps и top. Заранее спасибо ;)

Cluster cron daemon

2008-09-11T15:39:55Z

У меня вопрос к коммюнити: Подскажите готовый и работающий cluster cron демон. Иногда нужно запустить несколько заданий в рамках WEB фермы, но только в 1 экземпляре. Причем гарантированно в 1. Также обязательное требование - HA режим работы. Есть уже подобные готовые решения, или надо писать свое?

Конференция по разработке высоконагруженных систем HighLoad++

2008-09-09T06:03:54Z

UPDATE: Встреча прошла успешно! Всем спасибо! ;-)

Коллеги, напоминаю, что сегодня с 19:30 и до вечера в зале Ведомости конференц-центра Экстрополис (Москва, Трехпрудный переулок, дом 9) состоится встреча докладчиков конференции HighLoad++. Встреча последняя — до конференции больше публичных встреч не будет.

Будем обсуждать доклады, что не обсудили в прошлый раз — нам нужно дать рекомендации оставшимся 30 докладчикам из тех, кто может присутствовать на этой встрече. По пять минут на доклад — докладчик выходит, рассказывает про свое выступление, а мы даем ему рекомендации о том, как сделать доклад идеальным: интересным, актуальным, живым и полезным. Сегодня же можно будет задать имеющиеся вопросы, предложить выступления в программу и так далее.

Вход свободный! Ждем всех желающих!

PS: В комментариях можно оставить пожелания докладчикам — я передам.

Где человек не прав ?

2008-09-03T14:19:31Z

Попалась на глаза статья: http://club.shelek.ru/viewart.php?id=300

Человек побил memcache "аки слон раздавил муху...".....гложут сомнения - не пойму, где он не прав ??

SSD накопители

2008-08-24T18:26:44Z

На поле битвы с рандмными сиками я провел уже пару лет и чес говоря уже устал ))

Технология же твердотельных накопителей обещает исключить эту проблему как таковую на корню. Но пока они достаточно дорогие, однако не дешевле моих кластеров дисковых массивов :) А по сему присматриваюсь.

Юзал ли кто SSD диски в серъезных продакшенах? Интересуют общие отзывы а так же более конкретные вопросы:

- Как вообще у SSD с юниксами? Глюки, баги, етц
- Насколько SSD надежны? Встречал довольно печальные отзывы и пеняние на сырую технологию.

Расширение SQL

2008-08-23T06:54:18Z

Расширение SQL для обеспечения согласованной работы распределенного кэша - как это сделано в Facebook. И некоторые мысли по этому поводу.

РИТ: Высокие нагрузки — Программа на 20 августа

2008-08-20T13:32:46Z

Программа конференции «РИТ: Высокие нагрузки» значительно обновилась. Отчасти это обусловлено договоренностями о партнерстве с членами ассоциации «Интернет и бизнес» (Яндекс, Рамблер, Мейл.ру, Ашманов и партнеры, РБК-МедиаМир и многие другие), отчасти — усиленной работой экспертного совета.

На тему проектирования масштабируемых систем и выбора архитектуры подано около десяти заявок. Одни из самых интересных пришли от Андрея Шетухина (архитектор проектов SUP Fabrik), тезисы уточняются. Антон Федоров готовит доклад о выборе архитектуры нагруженного проекта, опираясь на примеры Goodoo-IT и Инфоскан.

Разработчики холдинга РБК-МедиаМир — технический директор Александр Горный и начальник отдела системных разработок Лавплэнет, Влад Лесин — поделятся опытом разработки нагруженных сервисов. Игорь Ермаков (Мейл.ру) расскажет об архитектуре и особенностях почты и Мейл-агента.

К участию в секции приглашены разработчики РуЦентр с докладом о нагруженном DNS. Отдельным потоком хотелось бы выделить доклады от Smotri.com, Rutube об организации потокового вещания и кэширования видео. Михаил Костин, бывший разработчик Апорта, ныне работающий над gogo.ru выступит с докладом о поиске и индексировании видео.

В секции «Базы данных» заявлено выступление Максима Богука (системного архитектора .masterhost): «Использование Slony-I в решениях на PostgreSQL в больших проектах. Теория и практика».

В этой же секции о масштабировании PostgreSQL расскажут лидеры Postgresmen — Николай Самохвалов и Иван Золотухин. Готовят доклад их коллеги из Skype.

В секции «Инструменты» есть два новых доклада. Первый сделает Дмитрий Котеров (Яндекс.МойКруг): «Тэги для Memcached — Best Practice». Второй — Андрей Аксенов (Sphinx): «Как сделать поиск на Sphinx».

На темы администрирования и тестирования мы пригласили выступить сотрудников Яндекса: Тимура Хайруллина («Методики нагрузочного тестирования») и Максима Лапань («Система мониторинга Яндекса»), а также Сергея Мартынова (технического директора НотаМедиа) и Дмитрия Лоханского (Z-Support CEO).

С темами выступлений до конца недели определятся Дмитрий Криков (член экспертного совета конференции, технический директор .masterhost) и Сергей Скворцов (SpyLog, руководитель департамента веб-сервисов).

Напоследок напомним о том, что на нашу конференцию приглашены разработчики Digg.com, FriendFeed, Amazon, eBay, Twitter и Flickr.com.

Регистрируйтесь!

Файл-хостинговый скрипт

2008-08-15T14:26:57Z

Поглумиться захотелось ))

Просили разобраться почему данное чудо света тормозит дуал кор на посещаемости 10к в сутки: http://yabsoft.com/products.php

- складывает все аплоады в одну директорию
- весь процесс даунлоада контролируется ПХП скриптом (!!!) - скрипт мало того, что сам отдает файл, но и контролирует бендвич, в процессе даунлоада пишется статса в mysql (ignore_user_abort, все дела). Т.е. X-Accel-Redirect тут вообще никак, система сломается. Жесть в общем.

В результате:
LA ~ 20-30 стабильно
CPU % idle = 0 стабильно (Dual Pentium(R) 4 CPU 3.20GHz)
Disk IO util = 100%
дикие глюки с файловой системой в плане свободного места. Оно постоянно куда то исчезает.

Единственное что, апачик кушает "всего лишь" 500М из 4 гиг ))

Разработчик пришел на сервер, посмотрел, грит, блин, да это нормальная нагрузка на этой посещаемости!

Первый случай в моей практике. Диагноз - не лечится. Ну кроме того, что на каждые 250 гиг контента ставить Quad Xeon.

(или я не прав?)

Talk Request: Выбор технической архитектуры для веб-стартапа

2008-08-08T08:57:16Z

Хочу встретиться и обсудить следующие вопросы:

Какие данные нужны для выбора архитектуры
Какие факторы необходимо учитывать
Что делать, если данных не хватает
Стоит ли привлекать других технических экспертов, в каком составе и как
Как убедиться в квалификации эксперта
Как принимать решения, какие правила использовать
Какие инструменты стоит использовать
Как оформлять документацию с обоснованием платформы и архитектуры
Сколько времени и денег может отнимать процедура выбора
Как учитывать и использовать риски

load balancer + копия request

2008-08-07T11:23:23Z

Хочется странного, хочется такой прибор который входящий реквекст бы load-balance-ил на N серверов обычным образом плюс отправлял копию реквеста на отдельный сервер. Т.е. вроде как обычный load balancer - отправил на выбранный сервер, получил обратно response переправил клиенту, только с дополнительной фичей.

На этом дополнительном сервере, я планирую собирать статистику, читать куки, смотреть IP и всё такое, но собственно сам запрос обрабатывать не собираюсь, т.е. никакого вменяемого response не будет.

Можно было бы, наверно, поставить этот сервер перед load balancer-ом как некую proxy но мне не хочется что бы сбор статистики каким-либо образом тормозил собсвенно обработку запросов + если случится затык на этом сервере, то это не должно отразится на всём сервисе.

Можно было бы логи парсить, но к сожелению, одно из бизнес требований - real time

Внимание вопрос - чем бы такое организовать? Наш обычный load balancer такого не умеет.

fs для очень большого количества файлов

2008-08-04T16:39:32Z

Стоит ли использовать UFS и вообще freebsd 6.* 7.* для хостинга очень большого количества относительно мелких файлов ? Linux ext3 || xfs ? FreeBSD & ZFS ?

IBM General Parallel File System

2008-07-29T13:16:01Z

не могу найти сурцы GPFS от IBM
подскажите пожалуйста, где бы сурцы скачать?
хотим построить небольшой кластер на основе GPFS.

большая медиавики

2008-07-28T09:58:55Z

мы тут делаем серьезный проект на платформе semantic mediawiki

начальный этап:
1к юзеров
10к страниц
5гб данных

планируется рост по крайней мере на 3 порядка, т.е.
1м юзеров
10м страниц
5тб данных

юзеры делают страницы, заливают картинки, ищут, смотрят
- читают больше чем пишут

насколько я понимаю, сам движок медиавики такое потянет, поскольку объем википедии такого же порядка

версия в разработке лежит на обычном shared хостинге. интуитивно понятно, что если туда зайдет человек 100 за раз он рухнет нафиг.

основной вопрос такой:
- куда можно положить сайт на первом этапе? недорого - у нас пока нет финансирования (скажем ~$100 в месяц)
-- выделенный сервер?
-- облако?

ну и вообще, о чем думать на тему будущего расширения?
то есть если он за год-два раскрутится в 1000 раз, то я полагаю что об архитектуре нужно думать сразу

Есть несколько вопросов по теме

2008-07-24T17:52:41Z

Сейчас занимаюсь поднятием etherdrive storage san с хранением и отдачей просто опупительного количества мелочи.

Возник ряд вопросов, надеюсь на вашу помощь.

1. Диски у меня приаттачены по гигабитному эзернету к нескольким нодам GPFS. Соответственно, все эти диски видны в /dev/ на всех нодах и все ноды с них читают. Мне нужно оценить утилизацию дисков. Система CentOS 5.1 Набираю:

# iostat -kdx
Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util
etherd/e4.2 0.00 0.00 40.80 0.00 448.90 0.00 22.00 0.22 5.38 4.94 20.14
etherd/e5.2 0.00 0.00 33.00 0.00 356.00 0.00 21.58 0.16 4.73 4.46 14.72
etherd/e4.3 0.00 0.00 28.00 0.00 762.40 0.00 54.46 0.43 15.48 12.86 36.02
и т.д.

На других нодах примерно та же картина. Все читают почти равномерно с одних и тех же физических винтов.

Меня интересует вот эта последняя колонка, которая сообщает % утилизации. На 20% загружен отдельный винт это хорошо. Но это утилизация отдельного диска относительно одной ноды, на которой запущена iostat или суммарная утилизация диска всеми нодами? То есть, на примере. Допустим, на 3 нодах загрузка одного и того же винта, 20%. Вопрос - его фактическая утилизация в таком случае 20*3=60% или просто 20%?

Чую нижним полушарием, последнее, но сформулировать не могу.

2. Дефолтная инсталляция Линуха весьма плохо себя повела на 100% нагрузке. Даже в 3 экземплярах на Quad Xeon 4G RAM. К слову сказать, я в линуксе не очень, чувствую свободнее на FreeBSD. Так вот, сетка дико тормозила, по субъективным ощущениям, было очень много соединений time wait. Покопался в RTFM и поустанавливал такие вот sysctl:

net.core.somaxconn=16384
net.core.netdev_max_backlog=16384
net.ipv4.tcp_max_syn_backlog=4096
net.ipv4.tcp_tw_reuse=1
net.ipv4.tcp_tw_recycle=1
net.ipv4.ip_local_port_range = 2000 61000
net.ipv4.tcp_fin_timeout = 25
net.ipv4.tcp_keepalive_time = 600
net.ipv4.tcp_window_scaling = 0
net.ipv4.tcp_sack = 0
net.ipv4.tcp_timestamps = 0
net.core.rmem_max=16777216
net.core.wmem_max=16777216
net.ipv4.tcp_no_metrics_save=0
net.ipv4.tcp_rmem = 4096 87380 16777216
net.ipv4.tcp_wmem = 4096 87380 16777216

Задача - отдача напрямую Nginx'ом просто немеряного количества мелкой графики и средних мувиков. В принципе мне сейчас больше нравится как ноды себя ведут. Но все равно, покритикуйте?

3. Может кто нибудь знает по какому алгоритму с выбором каких значений считается % утилизации блочного устройства? Хочется скрипт написать, но чето гугленье не помогает.

Определен формат и секции конференции HighLoad-2008

2008-07-24T13:32:15Z

В этом году мы несколько изменили не только формат конференции, но и подход к формированию ее программы. Теперь программный комитет будет представлен более узким кругом приглашенных экспертов в размере 10-15 человек, которые представляют крупнейшие проекты Рунета. Курирование возложено на beskov.

Сами же доклады будут длительность 40-60 минут, что позволит и докладчикам более детально раскрыть тему, и участникам получить не только обзор технологических решений и платформ, но и более углубленное представление о наиболее успешных решениях.

Также на HighLoad в этом году мы применим новый подход к работе с докладчиками — для всех допущенных к выступлению на конференции гуру, предусмотрена материальная компенсация. Мы многого требуем от докладчиков, но и предлагаем немало.

Выбор и проектирование архитектуры;
* Методики
* Кейсы
* Консалтинг
Маcштабирование вычислений;
* Платформы: Perl, PHP, Java
Масштабирование баз данных;
* Общие вопросы
* Специфика СУБД
Технологии;
* Веб-серверы
* Поиск
* Кэширование
* Параллельные вычисления
Тестирование;
* Инструменты
* Процедуры и методики
Администрирование.
* Инструменты
* Процедуры и методики

Следите за развитием событий на highload.info ;)