| Человек с нотбуком ( @ 2008-05-14 13:28:00 |
Проблема с Content Delivery System
Ну даже не знаю с чего начать. В общем есть кластер на массивной отдаче контента. Массивная это 240 МБит/сек и выше.
Контента дохрена. 80 гбайт. Разного. От маленьких тумб и элементов дизайна до мувиков по 2-5-15 мбайт.
На отдаче стоят 3 сервака:
Dell бла-бла 2xSAS RAID 0
FreeBSD 6.2 RELEASE amd64
Сначала я между ними и клиентами всунул балансировочный прокси под nginx. Картина была такая:

Как видно, упиралось в потолок примерно 220 Мбит/сек - и это 3 сказевых рейда 0! Я посчитал и обнаружил, что трафик между прокси и серверами превышает трафик между прокси и клиентами примерно на 30% за счет более быстрого канала прокси-бекенды.
Решил прокси удалить и отдавать непосредственно с серверов методом ДНС-рулетки. Получилось вот что на каждом:

При этом gstat показывает почти полную загрузку винтов.
Все равно, потолок в районе 90Мбит! 90х3 = 270 Мбит это максимум, что можно выжать из этих трех.
Вопрос. Неужто все так плохо и сасовский рейд так мало тянет? Или это случайное чтение так его стопорит?
У меня ОДИН скази на параллельном проекте отдает 150 не напрягаясь. Правда там преимущественно большие файлы FLV (Xтуб).
Что можно сделать? Я уже тюнил все что можно ) Упираюсь в скорость чтения винтов и ппц :(
Ну даже не знаю с чего начать. В общем есть кластер на массивной отдаче контента. Массивная это 240 МБит/сек и выше.
Контента дохрена. 80 гбайт. Разного. От маленьких тумб и элементов дизайна до мувиков по 2-5-15 мбайт.
На отдаче стоят 3 сервака:
Dell бла-бла 2xSAS RAID 0
FreeBSD 6.2 RELEASE amd64
Сначала я между ними и клиентами всунул балансировочный прокси под nginx. Картина была такая:

Как видно, упиралось в потолок примерно 220 Мбит/сек - и это 3 сказевых рейда 0! Я посчитал и обнаружил, что трафик между прокси и серверами превышает трафик между прокси и клиентами примерно на 30% за счет более быстрого канала прокси-бекенды.
Решил прокси удалить и отдавать непосредственно с серверов методом ДНС-рулетки. Получилось вот что на каждом:

При этом gstat показывает почти полную загрузку винтов.
Все равно, потолок в районе 90Мбит! 90х3 = 270 Мбит это максимум, что можно выжать из этих трех.
Вопрос. Неужто все так плохо и сасовский рейд так мало тянет? Или это случайное чтение так его стопорит?
У меня ОДИН скази на параллельном проекте отдает 150 не напрягаясь. Правда там преимущественно большие файлы FLV (Xтуб).
Что можно сделать? Я уже тюнил все что можно ) Упираюсь в скорость чтения винтов и ппц :(