ИБП для серверной и ЦОД: схемы резервирования, расчёт, выбор
Содержание
Серверная на 20 стоек. Отключение на 30 секунд. Результат — 8 часов восстановления баз данных. Почему ИБП не спас? Потому что его не было. Или был, но на 5 кВА при нагрузке 15 кВА. За пятнадцать лет проектирования ЦОД я видел эту историю в десятках вариаций: от малого бизнеса, где серверная — это шкаф в коридоре, до банковских дата-центров Tier III. И везде корень проблемы один — недооценка требований к бесперебойному питанию.
Серверная — это не дом. Здесь цена простоя считается не в «неудобстве», а в потерянных данных, штрафах за SLA и репутационном ущербе. 30 секунд без питания в ЦОД банка — это не «моргнули светом», это аварийная остановка транзакционных баз, проверка целостности, восстановление из бэкапов. Часы работы команды DBA, миллионы рублей ущерба. Поэтому ИБП для серверной — это не «бесперебойник», это инженерная система, которая проектируется наравне с вентиляцией и пожаротушением.
Разберём, как правильно выбрать ИБП для серверной: требования, схемы резервирования, расчёт мощности, конкретные модели и типичные ошибки.
Требования к ИБП в серверной
Пять требований, без которых ИБП в серверной — это ящик, который создаёт иллюзию защиты. До первого реального отключения.
On-line с двойным преобразованием — обязательно
Только on-line. Серверы чувствительны к провалам и помехам в сети: даже кратковременный провал на 10–20 мс может вызвать перезагрузку сервера или повреждение файловой системы. On-line ИБП с двойным преобразованием полностью изолирует нагрузку от сети: на выходе всегда стабильные 220 В / 50 Гц с чистой синусоидой, что бы ни происходило на входе. Line-interactive с временем переключения 4–8 мс — это компромисс, который в серверной не оправдан.
Нулевое время переключения
В on-line топологии время переключения на батарею — 0 мс. Нагрузка вообще не связана с сетью: инвертор работает непрерывно, батарея подключена к шине постоянного тока. Провал сети не передаётся на выход ни на миллисекунду. Это критично для серверов с APFC-блоками питания, которые могут уйти в перезагрузку при провале 8–10 мс.
Чистая синусоида
Серверные БП с APFC (а это все серверы после 2010 года) требуют чистую синусоиду на входе. Модифицированная синусоида вызывает перегрев APFC-цепей, ложные срабатывания защиты и сокращение ресурса БП. On-line ИБП даёт THD 2–3% — это то, что нужно.
SNMP-карта для мониторинга
В серверной ИБП без мониторинга — это чёрный ящик. Администратор не знает состояние батарей, не видит событий, не получает уведомлений. Когда батарея деградирует (а она деградирует всегда, вопрос только когда) — ИБП молча перестаёт держать нагрузку. SNMP-карта позволяет мониторить ИБП через Nagios, Zabbix, PRTG, интегрировать с системами управления и получать алерты по email/SMS. Без SNMP — вы узнаете о проблеме в момент отключения, когда уже поздно.
Горячая замена АКБ
АКБ — расходник с ресурсом 3–5 лет. В серверной нельзя отключать оборудование для замены батарей — это простой, который недопустим. ИБП должен поддерживать горячую замену батарей (hot-swappable batteries): вынимаете старый модуль, вставляете новый, серверы работают без перерыва. Все серверные ИБП среднего и премиум-сегмента это умеют. Бюджетные — не все.
Схемы резервирования
Один ИБП — это одна точка отказа. В серверной это недопустимо. Поэтому ИБП резервируют. Три основные схемы:
N — один ИБП на всю нагрузку
Самая простая схема: один ИБП питает всю серверную. Резерва нет. Если ИБП выходит из строя — вся нагрузка обесточена. Подходит для малых серверных (до 5 кВА), где простой на 30 минут допустим. Цена — минимальная. Надёжность — минимальная.
N+1 — параллельная работа, один резервный
N ИБП работают параллельно и делят нагрузку между собой. Один дополнительный ИБП — резервный. Если любой из N рабочих ИБП выходит из строя, его нагрузку берут на себя оставшиеся (N рабочих + 1 резерв = N+1, нужно N для нагрузки). Надёжность высокая, цена — на 1/N больше, чем у схемы N. Стандарт для серверных среднего и крупного бизнеса. Примеры: APC Symmetra LX (модульная архитектура с N+1), Eaton 9395 (параллельная работа до 8 модулей).
2N — две независимые системы
Две полностью независимые системы ИБП, каждая на 100% нагрузки. Серверы питаются от двух независимых шин (dual-cord equipment с двумя БП). Если одна система выходит из строя целиком — вторая берёт всю нагрузку. Максимальная надёжность, цена ×2. Стандарт для Tier III/IV ЦОД, банков, телекома. Пример: две системы Eaton 9395 по 200 кВА, каждая на 100% нагрузки, с независимыми батареями и вводами.
| Схема | Надёжность | Цена (отн. N) | Когда применять |
|---|---|---|---|
| N | Низкая (1 точка отказа) | 1× | Малая серверная < 5 кВА, простой допустим |
| N+1 | Высокая (1 ИБП — резерв) | 1 + 1/N | Средний бизнес, ЦОД Tier I–II |
| 2N | Максимальная (2 независимые системы) | 2× | Банки, телеком, ЦОД Tier III–IV |
Выбор схемы — это баланс между ценой и допустимым временем простоя. Для серверной на 10 стоек в среднем бизнесе N+1 — обычно оптимум. Для банка — 2N, потому что цена простоя несоизмеримо выше цены второго ИБП.
Расчёт мощности для серверной
Мощность серверной считается по стойкам. Типичная плотность нагрузки:
- Стойка 1 (10–15 серверов 1U/2U): 3–5 кВА.
- Стойка 10 (полно загруженная серверная): 30–50 кВА.
- Стойка 20+ (ЦОД): 80–200 кВА и выше.
Точная цифра зависит от типа оборудования: blade-серверы и плотные конфигурации дают 8–12 кВт на стойку, стандартные 1U-серверы — 3–5 кВт. Не забудьте инфраструктуру: кондиционеры серверной (от 30% мощности ИТ-нагрузки), освещение, системы мониторинга. Всё это тоже нужно запитать от ИБП — иначе при отключении серверы работают, а кондиционер нет, и через 15 минут температура в серверной достигает 40 °C и серверы уходят в защиту по перегреву.
Пример расчёта. Серверная на 10 стоек, по 4 кВА на стойку = 40 кВА ИТ-нагрузки. Кондиционирование и инфраструктура — ещё 30% = 12 кВА. Итого 52 кВА. С резервом N+1: нужно N ИБП, обеспечивающих 52 кВА, плюс 1 резервный. Если берём ИБП по 40 кВА — нужно 2 рабочих + 1 резерв = 3 ИБП по 40 кВА (схема 2+1). Общая установленная мощность — 120 кВА, рабочая загрузка каждого ИБП ~65%, что оптимально по КПД и ресурсу.
Подробнее о расчёте мощности с учётом cos φ и пусковых токов — в статье про расчёт мощности ИБП.
Бренды и модели для серверных
Четыре проверенных бренда, от модульных решений до промышленных систем. Цены — ориентировочные.
| Бренд / модель | Мощность | Цена | Особенности |
|---|---|---|---|
| APC Symmetra LX 16kVA | 16 кВА | ~800 000 ₽ | Модульная архитектура, N+1, горячая замена модулей |
| Eaton 9395 | 40–110 кВА | ~1,5–4 млн ₽ | Параллельная работа до 8 модулей, КПД до 97% |
| Systeme Electric UBSUPS60KHS | 60 кВА | ~1,2 млн ₽ | Трёхфазный on-line, SNMP, байпас |
| Импульс Мультиплекс 40-20 | 40 кВА | ~600 000 ₽ | Российский on-line, параллельная работа |
APC Symmetra LX 16kVA — модульная архитектура, идеальна для растущих серверных. Начинаете с 8 кВА, добавляете модули по 4 кВА по мере роста нагрузки. N+1 на уровне модулей — если один модуль выходит из строя, остальные берут нагрузку. Горячая замена модулей и батарей. Цена выше, чем у монолитных ИБП, но гибкость окупает. Стандарт для серверных 10–20 кВА.
Eaton 9395 — премиум для крупных ЦОД. Параллельная работа до 8 модулей, схема N+1 или 2N. КПД до 97% (в режиме eConversion) — экономия на электричестве и охлаждении. Интеграция с Eaton IPM для управления. Дорого, но для Tier III ЦОД — стандарт.
Systeme Electric UBSUPS60KHS — российский трёхфазный on-line для серверных и промышленных объектов. 60 кВА, SNMP, байпас, горячая замена АКБ. Оптимальное соотношение цена/мощность для серверных 40–80 кВА в условиях импортозамещения.
Импульс Мультиплекс 40-20 — российский on-line с параллельной работой. 40 кВА, возможность параллельной работы до 4 модулей (схема 3+1). Бюджетный вариант для серверных 30–50 кВА, где APC и Eaton не оправданы по цене.
Время автономии и ДГУ
В серверной ИБП — это не источник длительного питания, а мост между отключением сети и запуском дизель-генератора (ДГУ) или корректным завершением серверов. Часы автономии от батарей — это дорого и обычно нецелесообразно. Реальные сценарии:
- 5–15 минут — для корректного завершения серверов. Нужен SNMP + скрипты (например, APC PowerChute Network Shutdown), которые при отключении сети и разряде батарей инициируют graceful shutdown всех серверов по сети. Без скриптов серверы просто обесточатся — со всеми последствиями для файловых систем.
- 15–30 минут — для запуска ДГУ. ДГУ с АВР (автоматический ввод резерва) запускается за 15–30 секунд, но нужно заложить запас на холодный пуск, проверку напряжения и переключение. 15 минут — минимум, 30 — с запасом.
- Часы — только с внешними батарейными шкафами. Для 40 кВА и 1 часа автономии нужен батарейный массив на десятки АКБ. Это дорого, занимает место и требует обслуживания. Обычно проще поставить ДГУ.
Правильная связка для серьёзной серверной: ИБП на 15–30 минут автономии + ДГУ с АВР. ИБП держит нагрузку, пока ДГУ заводится; ДГУ берёт нагрузку, когда ИБП работает на батарее. ИБП снова заряжается и готов к следующему циклу. Подробнее о ДГУ — в разделе про дизель-генераторы.
Из практики
ЦОД банка, расчётная мощность 400 кВА. Требования: Tier III, допустимый простой — ноль. Схема: 2 × Systeme Electric 200 кВА в параллели (схема N+1 на уровне ИБП, каждый на 100% нагрузки), батарейные массивы на 15 минут автономии, ДГУ Pramac 500 кВА с АВР.
Почему так. 400 кВА нагрузки — это 2 ИБП по 200 кВА, каждый на 100% (схема 1+1, аналог N+1 при N=1). Если один ИБП выходит из строя, второй берёт всю нагрузку. Батарейные массивы — на 15 минут: этого хватает для запуска ДГУ (холодный пуск Pramac 500 кВА с АВР — 20–30 секунд) с трёхкратным запасом. ДГУ 500 кВА при нагрузке 400 кВА имеет запас 25% — нормально для длительной работы.
Дополнительно: SNMP-мониторинг обоих ИБП через Zabbix с алертами в Telegram дежурной смены. Синхронизация завершения серверов через APC PowerChute Network Shutdown — при разряде батарей до 30% скрипты инициируют graceful shutdown всех 120 серверов за 8 минут. Байпас на обоих ИБП — для обслуживания без отключения.
Что получилось. За три года эксплуатации — два реальных отключения сети длительностью 40 минут и 2,5 часа. В обоих случаях: ИБП держит нагрузку → ДГУ запускается за 25 секунд → АВР переключает → серверы работают без перерыва. Ноль секунд простоя, ноль потерянных данных. Цена решения — около 8 млн рублей (ИБП + батареи + ДГУ + АВР + монтаж). Цена одного часа простоя ЦОД банка — оценивается в 5–15 млн рублей. Окупаемость — одно отключение.
Частые ошибки
Ошибки, которые стоят дорого — в прямом смысле:
- ИБП без SNMP. Администратор не знает, что батарея деградирует. Через 4 года при первом отключении ИБП держит 2 минуты вместо 15. Серверы не успевают завершиться. SNMP + мониторинг — обязательно.
- Нет байпаса. Любое обслуживание ИБП — замена батарей, прошивка, ремонт — означает отключение серверов. В серверной с SLA «24/7 без простоя» это недопустимо. Байпас (service bypass) должен быть.
- Перекос фаз на трёхфазном ИБП. Трёхфазный ИБП требует равномерной загрузки фаз. Если на одной фазе 80%, на другой 20% — ИБП уходит в защиту или отключает перегруженную фазу. Перераспределите нагрузку по фазам равномерно (разница не более 20%).
- Слишком короткое время автономии. 5 минут без ДГУ — серверы не успевают завершиться. 5 минут с ДГУ, который заводится 40 секунд — нормально. Но если ДГУ нет, а автономия 5 минут — это не защита, это видимость.
- Кондиционер не на ИБП. Серверы работают, кондиционер нет. Через 15 минут температура 40 °C, серверы уходят в защиту по перегреву. ИБП должен питать хотя бы один кондиционер серверной.
- Нет синхронизации завершения. ИБП разряжается, но серверы не знают об этом. Нужен PowerChute Network Shutdown или аналог — скрипты, которые по SNMP от ИБП инициируют graceful shutdown. Без этого — жёсткое обесточивание и риск повреждения файловых систем.
Частые вопросы
Что такое резервирование N+1 и зачем оно нужно?
N+1 — это параллельная работа N ИБП, обеспечивающих нагрузку, плюс одного резервного. Если любой ИБП выходит из строя, оставшиеся N берут нагрузку на себя. Надёжность выше, чем у одного ИБП, цена — на 1/N больше. Стандарт для серверных среднего бизнеса. Пример: нагрузка 40 кВА, 2 ИБП по 40 кВА в параллели (1+1) — если один выйдет из строя, второй держит всю нагрузку.
Зачем нужна SNMP-карта в ИБП для серверной?
SNMP-карта позволяет мониторить ИБП по сети: состояние батарей, нагрузку, температуру, события. Без SNMP администратор не узнает о деградации батарей до момента реального отключения. SNMP также нужен для скриптов graceful shutdown (PowerChute Network Shutdown) — серверы получают сигнал от ИБП и корректно завершаются при разряде батарей.
Сколько времени автономии нужно для серверной?
5–15 минут — для корректного завершения серверов через SNMP и скрипты. 15–30 минут — для запуска дизель-генератора с АВР. Часы автономии — только с внешними батарейными шкафами и обычно нецелесообразны без ДГУ. Правильная связка: ИБП на 15–30 минут + ДГУ с АВР.
Чем отличается параллельная работа ИБП от резервирования?
При параллельной работе ИБП делят нагрузку между собой в нормальном режиме (все работают, каждый нагружен частично). При резервировании hot-standby один ИБП работает, второй в горячем резерве и включается только при отказе первого. Параллельная работа эффективнее (лучше КПД, равномерный износ), но сложнее в настройке и требует синхронизации инверторов.
Зачем нужен байпас в ИБП для серверной?
Байпас (обход) позволяет питать нагрузку напрямую от сети, минуя инвертор ИБП. Это нужно для обслуживания — замены батарей, прошивки, ремонта — без отключения серверов. Без байпаса любое обслуживание означает простой. Различают ручной байпас (переключение рубильником) и автоматический (при перегрузке или отказе ИБП). Для серверной нужен оба.
Итог
ИБП для серверной — это on-line с двойным преобразованием, нулевым временем переключения, SNMP-мониторингом, горячей заменой АКБ и байпасом. Схема резервирования — N+1 для среднего бизнеса, 2N для Tier III/IV. Мощность считается по стойкам (3–5 кВА на стойку) плюс инфраструктура. Время автономии — 15–30 минут с ДГУ, 5–15 минут для graceful shutdown без ДГУ. Бренды: APC Symmetra для модульных решений, Eaton 9395 для крупных ЦОД, Systeme Electric и Импульс для импортозамещения. Цена ошибки подбора — часы простоя и потерянные данные, поэтому расчёт лучше доверить интегратору.