Работая более 15 лет в отрасли ЦОДов и не владея глубоко приемами проектирования инженерных систем, я вывел для себя ряд эмпирических закономерностей, позволяющих существенно упростить решение данной задачи на уровне руководителя.
Как правило, при осмотре объекта у заказчика возникают такие вопросы: «сколько здесь можно разместить оборудования?», «каковы необходимые площадь и энергомощность?», «сколько это может стоить?». Очевидно, что без разработки детального технического задания, без полного понимания разнообразия вариантов технических решений для реализации инженерных систем ЦОДа и без формирования проектной документации точные ответы на поставленные вопросы получить затруднительно. Но порядок цифр, который, собственно, и интересует заказчика, оценить вполне можно. Часто достаточно таких ответов, как «20–25 стоек», «300–350 кВт» или «17–19 млн руб.».
Последовательность действий при подобной оценке следующая:
Следует сразу оговорить некоторые детали подобной оценки, особенно ее финансовой составляющей. Стоимость разных моделей инженерного оборудования для дата-центров может существенно различаться в зависимости от бренда, страны производства, применяемых технологий и материалов. Различия могут быть также обусловлены комплектацией и дополнительными опциями. Поэтому точно определить стоимость строительства ЦОДа без разработки технического задания и хотя бы предварительной проработки проектных решений невозможно.
Например, стоимость системы мониторинга сильно зависит от требований к объему контролируемых параметров. Так, в ЦОДе, состоящем из 20 стоек, могут контролироваться такие параметры, как температура и влажность в коридорах, наличие напряжения на энерговводах. По протоколу SNMP могут собираться данные с оборудования ИБП, ДГУ и системы кондиционирования. Эта информация будет предоставляться пользователю через веб-интерфейс, а сообщения об авариях могут передаваться по GSM-каналу. Стоимость подобной системы может колебаться в пределах 300–800 тыс. руб. в зависимости от производителя и дополнительного функционала.
Но если заказчик захочет осуществлять мониторинг каждого блока розеток в каждой стойке, не говоря уже о контроле каждой розетки или управлении ими, то стоимость системы мониторинга может возрасти многократно, поскольку стоимость блока розеток на 20–25 портов с возможностью контроля только общего энергопотребления начинается от 40–60 тыс. руб. А таких блоков розеток нужно 40 штук, общей стоимостью порядка 2 млн руб.
По большому счету этот параметр должен задать заказчик, но нередко он сам не представляет четко, что собирается строить. В таком случае рекомендуется исходить из следующих предпосылок: если заказчик не планирует массово размещать в ЦОДе облачные структуры, виртуальные машины или оборудование для научных исследований, «крутящее» сложные вычисления, а предполагает устанавливать клиентское оборудование или собственные информационные системы, то мощность стойки принимается равной 5 кВт. Целесообразность такого выбора подтверждена многочисленными статистическими данными, полученными от коммерческих дата-центров.
При необходимости увеличить мощность, потребляемую одной стойкой, количество стоек, которые можно разместить в конкретном помещении, и иные характеристики ЦОДа можно будет пересчитать с помощью несложного алгоритма.
Я неоднократно сталкивался с желанием заказчика создать ЦОД в самых необычных помещениях, например на этажах недостроенной телебашни круглого сечения, в эркерах, подвалах неправильной формы и т.д. Оценивать такие помещения с точки зрения количества устанавливаемых в них серверных стоек существенно сложнее, чем обычные прямоугольные, – здесь нужна немалая инженерная фантазия. Поэтому остановимся на традиционных площадках. Следует только иметь в виду, что вместимость любых помещений неправильной формы будет на 20–50% меньше, нежели обычных.
Рассмотрим планировку типового ЦОДа на 96 стоек размером 600×1000 мм (рис. 1). Помещения для ИБП и АКБ на данном этапе не учитываем.
Для простоты расчетов предположим, что ряды стоек будут располагаться параллельно короткой стороне помещения. Для больших помещений такой подход с высокой долей вероятности приводит к более удобной компоновке оборудования в машинном зале. Кроме того, он облегчает соблюдение ограничения на максимальное расстояние от серверного оборудования до внутренних блоков системы кондиционирования. Для небольших помещений данное ограничение несущественно, и погрешность в оценке количества стоек становится небольшой.
Следующий этап – расположение холодных и горячих коридоров. Расстановка стоек по коридорам ограничивается традиционными размерами выпускаемых плит фальшпола, габаритами стоек и эргономическими требованиями к ширине проходов между рядами. Как правило, размеры плит фальшпола составляют 600×600 мм, габариты (Ш×Г) серверных стоек – 600–800 × 800–1200 мм. Для стоек мощностью до 5–7 кВт ширину холодного коридора принимают равной ширине двух рядов вентиляционных плит, а ширину горячего коридора – 1000 мм для стоек глубиной также 1000 мм (рис. 2).
Безусловно, при выборе ширины коридоров между рядами стоек возможна масса вариаций. Можно уменьшить горячий коридор до 800 мм и даже до 600 мм, используя двойные распашные двери и забывая об удобстве обслуживания. Можно устанавливать стойки не по линии стыка двух рядов плит фальшпола. Но все эти варианты стоит рассматривать лишь в ходе детального проектирования, при нехватке пространства для размещения оборудования.
Расположение рядов стоек описывается следующим образом:
На основании этих данных при первичной оценке вместимости помещения можно рассчитать количество N холодных коридоров (два ряда стоек на коридор), которые можно разместить в помещении заданной длины L, используя формулу:
N = (L – 5,2) / 4,2 + 1.
Например, в помещении длиной 19 м можно сформировать минимум (19 – 5,2) / 4,2 + 1 = 4 холодных коридора (восемь рядов стоек).
Теперь подсчитаем, сколько стоек можно разместить в каждом ряду. Мы приняли, что ширина стойки 600 мм, соответственно ширина каждого ряда будет составлять 0,6×К, где K – количество стоек в ряду. Кроме того, в торце каждого ряда могут быть установлены электрические распределительные щиты глубиной 300–400 мм. Далее нужно предусмотреть коридор для прохода персонала и проноса оборудования шириной не менее 1000–1200 мм и разместить внутренний блок системы кондиционирования глубиной 800–900 мм.
В итоге приблизительно 2–2,4 м по короткой стороне помещения занимают коридор для прохода, кондиционер и электрощит, а остальное пространство можно использовать под установку серверных стоек (рис. 3).
Количество стоек в ряду можно определить по следующей формуле:
K = (S – 2,4) / 0,6,
где S – ширина помещения.
Например, при ширине помещения S = 9,6 м количество стоек в ряду составит (9,6 – 2,4) / 0,6 = 12.
Однако необходимо помнить, что последнюю стойку в ряду рекомендуется располагать не далее 10–12 м от блока кондиционера. Это ограничение обусловлено физическими характеристиками распределения воздуха в подфальшпольном пространстве. Данные цифры не являются константой и зависят от высоты фальшпола, наличия препятствий воздушному потоку, напора кондиционера, но в большинстве типовых случаев их можно брать за основу. При расстоянии между последней стойкой и кондиционером более 10–12 м от следует запастись местом под установку второго ряда кондиционеров (+ 2 м к ширине зала).
В итоге получаем, что в нашем гипотетическом ЦОДе размерами 19×9,6 м можно разместить 12×4×2 = 96 стоек габаритами 600×1000 мм, и этот расчет совпадает с изначальным планировочным решением.
Есть более простой способ оценки вместимости ЦОДа. Он основан на статистических данных, полученных из реализованных проектов (табл. 1), и хотя он менее точен, чем произведенный нами расчет, но его погрешность вполне допустима для приблизительной оценки.
Построенные дата-центры (примеры 1–3) подтверждают статистические данные табл. 1. Однако не следует полагаться на приведенные цифры безоглядно, поскольку геометрия машинного зала – не единственный фактор, определяющий емкость ЦОДа. Нужное место в дата-центре занимает еще целый ряд объектов:
В частности, по грубым прикидкам, площадь, необходимая для размещения ИБП и ГРЩ, составляет до 20% площади машинных залов.
Кроме того, на плотность установки оборудования могут повлиять такие факторы, как увеличение времени автономии ИБП и мощности одной стойки: повышение мощности с 5 до 10 кВт повлечет за собой увеличение площади машинных залов и технических помещений внутри здания на 40–60%.
Для начала проведем верхнеуровневую оценку общей максимальной мощности потребления ЦОДа исходя из количества стоек, рассчитанного на предыдущем этапе, и средней мощности серверной стойки. Для упрощения расчетов сделаем несколько «директорских» допущений. В частности, примем, что потери на ИБП составляют 8–10%, потребление системы кондиционирования – 35% потребления стоек и ИБП (для фреоновых систем) и 45% – для чиллерных систем. Потребление остальных инженерных систем – 5% потребления стоек и ИБП.
Общее максимальное потребление ЦОДа (Pобщ) рассчитывается по следующей формуле:
Pобщ = количество стоек × мощность стоек + потери на ИБП + потребление системы кондиционирования + потребление остальных систем.
Предположим, что у нас 30 стоек по 6 кВт. В этом случае:
потребление ИТ-оборудования = 30×6 = 180 кВт
потери на ИБП = 1800,08 = 14,4 кВт
общее потребление ИБП + стойки = 180 + 14,4 = 194,4 кВт
потребление фреоновой системы кондиционирования = 194,4×0,35 = 68,04 кВт
потребление остальных систем 194,4 × 0,05 = 9,72 кВт
общее потребление ЦОДа = 194,4 + 68,04 + 9,72 = 272 кВт.
Общая мощность охлаждения системы кондиционирования (Pк) рассчитывается по формуле:
Pк = (потребление ИТ-оборудования + потери ИБП)×1,1, где 1,1 – это запас.
При этом следует учитывать, что мощность одного шкафного фреонового кондиционера составляет в среднем 10–90 кВт. Кондиционеры мощностью до 40–50 кВт традиционно выпускаются в одноконтурном исполнении, что означает наличие одного компрессора и соответственно одного внешнего блока. Кондиционеры мощностью более 40–50 кВт – это уже двухконтурные машины (т.е. два компрессора и два внешних блока).
Средние размеры внутренних блоков фреоновых кондиционеров приведены в табл. 2 (у разных производителей эти параметры могут незначительно различаться).
Размер внешнего блока кондиционера мощностью 40–50 кВт составляет порядка 0,8–1×2,0–2,5 м. С учетом зоны обслуживания минимальная площадь, необходимая для установки внешнего блока мощностью 40–50 кВт, – 4 кв. м (2,5×1,5).
Исходя из опыта реализованных проектов (см. примеры 4 и 5), можно принять, что для размещения внешних блоков фреоновых кондиционеров требуется 30–35% площади машинных залов ЦОДа.
При расчете требуемой мощности источников бесперебойного питания (ИБП) и дизель-генераторной установки (ДГУ) будем использовать все те же «директорские» допущения.
Модель ИБП в общем случае подбирается исходя из мощности, потребляемой серверным оборудованием, с учетом параметра cos(f), который в среднем равен 0,85–0,95. Параметр cos(f) варьируется в зависимости от марки и модели оборудования. С мощностью ДГУ ситуация несколько более сложная. Для успешного запуска ДГУ в случае, когда одной из нагрузок является ИБП, следует учитывать коэффициент согласования (множитель), который колеблется в диапазоне 1,2–2. Такое требование обусловлено нелинейностью нагрузки ИБП, которая может оказывать существенное сопротивление запуску дизеля. Современные ИБП, построенные на IGBT-транзисторах, сократили необходимый запас мощности при выборе ДГУ, снизив коэффициент согласования до 1,2–1,5. Однако у разных производителей он может различаться. Чтобы уменьшить риск выбора ДГУ недостаточной мощности, в предварительных расчетах я рекомендую принимать коэффициент согласования равным 1,4.
Расчет мощности ИБП проводится по формуле:
Рибп (кВА) = количество стоек×мощность стойки (кВт) / cos(f).
Значение cos(f) выбирается равным 0,9.
Мощность ДГУ рассчитывается по формуле:
Рдгу (кВА) = Рибп (кВА)×1,4 + потребление кондиционеров (кВт) / 0,7.
В данном случае 0,7 – это типичное значение cos(f) кондиционеров.
Площадь, необходимая для размещения ДГУ на прилежащей к ЦОДу территории, зависит от ее мощности (табл. 3).
Проектирование
Разработка проектной документации для серверных помещений и инженерных систем
> Выnолненные nроекты
S
общ
1
9
1
1
2
5
МВт
общ
2
2
6
Как правило, при строительстве традиционного ЦОДа, рассчитанного на установку стоек мощностью 5–7 кВт, целесообразнее использовать шкафные фреоновые кондиционеры в силу существенно более низкой стоимости 1 кВт их холодопроизводительности. Но в ряде случаев приходится прибегать к альтернативным техническим решениям. К этому могут вынудить следующие обстоятельства:
Перед финальной (финансовой) частью статьи хотелось бы сделать несколько замечаний, которые помогут упростить оценку возможности строительства ЦОДа на обследуемой площадке.
Рассматривая систему кондиционирования, следует иметь в виду, что обычно производители рекомендуют ограничивать трассу фреоновых систем 35–40 м. На практике нередки случаи реализации систем с протяженностью трассы до 50–60 м, но при выполнении дополнительных технических условий. Ряд производителей заявляют о возможности прокладки трассы длиной до 100 м, однако примеров применения подобных экспериментальных решений в ЦОДах замечено не было. Если место установки внешних блоков системы кондиционирования находится на расстоянии 50 м от машинного зала, то нужно задуматься о переходе на чиллерные системы.
При выборе схемы резервирования основного инженерного оборудования, особенно в небольших ЦОДах, не стоит забывать о том, что порой решение 2N может оказаться дешевле решения N + 1 (или сравнимым с ним по цене), так как, например, для изготовления трех кондиционеров необходимо использовать три контроллера, три компрессора, три корпуса и т.д., а при изготовлении двух кондиционеров понадобится всего по два, хотя и большей мощности.
В табл. 4 приведена удельная стоимость отдельных подсистем ЦОДа, реализованного с применением наиболее популярных технических решений.
При составлении таблицы были сделаны следующие допущения:
Как отмечалось выше, стоимостные характеристики можно оценить только «в среднем по больнице», с существенными оговорками. Но даже такие оценки могут стать точкой, от которой можно будет отталкиваться при принятии решения о целесообразности строительства ЦОДа.
Источник: журнал ИКС, №1 от 17 апреля 2018 года
DataFloor