Попробуем разобраться в сути проблемы. Во-первых, определимся, у кого ответ на вопрос «сколько вешать в граммах» может вызвать затруднения. По опыту можно сказать, что заказчики корпоративных ЦОДов с той или иной долей уверенности могут определить свою потребность в мощности на основании собственной же статистики и прогнозов развития вычислительной инфраструктуры предприятия. В данном случае вопрос скорее в выбранной ИТ-стратегии, в параметрах помещения под ЦОД и тенденциях производства вычислительной техники.
Сложнее ситуация с операторами коммерческих дата-центров. Как угадать, что потребует рынок через год, два, четыре? На наш взгляд, есть простой алгоритм выбора решения. В условиях конкуренции и рыночных отношений покупатель голосует рублем. При размещении оборудования в аутсорсинговом ЦОДе для заказчика в большинстве случаев нет разницы, будет ли размещено 20 кВт его вычислительной техники в одной стойке или в четырех, стоящих рядом. На практике с точки зрения топологии размещения вычислительной техники в ЦОДе «не все равно» бывает только в случае таких систем, как суперкомпьютеры и кластеры, связность которых имеет первостепенное значение, и телекоммуникационные решения, трассы которых имеют определенную, зачастую ограниченную длину. Исходя из этого предположения, необходимо просто посчитать все капитальные и операционные затраты на одну стойку (исключая энергетику) и определить, по какой цене оператор коммерческого ЦОДа сможет предложить свои услуги клиенту в том или ином случае.
 |
 |
Разберем три потенциальных варианта дата-центра:
1) с классической технологией «холодных» и «горячих» коридоров с допустимой нагрузкой 5 кВт на стойку и раздачей воздуха из-под фальш-пола (рис. 1);
2) с аналогичной технологией «горячих» и «холодных» коридоров, но с закрытым «холодным» коридором, с межрядными кондиционерами и допустимой нагрузкой 10 кВт на стойку (рис. 2);
3) с закрытыми водоохлаждаемыми стойками и допустимой нагрузкой 20 кВт на стойку (рис. 3).
Для приведения этих вариантов к единому знаменателю условимся, что мы рассматриваем ЦОД на 1000 кВт общего бесперебойного энергопотребления. Исходя из полученных данных, мы сможем для каждого варианта посчитать удельную стоимость строительства одной стойки и удельную стоимость владения.
На приведенных планировках показаны активные и коммутационные стойки, а также внутренние блоки системы кондиционирования (в случае стоек 20 кВт внутренние блоки кондиционирования размещены в самой стойке). Мы не берем в расчет площади, занимаемые ИБП, дизель-генераторной установкой, ГРЩ и чиллерами, так как для всех трех случаев они будут примерно одинаковыми. Точно так же в расчете капитальных затрат на строительство при сравнении вариантов можно не учитывать стоимости данных инженерных систем, но мы все же приведем ориентировочную стоимость, исходя из средней удельной цены в 20 тыс. евро за одну стойку в ЦОДе.
Существенно будут различаться затраты на строительство для самих монтажных стоек, внутренних блоков системы кондиционирования, системы газового пожаротушения и фальшпола.
При расчете операционных затрат основное различие будет в стоимости аренды помещений. Фонд оплаты труда, цена электроэнергии и расходы на техническое обслуживание инженерных систем будут отличаться незначительно и не внесут весомый вклад в разницу в стоимости этих трех вариантов. Тем не менее в расчете мы сделаем некоторую поправку на б'ольшую эффективность систем с межрядным кондиционированием и водоохлаждаемыми стойками.
Для стоек 5 кВт при размере стойки 600×1000 мм (таково среднее значение для коммерческого ЦОДа) площадь помещения под размещение двухсот стоек составляет примерно 29,4×15,6 = 460 кв. м, а в пересчете на одно стойкоместо выходит около 2,3 кв. м. Это хорошо коррелирует с эмпирическими цифрами 2–2,5 кв. м на стойку (в зависимости от размера ЦОДа) при расчете по традиционной схеме холодоснабжения.
Для стоек 10 кВт путем аналогичных расчетов получаем площадь 2,8 кв. м под один монтажный шкаф. Для стоек 20 кВт под один монтажный шкаф требуется примерно 4,5 кв. м.
Теперь приступим к расчетам. В примере 1 в зале расположено 15 кондиционеров, и если принять, что систему холодоснабжения мы строим по схеме N+1, то активных кондиционеров будет 14 штук, с мощностью 80 кВт явной холодопроизводительности. Таким образом, мы учитываем небольшой запас по холодоснабжению – около 10%. Также учтем в расчете 200 стоек габаритами 600×1000 мм и высотой 42U. Соответственно потребуется 460 кв. м фальшпола высотой примерно в 50 см.
В примере 2 в зале мы расположим 100 стоек габаритами 600×1000 мм и высотой 42U. Необходимо будет также смонтировать конструкции «холодных» коридоров и установить 30 межрядных кондиционеров полной холодопроизводительностью порядка 40 кВт, что соответствует приблизительно 36 кВт явной холодопроизводительности. И в данном случае у нас получается запас системы кондиционирования около 10%.
В третьем случае мы устанавливаем 50 водяных стоек, каждая из которых может снять с оборудования до 20 кВт тепла, а также четыре резервных шкафных кондиционера, отводящих тепловую энергию, которая выделяется водоохлаждаемыми стойками, и резервирующих ситуацию выхода из строя одной стойки при автоматическом раскрытии ее дверей.
Ориентировочные цены на перечисленное выше оборудование и монтаж приведены в табл. 1.
Данный расчет не претендует на статус абсолютной истины, но он четко отражает основную тенденцию – полная стоимость владения одной высоконагруженной стойкой больше стоимости владения традиционной стойкой 5 кВт пропорционально разнице в электрической нагрузке на них. Заказчику при выборе того или иного варианта необходимо провести детальный расчет всех возможностей в рамках конкретного проекта и на основании этого расчета принимать решение о стратегии развития.
| Вариант 1 | Вариант 2 | Вариант 3 |
| Количество | Цена, тыс. евро | Количество | Цена, тыс. евро | Количество | Цена, тыс. евро |
| Капитальные вложения |
| Стойки | 200 штук | 160 | 100 штук + коридор | 100 | 50 штук | 1350 |
| Кондиционеры | 14 штук | 350 | 30 штук | 690 | 4 штуки | 92 |
| Фальшпол | 460 кв. м | 55,2 | 280 кв. м | 36,4 | 225 кв. м | 27 |
| Газ | 1600 куб. м | 192 | 1100 куб. м | 143 | 700 куб. м | 91 |
| Остальные системы | 3250 | 3250 | 3250 | |||
| ИТОГО | 4007,2 | 4219,4 | 4810,0 | |||
| На одну стойку | 20, 036 | 42,194 | 96,200 |
| Операционные затраты |
| Электричество | 1314 | 1287,72 | 1278,96 | |||
| Аренда | 138 | 84 | 67,5 | |||
| ФОТ | 442,70345 | 442,70345 | 442,70345 | |||
| Техобслуживание | 400 | 400 | 400 | |||
| ИТОГО в год | 2294,70345 | 2214,42345 | 2189,16345 | |||
| Расходы оператора ЦОДа на одну стойку в год | 11,47352 | 22,14423 | 43,78327 | |||
| Расходы оператора ЦОДа на одну стойку в месяц | 956,13 | 1845,35 | 3648,61 | |||
| Цена для заказчика за 1 стойку в месяц | 1300 | 2600 | 5200 | |||
| Срок окупаемости | 4,9 года | 4,7 года | 5,2 года |
| Табл. 1. Расчет капитальных и операционных расходов для трех вариантов ЦОДов |
Опрос, проведенный среди московских игроков рынка ЦОДов, выявил, что в большинстве случаев клиенту достаточно 5–6 кВт на стойку, и даже если он хочет установить оборудование с большим энергопотреблением, фактически данное оборудование расходует не более 70% от заявленной мощности.
Реальные данные о количестве стоек с разным энергопотреблением, полученные у операторов ЦОДов, сопоставлены в табл. 2. Данные приведены с учетом достаточно плотной установки серверного оборудования в стойках – до 35 одноюнитовых серверов и установки блейд-серверов до четырех корзин в одну стойку.
Очевидно, что с развитием облачных вычислений и распространением виртуализации плотность энергопотребления стоек будет расти, но в данный момент стойки с энергопотреблением до 7 кВт являются самыми востребованными. К тому же 7 кВт – это граничное значение, максимум, который при нормальном функционировании оборудования можно снять с использованием традиционной схемы холодоснабжения.
Если же в коммерческом ЦОДе появляется клиент, желающий разместить высоконагруженную стойку, можно установить такую стойку в ряд менее нагруженных, что не слишком существенно повлияет на общий теплообмен ЦОДа, либо разделить данное оборудование на несколько частей, что, как видно из нашего расчета, с экономической точки зрения будет равноэффективно его установке в ЦОДе с возможностью большего среднего теплосъема с одной стойки.
|
Исходя из проделанных расчетов, можно однозначно сказать, что на сегодня вполне достаточно строить коммерческие ЦОДы с потреблением до 7 кВт на стойку, что позволит в 90% случаев разместить клиентское оборудование в одной стойке и при этом иметь возможность предоставлять клиентам с высоконагруженным оборудованием ценовую политику не хуже, чем в ЦОДах с теплосъемом на одну стойку в 20 кВт, при иных вариантах размещения данного оборудования.
Несомненно, на выбор того или иного решения в значительной степени влияют доступные для строительства ЦОДа площади. И если заказчик ограничен в площадях, вероятнее всего, имеет смысл повышать средний теплосъем со стойки, но тенденция развития вычислительной техники такова, что средние значения в 20 кВт на стойку могут быть достигнуты к тому времени, когда инженерное оборудование конкретного ЦОДа необходимо будет полностью менять.
Единственный негативный аспект ЦОДа с низким потреблением на одну стойку – в том, что при недостаточной наполняемости ЦОДа на этапе начальных продаж экономические параметры будут несколько хуже из-за простоя большего количества площадей, взятых в аренду.
Основные выводы таковы: выбирая между площадками под коммерческий ЦОД при определенном бюджете строительства, необходимо учитывать, что разница в экономической эффективности дата-центра с высоконагруженными и малонагруженными стойками может оказаться не столь большой, а вот спрос на стойки в 10–15–20 кВт еще недостаточно велик, чтобы делать на него ставку.
Источник: журнал ИКС, №7-8 от 26 июля 2011 года
DataFloor