Сколько бы ни писали и ни говорили о ЦОДах, но те, кто впервые приступают к их созданию – фактически строительному проекту, зачастую совершают одни и те же базовые ошибки и упускают из вида некоторые нюансы.
В чем разница между компанией, собирающейся строить свой первый ЦОД, и интегратором, реализовавшим десятки аналогичных проектов? Правильно – в наличии опыта. А опыт складывается из ошибок и проблем, которые теперешним профессионалам удалось разрешить с той или иной долей успеха. О них и пойдет речь в этой статье.
Как известно, в строительстве объекта, и в частности ЦОДа, традиционно выделяют ряд этапов: обследование объекта, составление технического задания, разработка проектной документации, поставка оборудования, монтаж инженерных систем, пусконаладочные работы и ввод в промышленную эксплуатацию. И на каждом из этих этапов возможны ошибки, причем чем на более раннем этапе они происходят, тем больше усилий может потребоваться на их устранение на более поздних этапах проекта.
Разведите инженерные подсистемы в пространстве. Если вы заказываете проектную документацию по всем инженерным системам в разных местах, будьте готовы выступить в роли главного инженера проекта. ЦОД состоит из множества инженерных подсистем со своими коммуникационными трассами, часто пересекающимися между собой «на местности». Гораздо проще устранить такие пересечения (например, лотков СКС или шинопровода и труб газового пожаротушения над стойками) на этапе проектирования, нежели отдавать это на откуп монтажным организациям, что может повлечь за собой как минимум удорожание работ. Если у вас нет навыка работы со строительными чертежами и разобраться в хитросплетении трасс, наложив чертежи друг на друга, сами вы не можете, постарайтесь организовать общее собрание всех подрядчиков и попросить их произвести это наложение и постараться «разойтись» друг с другом.
Покажите проектную документацию монтажным организациям. Если ваши подрядчики по проектированию и подрядчики по монтажным работам – это разные организации и если на этапе проектирования вы уже определились с выбором вторых, покажите им проектную документацию еще на ранних стадиях подготовки проекта. Часто проектные организации бывают далеки от реальной жизни и весьма приблизительно представляют себе, как будет выглядеть их проект «в железе». Может оказаться, что проектное решение будет либо тяжело смонтировать, либо неудобно эксплуатировать. Например, проектировщик может заложить один толстый электрический кабель, а между тем на объекте по имеющимся закладным можно пройти только несколькими более мелкими и гибкими. И снова это в лучшем случае выльется в дополнительные расходы.
При обследовании объекта уделите особое внимание размерам помещений на пути проноса оборудования. Мы неоднократно сталкивались с тем, что заказчики, в том числе крупные интеграторы, уже после строительства ЦОДа при попытках пронести нестандартное серверное оборудование в машинный зал испытывали серьезные трудности. На этапе обследования и проектирования никто не учел, что сервер HP Superdome или IBM 595 может просто не пройти в дверь ЦОДа, и не всегда есть время и ресурсы разбирать такое оборудование. Это может случиться и на этапе строительства, так как ИБП и оборудование кондиционирования также весьма габаритные. Возможно, самый лучший выход – пригласить компанию, профессионально занимающуюся такелажными работами, и попросить ее оценить возможность проноса необходимого оборудования. То же относится к чиллерам и ДГУ. Заранее оцените возможность проезда грузового транспорта с этим оборудованием на территорию ЦОДа – часто с ним бывает проблематично проехать через низкие ворота или под эстакадами. На этапе обследования также пригласите на объект специалиста-крановщика, который сможет выявить узкие места в процедуре установки габаритного оборудования. В нашей практике были случаи, когда многотонные краны под весом ДГУ сильно проминали асфальт, но это можно было предотвратить, заблаговременно проконсультировавшись со специалистами.
Не забывайте про экспертизу несущей способности перекрытий помещений будущего ЦОДа. По крайней мере получите подтверждающие документы с этими данными от собственника помещения. Современные офисные здания рассчитаны на несущую способность перекрытий в пределах 200–300 кг/м2 – этого однозначно недостаточно для ЦОДа, так как только одна стойка с вычислительной техникой может весить 700–1000 кг при площади пятна 0,6 м2. Если же, как часто происходит, мы планируем строительство ЦОДа в старом промышленном здании, перекрытия которого были рассчитаны на 1,5–2 т/м2, то не стоит забывать, что по статистике ежегодно нагрузочная способность может терять до 1% от номинальной, т.е. 50-летнее здание может потерять до 50% своей нагрузочной способности. Учитывая все вышеописанное, по результатам экспертизы могут потребоваться работы по усилению несущей способности перекрытий.
Не забывайте про места складирования оборудования. Часто бывает, что на этапе проектирования инженеры досконально прорабатывают все технические нюансы, но забывают о методике непосредственного производства работ. И каково же бывает удивление заказчика, когда ему «выкатывают» дополнительные счета за хранение крупногабаритного оборудования или бесконечные переносы его с места на место. Случается, что весьма объемные внутренние блоки прецизионных кондиционеров приходят на объект раньше, чем достигнута требуемая строительная готовность, и их нельзя поставить на их штатные места согласно проекту. При этом ни в каком другом месте, кроме машинного зала, их разместить на объекте нельзя. Поэтому зачастую дорогостоящее оборудование приходится оставлять в заводской упаковке на улице, под дождем и снегом, что может негативно сказаться на его работоспособности, либо бесконечно перемещать его в еще не готовом ЦОДе, непременно царапая и оставляя вмятины. Идеально было бы получить от проектировщика раздел проектной документации под названием «Проект организации строительства» (ПОС), но в любом случае нужно хотя бы по минимуму предусмотреть место для складирования технологического оборудования ЦОДа. Рекомендуем также во избежание появления царапин по возможности не снимать технологическую упаковку, по крайней мере пленку, до окончания всех строительно-монтажных работ. Если же распаковка необходима для подключения оборудования, после этого есть смысл снова закрыть его до проведения пусконаладочных работ.
Больше внимания фальшполам. По заведенной издавна традиции в ЦОДах устанавливают плиты с ПВХ-покрытием. Вспомните школьные годы: с каким наслаждением мы резиновой подошвой собственной обуви проводили длинные черные полосы на школьном линолеуме – а потом с какой ненавистью брали в руки бритвенные лезвия и часами эти самые полосы соскребали. Так вот, в ЦОДе ситуация аналогичная, пресловутые ПВХ-плиты ведут себя точно так же, как школьный линолеум. С бесконечным энтузиазмом они пачкаются и впитывают грязь и с таким же упорством потом сопротивляются очистке. Выход из этой ситуации найден давно, но, как ни удивительно, мы до сих пор встречаем покрытия подобного типа в новых и самых крупных ЦОДах на российском рынке. Выход, собственно, такой – плиты фальшпола с ламинатным покрытием. Они есть в модельных рядах любого производителя, по стоимости они незначительно отличаются от плит с ПВХ-покрытием, но при этом обладают значительно более высокой устойчивостью к загрязнению, повреждениям и истиранию. Достаточно влажной уборки, и они будут выглядеть как новые. И еще одно существенное замечание – на этапе строительства обязательно покрывайте фальшполы оргалитом или аналогичными материалами. Это позволит уберечь их от повреждений и избежать закупки новых плит после окончания монтажа.
Не поскупитесь на изготовление съемного перекатного пандуса. Если вы ставите в машинный зал противопожарную дверь, коробку которой по тем или иным причинам не удается заглубить заподлицо с фальшполом и внешним пандусом, предусмотрите изготовление съемного перекатного пандуса, который потребуется при завозе инженерного и серверного оборудования. Это сбережет средства, которые иначе пришлось бы затратить на ремонт колес у монтажных стоек и восстановление дверной коробки.
Проведите границы ответственности всех подрядчиков. Всем известно, что ЦОД – это комплекс взаимосвязанных инженерных систем, и на этапе проектирования все его системы вполне успешно объединяются, но в процессе реализации проектных решений до сих пор об этом забывают. Монтажная организация может успешно выполнить свой раздел, но вопросы объединения различных систем «повисают в воздухе». Не забывайте при обсуждении объемов работ определить, кто из подрядчиков отвечает за объединение противопожарной подсистемы и систем безопасности, системы кондиционирования и энергоснабжения. Эти задачи не трудозатратные, но обычно никто не хочет выполнять работы, не прописанные в договорах. Такого рода недочеты легко выявляются на этапе комплексного тестирования инженерных систем ЦОДа, и за их устранение, как часто случается, подрядчики с удовольствием берут дополнительные деньги. Эта проблема также часто выливается в финансовые потери при заказе оборудования. Были случаи, когда по недосмотру одно и то же щитовое оборудование, например щит АВР для ДГУ или щит байпаса для ИБП, либо заказывалось дважды, либо его вовсе забывали заказать, так как не была четко указана граница ответственности при разделении спецификации проекта. Чтобы этого избежать, нужно тщательно сверять коммерческие предложения от поставщиков и подрядчиков с проектной спецификацией.
Уделите особое внимание выбору производителя и поставщика оборудования. При выборе автомобиля опытный пользователь всегда проводит комплексный анализ предложений. По сути это аналог расчета совокупной стоимости владения, или TCO. Но часто заказчики не уделяют достаточно внимания данному параметру при строительстве ЦОДа, особенно когда это первый опыт. Обратите внимание не только на цену оборудования (причем сравнивать нужно не просто цену на один кондиционер, а цену на кондиционер, собранный в соответствии со спецификацией, которая должна быть одинакова для всех производителей), но и на срок гарантии, стоимость и периодичность технического обслуживания оборудования, количество сертифицированных сервисных партнеров производителя, наличие склада запасных частей и сроки их поставки. Только комплексный подход к выбору вендора позволит вам надеяться на высокую работоспособность оборудования в гарантийный и послегарантийный период.
Особое внимание уделите строительной подготовке. Материал, из которого вы планируете сделать стены, полы и потолки своего ЦОДа, в значительной мере повлияет на расходы на его эксплуатацию. Многие заказчики для стен используют гипсокартон, а для потолков – недорогие модели «Армстронг». Не призываю всех устанавливать профессиональные гермозоны зарубежного производства – это удовольствие при всех своих преимуществах может вылиться в сумму до 10 тыс. евро за квадратный метр, – и даже, если нет возможности финансовой или технической, не нужно делать саркофаг из сэндвич-панелей, но по возможности старайтесь заменить стандартный ГКЛ на ГМЛ, который не «пылит», а также используйте более качественные беспыльные навесные потолки. Эти решения как минимум позволят вам сэкономить на фильтрах в кондиционерах, а как максимум – уберегут дорогостоящее серверное оборудование от поломок.
Маркируйте все. Требуйте от ваших подрядчиков не только стандартной маркировки электрощитов, кабелей системы электроснабжения и СКС, но и нумерации стоек, маркировки трасс системы кондиционирования. Трассы кондиционирования можно не просто промаркировать, но и выполнить в разных цветах, например, красным прямой трубопровод и синим – обратный. Эти небольшие усовершенствования могут существенно упростить эксплуатацию объекта и снизить риск ошибок, связанных с человеческим фактором.
Поставьте водяные фильтры на трассы парогенераторов. Для увеличения продолжительности их жизни желательно предусматривать фильтры очистки воды для питания парогенераторов кондиционеров. В больших системах кондиционирования такие опции обычно предусматриваются проектировщиками по умолчанию, а для маленьких серверных этот важный элемент порой забывают. Причем стоимость его обычно не очень велика, так как для небольших объемов вполне допустимо обойтись бытовыми системами очистки воды. Для «московской» воды вполне корректным будет использование системы из трех бытовых последовательно установленных фильтров: первый – механическая очистка, второй – обезжелезивание, третий – умягчение. Безусловно, эти меры в случае чего не спасут парогенератор от безвременной кончины, но могут продлить срок его службы на 25–30%.
Разделяйте системы бесперебойного питания. Один из способов увеличить надежность работы ЦОДа – это питание системы кондиционирования от ИБП. Если заказчик идет на реализацию такого недешевого технического решения, он должен знать, что питание вычислительной техники и системы кондиционирования от одного ИБП может принести больше вреда, нежели пользы. Это связано с тем, что система кондиционирования может выдавать в сеть бесперебойного питания высокочастотные помехи, негативно влияющие на серверное оборудование. В случае аварии на кондиционере подобная схема может привести к тому, что и вычислительная техника выйдет из строя. Поэтому, если уж вы решили применить такую технологию и потратить значительные средства, не поскупитесь и поставьте отдельную систему ИБП для питания системы кондиционирования. Добавим, что следует выбирать кондиционеры с возможностью плавного пуска, что снизит пусковые токи и позволит обойтись ИБП меньшего номинала.
Экономьте «на птицах». В случае наружного монтажа трубопроводов системы кондиционирования, как фреоновой, так и жидкостной, старайтесь использовать утеплитель, покрытый фольгой. Это убережет утеплитель от прямых солнечных лучей, которые вызывают его преждевременное разрушение, и от птиц, которые с огромным энтузиазмом его клюют. А экономия на утеплителе влечет за собой экономию на электроэнергии, так как в его отсутствие окружающий воздух нарушает теплообмен, что выливается в повышение энергозатрат в системе и, соответственно, увеличение расходов.
Мы упомянули только некоторые аспекты, которые на практике встречаются наиболее часто и устранение которых может привести к существенной экономии ресурсов при реализации проекта дата-центра. Процесс строительства ЦОДа скрывает массу подводных камней, с которыми в первый раз не так-то просто разобраться, поскольку заказчиками обычно выступают ИТ-службы, далекие от строительства. Надеемся, что наши советы хотя бы отчасти помогут тем, кто решил ступить на тернистый путь строительства ЦОДа собственными силами.
Источник: журнал ИКС, №6 от 19 июня 2012 года
DataFloor