Дата-центры, построенные лет десять назад, сегодня считаются старыми: требования вычислительной техники, равно как и запросы заказчиков, растут, инженерное оборудование неизбежно устаревает… Уже скоро перед владельцами таких ЦОДов встанет вопрос: как быть дальше?
Что такое «старый ЦОД»?
Рынок ЦОДов в России достаточно молод: немногие дата-центры могут похвастаться более чем десятилетней историей, поэтому проблема модернизации или закрытия пока не слишком распространена. «Старыми» мы будем называть дата-центры, которые были построены и введены в эксплуатацию еще до эпохи тотальной «тьеризации» – в те времена, когда про Tier уже, возможно, знали, но не обращали на это внимание при строительстве. Мы определяем эти временные рамки как семь–десять лет назад.
Зачастую старый ЦОД построен не хуже, а то и лучше современных, но требования вычислительной техники к инженерной инфраструктуре неуклонно растут, инженерное оборудование неизбежно устаревает, как морально, так и физически, требования заказчика к надежности повышаются – вместе с ростом удельной стоимости данных. Все эти факторы ведут к тому, что владелец ЦОДа сталкивается с проблемой: что дальше делать со своим «орудием труда»: модернизировать? демонтировать? оставить все как есть?
Подчеркнем, что, на наш взгляд, есть различия в проблемах «старого ЦОДа» для корпоративных и коммерческих дата-центров – но скорее не с точки зрения общих признаков старения, а с точки зрения рисков, возникающих в результате процесса старения, и возможных вариантов решения проблем.
Типизация старых ЦОДов
На наш взгляд, среди старых ЦОДов (возрастом 7–10 лет) можно условно выделить следующие типы.
Тип 1. ЦОД с критичным уровнем износа оборудования.
Переход ЦОДа в данную категорию возможен по самому тривиальному поводу: любое оборудование, будь то автомобиль, кондиционер, сотовый телефон, сервер или адронный коллайдер, имеет свой срок службы. И хотя российские ЦОДы значительно моложе большинства западных, некоторые из них уже достигли того возраста, когда эксплуатационные характеристики инженерного оборудования опустились ниже заявленных при строительстве значений.
Основные признаки ЦОДа этого типа:
Основные риски эксплуатации. Неэффективное расходование средств на восстановление и ремонт оборудования инженерных систем влечет за собой в случае коммерческих дата-центров ухудшение конкурентной позиции на рынке, в случае корпоративного ЦОДа – ощутимый для собственников рост затрат на эксплуатацию.
Высока вероятность выхода из строя инженерных систем, что повлечет за собой сбои и простой оборудования ИТ-систем. Для коммерческого дата-центра этот риск влияет на деловую репутацию, которая составляет основу успешности его бизнеса и привлекательности для клиентов. Для корпоративного сектора он может повлиять на устойчивость бизнеса в целом.
Тип 2. ЦОД с низкими показателями энерговооруженности и теплоотвода.
Подобные дата-центры – продукт бурного роста ИТ-индустрии, вычислительных мощностей серверного оборудования и, как следствие, роста удельного потребления электроэнергии этим оборудованием. Как ни стараются исследовательские подразделения производителей ИТ-оборудования снизить его энергопотребление, из года в год плотность компонентов и построенных на них систем только увеличивается, а вслед за ней растет и мощность блоков питания. Как следствие, ЦОДы, построенные 10 лет назад и рассчитанные на средний теплосъем 0,5–1 кВт в расчете на квадратный метр фальшпола, давно перестали справляться с потребностями современной вычислительной техники в электропитании и холодоснабжении.
Основные признаки ЦОДов этого типа:
Основные риски и проблемы эксплуатации. Модернизация ИТ-оборудования проблематична, так как большинство современных вычислительных систем характеризуются высокой энергетической плотностью, а значит, высоким выбросом тепла. Коммерческие дата-центры в результате могут потерять часть клиентуры и стать менее привлекательными для новых заказчиков, которые делают ставку на современные технологии и более энергоемкое оборудование. Корпоративный же сектор может и вовсе оказаться в безвыходном положении, если потребуется модернизировать ИТ-инфраструктуру, например при расширении бизнеса или внедрении новых ИТ-систем.
Использование площадей ЦОДа неэффективно с точки зрения соотношения затрат на содержание здания к извлекаемой с каждого квадратного метра машинного зала ИТ-мощности. Поскольку арендная плата за помещение – одна из наиболее значимых статей в структуре затрат на эксплуатацию ЦОДа, а стоимость аренды с каждым годом растет, то экономическая целесообразность содержания такого ЦОДа закономерно падает.
Работа дата-центра на пределе его энергетических возможностей таит в себе проблему более быстрого износа оборудования и рисков локальных перегревов, что снижает надежность непрерывной эксплуатации ИТ-оборудования. Это, как и в ЦОДе типа 1, влечет за собой снижение его конкурентоспособности.
Тип 3. ЦОД с уровнем резервирования критичных инженерных систем ниже современных стандартов де-факто.
В свое время появление подобных дата-центров было вызвано отсутствием опыта у пионеров российской индустрии цодостроения и слабым представлением об основополагающих принципах поддержания надежности работы инженерного и ИТ-оборудования. Отчасти это было обусловлено существенно меньшими требованиями к непрерывности функционирования ИТ-систем и более низкой стоимостью данных, которые хранились и обрабатывались на вычислительной технике десятилетия назад.
В наше время, когда информация стала самым ценным, что есть у большинства компаний, вопрос надежности и непрерывности работы ИТ-систем выходит на первое место. Современный коммерческий и корпоративный дата-центр стремится минимизировать простои в работе инженерного оборудования и полностью исключить риски потери данных. Эта тенденция в наибольшей степени определяет основной признак ЦОДов данного типа:
Основные риски и проблемы эксплуатации. Простой в работе ИТ-систем в случае аварии на единственном (нерезервированном) городском вводе, на единственном (нерезервированном) канале распределения электро-энергии наиболее критичен для любого дата-центра, так как грозит не только простоем ИТ-оборудования, но и потерей данных, что может существенно повлиять на стабильность бизнеса как коммерческого ЦОДа, так и корпоративного, вплоть до его прекращения.
Риск простоев в работе ИТ-систем в случае аварии на оборудовании нерезервированной системы охлаждения зачастую столь же существенен, как и перерывы в энергоснабжении, но его можно снизить слаженными действиями квалифицированной и подготовленной службы эксплуатации.
Снижение общего уровня надежности и безопасности ЦОДа в случае аварии на оборудовании нерезервированных вспомогательных систем лишь опосредованно влияет на непрерывность работы ЦОДа в целом, но существенно увеличивает влияние человеческого фактора на работоспособность основных критических инженерных систем.
Усложняется реализация процедур ремонта и обслуживания оборудования: отсутствие конкурентного обслуживания инженерных систем требует отключения (остановки) ИТ-нагрузки в период обслуживания, отказ от обслуживания по причине невозможности отключения ИТ-нагрузки приводит к неизбежным авариям – круг замкнулся. Если для корпоративного заказчика данный риск еще может быть допустим, так как есть возможность согласовать время ремонта и эксплуатации ЦОДа с пользователем его ресурсов, например с департаментом ИТ или бизнес-пользователями, то в коммерческом ЦОДе подобные простои могут существенно повлиять на репутацию бизнеса и оттолкнуть его текущих и потенциальных клиентов.
Тип 4. ЦОД с полностью исчерпанным пространством для размещения оборудования.
Этот тип дата-центра весьма условно относится к «старым»: ЦОД может на самом деле иметь новейшую инженерную инфраструктуру, но при этом в нем будут отсутствовать свободные площади для развития. Подобное ограничение может подтолкнуть владельца ЦОДа к модернизации.
Основные признаки ЦОДов этого типа:
Основные риски и проблемы эксплуатации. Нет резерва для наращивания вычислительных мощностей ИТ-систем ни за счет нового оборудования в новых стойках, ни за счет нового, но более энергоемкого оборудования, установленного в старые стойки.
Корпоративные заказчики утрачивают гибкость в использовании собственных ИТ-ресурсов, возможность точно и быстро реагировать на изменяющиеся потребности бизнеса, что может затормозить его развитие.
Владельцы коммерческого дата-центра могут столкнуться с существенным снижением темпов роста своего бизнеса и в результате потерять долю рынка из-за невозможности адекватно реагировать на его новые вызовы.
Тип 5. ЦОД с крайне низкими показателями энергоэффективности, не соответствующими современным требованиям.
ЦОДы этого типа еще достаточно редки в нашей стране, но в связи с выходом на рынок новых дата-центров, оснащенных современными энергосберегающими технологиями, традиционно неэффективные ЦОДы «старой формации» могут стать частью этого класса.
Владельцы российских дата-центров, создавая их семь-десять лет назад, не слишком задумывались об энергоэффективности. Цены на электричество в то время были значительно ниже, а государственное регулирование в области рационального энергопотребления вообще отсутствовало, поэтому экономию на ежемесячных счетах за электроэнергию никто не воспринимал всерьез. По нашей оценке, коэффициент PUE среднего российского ЦОДа постройки десятилетней давности колеблется в пределах от 1,8 до 2,5 (проектируемые сегодня дата-центры с учетом современных технологий рассчитывают достичь значения 1,2–1,3).
Основной признак ЦОДов этого типа:
Основные риски и проблемы эксплуатации. Объекты, имеющие повышенный «углеродный след», оказывают негативное влияние на окружающую среду. В России этот вопрос пока не особо актуален из-за отсутствия соответствующего законодательства и налогообложения, но самоограничение выбросов – хороший рекламный ход. Репутационный риск игнорирования «зеленых» стандартов, аналогично предыдущему риску, пока еще не очень актуален в нашей стране.
А вот высокая себестоимость услуг (продукции) из-за высокого потребления электроэнергии – весьма и весьма существенный риск на фоне роста тарифов на электроэнергию и усиления конкуренции на российском рынке коммерческих дата-центров. Если для корпоративного сектора стоимость обслуживания ЦОДа не всегда критична, в отличие от уровней безопасности и отказоустойчивости, то коммерческому дата-центру приходится балансировать на стыке таких параметров, как совокупная стоимость владения и уровень надежности, чтобы выживать в конкурентной среде. Если конкурент снизит эксплуатационные расходы на электричество, у него появится дополнительное преимущество в виде более низкой цены, что в условиях становления рынка может оказаться для клиента решающим фактором выбора поставщика услуг – цена в такой ситуации является определяющей.
Требования бизнеса как источник задач модернизации
Главный экономический инструмент
Безусловно, принятие решения о модернизации или закрытии дата-центра – задача в большей степени экономическая, нежели инженерная. Все перечисленные в типизации «старых» ЦОДов параметры и риски проще всего измерить экономическими инструментами.
Главным и основным экономическим инструментом является прибыльность для бизнеса. Этот параметр в одинаковой степени применим как к корпоративным дата-центрам, так и к коммерческим. Прибыльность дата-центра тесно связана с такими его характеристиками, как технологичность, устойчивость, надежность.
Несмотря на универсальность понятия «прибыльность», существуют некоторые различия в трактовках этого термина для корпоративных и для коммерческих дата-центров.
Корпоративные ЦОДы прибыльны для бизнеса, если они:
Коммерческие ЦОДы прибыльны для бизнеса, если они:
Вредные общие рецепты и полезная частная практика
Характеристики прибыльности дата-центров, перечисленные выше, можно отследить, проводя постоянный мониторинг конкурентной обстановки на рынке, а также оценивая изменения технико-экономических показателей дата-центра во времени.
В случае снижения экономических показателей бизнеса необходимо проанализировать причины этих изменений и принять соответствующие меры по их устранению путем модернизации ЦОДа или строительства нового. В случае корпоративного ЦОДа не стоит отказываться и от оценки варианта перехода на аутсорсинговую модель.
Но каждый бизнес индивидуален, и «что русскому здорово, то немцу – смерть». Бизнес может быть построен таким образом, что он сумеет выжать из самого что ни на есть старого ЦОДа столько, сколько ему необходимо. Этого не стоит исключать.
Возможно, такой дата-центр работает в нише, где клиенту не нужна безусловная надежность и он готов платить за услугу именно этого уровня. Как правило, это мелкие клиенты, потребляющие небольшие объемы услуг (единичный хостинг, единичная колокация), или те из них, бизнес которых не сильно зависит от надежности функционирования ИТ-систем. Для такого дата-центра голосование в пользу экономической целесообразности идет деньгами клиентов, и потому его уже нельзя сравнивать с остальными ЦОДами по параметру надежности.
В целом же самым главным параметром является удовлетворенность бизнеса своим «орудием труда».
| Проблемы дата-центра и возможные пути их решения |
| Характеристика | Оценка | Возможные действия |
| Износ оборудования инженерных систем такой, что дальнейший ремонт экономически не целесообразен | Ежегодная стоимость технического обслуживания и ремонта основного инженерного оборудования составляет (в зависимости от уровня резервирования ЦОДа) более 5-10% от стоимости реализации этих систем | Модернизация: полная замена устаревшего оборудования. Частично возможна без остановки ЦОДа |
| Наработка оборудования на отказ близка к максимальной, определяемой производителем и здравым смыслом | Остаточный срок службы оборудования систем кондиционирования и энергоснабжения (компрессоров, двигателей и т.д.) составляет менее 10-20% от рекомендованного производителем срока службы | Модернизация: полная замена устаревшего оборудования. Частично возможна без остановки ЦОДа |
| Удельная мощность на одну стойку с ИТ-оборудованием не соответствует современным требованиям (слишком мала) | Доля запросов на стойки большей мощности, нежели позволяет разместить дата-центр, превышает 20% | Модернизация: доумощение систем ИБП, ДГУ и электрораспределения. Если ИБП предполагает масштабирование, то установка дополнительных модулей, если нет - установка дополнительной системы |
| Теплоотвод: существующая система охлаждения не в состоянии обеспечить отвод тепла выше проектных значений (например, до 3 кВт со стойки) | В клиентских стойках, установленных в дата-центре, регулярно возникают проблемы локального перегрева, т.е. температура на входе стоек выше заданной проектом | Модернизация: герметизация холодных коридоров либо установка доводчиков холода в виде надстенных кондиционеров или активных дверей на телекоммуникационные шкафы |
| Несоответствие топологии критичных инженерных систем современным требованиям конкурентного обслуживания (наличие единых точек отказа) | Аварии в ЦОДе и ремонт инженерного оборудования приводят к его полной остановке либо к деградации расчетных параметров | Модернизация: реализация резервной ветви электроснабжения, с дублированием электрощитового оборудования и кабельной разводки. Доустановка резервных ИБП, ДГУ и блоков системы кондиционирования. Модернизация трубной разводки |
| Исчерпано пространство машинных залов для размещения новых стоек с ИТ-оборудованием | Невозможна установка дополнительных стоек. Запросы крупных клиентов (от 10 стоек) не удовлетворяются | Закрытие ЦОДа и строительство нового |
| Наращивание площадей машинных залов ЦОДа за счет нового строительства (в сопредельных помещениях) невозможно | Расширение ЦОДа не возможно | Закрытие ЦОДа и строительство нового |
| Отсутствуют площади для установки внешних блоков систем кондиционирования и энергоснабжения | Расширение ЦОДа не возможно |
Вариант 1. Модернизация: замена технологий кондиционирования с фреона на жидкое охлаждение (невозможна без остановки ЦОДа). Вариант 2. Закрытие ЦОДа и строительство нового |
| Основные показатели энергоэффективности не соответствуют лучшим российским практикам, современным нормативам и стандартам | Коэффициент PUE для ЦОДа больше 1,6 (на текущий момент) |
Вариант 1. Модернизация: локальные действия по повышению степени энергоэффективности ЦОДа - реализация холодных коридоров, переход на более высокую температуру холодоносителя и воздуха в ЦОДе, устранение утечек воздушных потоков и т.д. Глобальные изменения в технологии электроснабжения и холодоснабжения ЦОДа - установка ДИБП, систем прямого фрикулинга (без остановки ЦОДа невозможны). Вариант 2. Если остановка ЦОДа невозможна - закрытие ЦОДа на строительство нового |
Критерии оценки и схема принятия решения
Попытаемся сформировать высокоуровневую процедуру оценки состояния дата-центра и основные шаги на пути принятия решения по его изменению. Безусловно, схема принятия решений для такой важной задачи должна быть детальной и продуманной. Но в силу многогранности специфики задач, целей и, собственно, самих типов ЦОДов готовые рецепты – это самообман. Мы надеемся, что наша схема сможет стать отправной точкой для разработки четких критериев принятия решений на основе реальных данных для реальных задач и объектов.
Для некоторых качественных характеристик, относящихся к разным типам ЦОДов, возможен перевод в количественные аналоги, и мы предлагаем свое видение такого перевода. Но существуют и параметры, которые не стоит или невозможно переводить в цифры; для них мы даем только качественную оценку. Далее, рассматривая в отдельности каждый из сформулированных выше признаков, определяющих основные проблемы дата-центра, мы попытались выбрать наиболее вероятные в данной ситуации и подходящие действия, сведя все эти данные в таблицу.
Методика принятия решения о модернизации или закрытии дата-центра в общем случае нам представляется следующей:
Результаты на каждом из вышеперечисленных шагов стоит свести в единый аналитический документ. В этом документе необходимо предусмотреть несколько уровней анализа для каждого из результатов: финансовый, технический, организационный, политический.
Всесторонне оценив все составляющие, можно получить модель, на основании которой и будет приниматься решение о пути развития вашего дата-центра.
Практические схемы для отдельных типов ЦОДов
В предыдущем разделе мы определили качественные и количественные параметры, характерные для «старых» ЦОДов, для которых встала вопрос: модернизировать или закрывать? Учитывая, что все эти параметры находятся в соответствии с типизацией дата-центров, которую мы провели в самом начале обсуждения, наложим возможные решения отдельных проблем старых ЦОДов на типы ЦОДов.
Тип 1. ЦОД с критичным уровнем износа оборудования. Выход: модернизация изношенного оборудования. При невозможности остаться в пределах подведенных мощностей или имеющихся площадей – принятие решения о консервации ЦОДа и подготовки решения о строительстве нового.
Тип 2. ЦОД с низкими показателями энерговооруженности и теплоотвода. Выход: модернизация устаревшего и неэффективного оборудования. При невозможности остаться в пределах имеющихся мощностей или площадей – принятие решения о консервации ЦОДа и подготовка решения о строительственового.
Тип 3. ЦОД с уровнем резервирования критичных инженерных систем ниже современных стандартов. Выход: модернизация систем, не соответствующих современным требованиям к надежности, предваряемая экономическим расчетом. При невозможности остаться в пределах подведенных мощностей или имеющихся площадей или при неэффективности затрат на модернизацию – принятие решения о консервации ЦОДа и подготовка решения о строительстве нового.
Тип 4. ЦОД с полностью исчерпанным пространством для размещения оборудования. Выход: принятие решения о консервации ЦОДа и подготовка решения о строительстве нового.
Тип 5. ЦОД с низкими показателями энергоэффективности, не соответствующими современным требованиям. Выход: модернизация оборудования и систем, направленная на достижение современных показателей эффективности. При отсутствии такой возможности – экономический анализ, на основании результатов которого принимается решение о консервации ЦОДа и подготовке решения о строительстве нового.
Может показаться, что актуальность темы, исследованной в нашей статье, невероятно низка. Но нам представляется, что пройдет не так уж много времени и часть владельцев ЦОДов (как коммерческих, так и корпоративных) столкнется с задачей модернизации и ее последним рубежом – задачей закрытия. Смеем надеяться, что изложенный нами подход и рекомендации сподвигнут их задуматься об этом заранее.
Источник: журнал ИКС, №4 от 9 апреля 2013 года
DataFloor