Проектирование и строительство ЦОД (инженерная инфраструктура для серверных)

Современные ЦОД представляют собой достаточно сложную структуру, размещенную в отдельном помещении или здании. Здесь могут находиться сотни серверов, процессоров и другого оборудования с колоссальным общим энергопотреблением и выделением тепла.

Поэтому для центров обработки данных проектируется собственная инженерная инфраструктура, отвечающая самым жестким требованиям и разрабатывающаяся только квалифицированными специалистами. 

Обеспечить нормальную работу коммуникационной инфраструктуры предприятия можно двумя способами.

1. Нанять штат обслуживающего персонала, что в долгосрочной перспективе для организации обходится в значительные производственные расходы.
2. Или выполнить автоматизацию систем здания, объединив их в единое целое. В этом случае за обеспечение бесперебойного функционирования всего инженерного комплекса будет отвечать центр обработки данных (ЦОД) или, по-другому, дата-центр.

В его задачи входит не только контроль состояния технических средств, но и управление системами, повышение эффективности их работы, перераспределение нагрузок с линий и многое другое.

Требования к инженерной инфраструктуре ЦОД

Центры обработки данных оснащают практически теми же системами, которыми оборудуются основные здания. Они составляют большую часть стоимости инфраструктуры. При этом специалисты рекомендуют не экономить на их устройстве, так как от этого во многом зависит бесперебойная работа всех важных для бизнеса приложений.

Поэтому к инженерной инфраструктуре предъявляются жесткие требования. Единым стандартом в мире для дата-центров считается американский TIA-942.

В России действуют требования ГОСТ 30494-2011, ГОСТ 12.1.005-88 и СанПиН 2.2.4.548-96, регламентирующие требования к рабочим зонам и производственным помещениям. А также в конце февраля 2020 года Росстандарт утвердило два новых стандарта ГОСТ Р 58811-2020 и ГОСТ Р 58812-2020, касающихся центров обработки данных.

Основные требования к инфраструктуре ЦОД:

• Надежность и долгий срок службы.
  Для создания систем используется только сертифицированное оборудование, высокотехнологичные компоненты, стандартизированные и модульные решения, легко меняющиеся при выходе из строя. Проектирование выполняется исключительно профильными специалистами с соответствующими допусками.
• Безопасность.
  При разработке систем просчитываются все сценарии возможных потенциально опасных ситуаций. От технических сбоев самого оборудования ЦОД до аварий, пожаров, несанкционированного проникновения посторонних лиц в здание, неумышленного или намеренного физического повреждения серверов и т.д. Инженерная инфраструктура должна свести к минимуму негативные последствия даже при самом неблагоприятном развитии событий.
• Возможность расширения и модификации.
  Инженерные коммуникации должны легко адаптироваться к любым изменениям в структуре ЦОД. Поэтому масштабируемость систем закладывается еще при проектировании дата-центра.
• Низкая стоимость эксплуатации.
  Проектирование инфраструктуры выполняется таким образом, чтобы максимально сократить количество обслуживающего персонала. Все системы автоматизируются, а управление ими переводится на единый диспетчерский пункт. Это позволяет сократить затраты предприятия на содержание комплекса ЦОД.

Основные расходы при устройстве инфраструктуры ЦОД направлены на создание обеспечения бесперебойного электропитания, эффективного охлаждение воздуха в помещениях и организацию систем безопасности.

Электроснабжение

От стабильности электроснабжения зависит функционирование всей инфраструктуры дата-центра. По TIA-942 есть четыре уровня безотказной работы центра от 99,671 % (не более 28,8 часов простоя в год) до 99,995 % (не более 15 мин в год). Чтобы обеспечить такие показатели, для российских систем электроснабжения выполняются следующие требования:

• источник питания – два или более независимых ввода от городских электросетей, оснащенные разрядником для подавления высоковольтных импульсов (при необходимости используется трансформаторная подстанция);
• наличие аварийного питания — резервной дизель-генераторной установкой или нескольких батарейных цепочек ИБП с байпасом.

Расчет и проектирование системы энергообеспечения центра обработки данных выполняется согласно ПУЭ (правила устройства электроустановок). Для предупреждения аварийных ситуаций здание ЦОД также оборудуется системами заземления и молниезащиты.

Микроклимат в ЦОД

Оборудование ЦОД часто размещается на достаточно ограниченной площади, из-за чего окружающий воздух быстро прогревается от работающих устройств. Чрезмерный перегрев может вывести из строя микросхемы, процессоры и другую электронную аппаратуру дата-центра.

Кроме того, для оборудования критична высокая или слишком низкая влажность.

Чтобы исключить возможные проблемы в работе компонентов серверов, здание центра обработки данных в обязательном порядке оборудуются системой охлаждения и вентиляции, обеспечивающей оптимальный микроклимат:   

• По зарубежным стандартам в помещениях должна поддерживаться температура +20°…+25 °С и влажность не более 40-55%, обеспечен постоянный приток свежего отфильтрованного воздуха.
• Российские нормы СН 512-78 менее требовательны. Допустима относительная влажность в пределах 20-70%, температурный режим 20°±2 °С.

При устройстве системы контроля климата в дата-центрах редко используются бытовые решения. Эксплуатационный ресурс обычного кондиционера резко снижается из-за круглосуточной работы.

Поэтому здесь применяют промышленные климатические системы — прецизионные кондиционеры. Или применяют альтернативный вариант — охлаждение аппаратуры притоком холодного воздуха извне, что в условиях российского климата позволяет сэкономить зимой более 50% электроэнергии.

Системы безопасности

Безопасность работы ЦОД обеспечивается системами раннего обнаружения пожара и пожаротушения, охранного видеонаблюдения и управления доступом. При проектировании этих структур подбор оборудование выполняется с учетом специфики условий эксплуатации дата-центра. Здесь устанавливаются:

• Системы газового пожаротушения, обладающие практически абсолютной электробезопасностью и позволяющая защищать от пожара объекты, находящиеся под большим напряжением. При срабатывании такие установки обеспечивают охлаждение защищаемого объекта и окружающего пространства, при этом после полного испарения на оборудовании не остается следов воздействия, не образуется коррозия и накипь, не накапливается механических загрязнений. Материальный ущерб практически отсутствует.
• Охранное видеонаблюдение организуется с помощью IP-видеокамер, обеспечивающих качественное изображение и возможность сохранения информации на электронных носителях. Такое решение гарантирует безопасность дата-центра и позволяет полностью контролировать все происходящее в помещениях, в том числе и удаленно.
• Система управления доступом обеспечивает возможность посещения ЦОД только теми сотрудниками, у которых есть разрешение. В этом случае вероятность появления в дата-центре постороннего человека минимальна. Кроме того, СКУД позволяет задавать расписание, вести учет посещений, задавать удаленные настройки и т.д.

Наличие подобной системы безопасности сводит к минимуму риск возникновения чрезвычайных происшествий и снижает влияние человеческого фактора на принятие решений в экстренных ситуациях.

Другие системы инфраструктуры

Помимо основных инженерных систем в инфраструктуру ЦОД также включаются:

• структурированная кабельная система (СКС), обеспечивающая скоростную передачу информации;
• оборудование автоматизации управления, отвечающее за сбор, хранение и отображение всех параметров работы ЦОД;
• устройства мониторинга параметров окружающей среды, контролирующие температуру и влажность в помещениях в местах возможных протечек;
• системы аварийного обесточивания и освещения, обеспечения эвакуации (для зданий большой площади).

Что еще учитывают при разработке инженерных систем ЦОД

При построении инфраструктуры ЦОД приходится обращать внимание на множество деталей. На поиск оптимального решения могут повлиять особенности архитектуры здания, климатические условия, плотность размещения оборудование и другие факторы.

Кроме того, все системы должны иметь собственные функции локального управления, которые могут быть задействованы в случае отказа диспетчерского центра.

Процесс создания инфраструктуры обязательно включает в себя следующие этапы:

• формирование требований к системам ЦОД;
• разработка технической концепции;
• проектирование инженерной инфраструктуры ЦОД;
• реализация проекта;
• тестирование, пуско-наладка и ввод систем в эксплуатацию.

Монтаж, подключение и настройку всех систем должны выполнять профильные специалисты. Только в этом случае можно гарантировать их правильную работу, обеспечивающую бесперебойное функционирование дата-центра.