Как выглядит современный дата-центр изнутри
«Миран» пришел на рынок коммерческих ЦОДов в 2010 году. За это время мы построили два дата-центра и стали предоставлять широкий спектр услуг по аренде и размещению серверного оборудования. Но этот год — особенный, так как мы завершили строительство новой и самой масштабной очереди в ЦОД «Миран-2».
Как обычно выглядит серверная дата-центра в представлении обывателя? Все мы видели множество красивых картинок с фотостоков, но чаще всего, реальность выглядит совершенно по-другому: серверная, являясь техническим помещением, своим внешним видом воображение не поражает. Просто ряды стоек или шкафов, от которых тянутся многочисленные кабели.
ДЦ, о котором мы рассказываем — масштабное расширение нашего дата-центра «Миран-2» в Санкт-Петербурге. Построена новая очередь в одном здании с предыдущей, но имеет свои собственные коммуникации и, фактически, изолирована от старого дата-центра компании. Физически новые стойки находятся на Евпаторийском переулке, 7А.
Давайте кратко перечислим основное из того, что было сделано с декабря 2020 — именно тогда началось строительство третьей очереди — и по начало апреля, то есть, к моменту запуска нового дата-центра:
Кодовые замки и автоматизированный доступ
Наша новая очередь ориентирована на средний и крупный бизнес, собственно, как и весь «Миран». Нет, мы охотно продаем VPS частным лицам, но основная цель компании — привлечение крупных бизнес-клиентов на свои мощности. Кому-то мы предлагаем готовые серверные решения в аренду, но, в том числе, ждем и компании с собственным оборудованием, которым можем предложить наши стойки и небольшие индивидуальные залы.
Именно таким клиентам — которым нужны надежные стойки — и стоит обратить внимание на наш новый ДЦ.
Одна из наиболее частых проблем аренды серверных стоек — это получение физического доступа к оборудованию в произвольный момент времени. Причем получение доступа быстро и без проволочек.
Именно для такого кейса мы предоставляем доступ в ЦОД 24/7/365. Также мы начали разработку системы автоматизированного доступа в серверный зал для специалистов клиента.
Оба этих решения позволят минимизировать человеческий фактор в вопросе получения физического доступа к собственному оборудованию. При этом все серверы прочих арендаторов находятся в полной безопасности: стойки закрыты кодовыми замками и «случайно» воткнуться в чужой сервер не получится. Ну а если кто-то начнет ломать чужую стойку, мы это сразу же увидим по камерам видеонаблюдения :).
Собственно, эта система снимает один из самых неудобных вопросов, который возникает при аренде стойки в дата-центре: как добраться до собственного железа? Обновление оборудования, как правило, проводится ночью, иногда необходимо провести срочные работы. Так что возможность для инженера попасть к собственному серверному парку, не согласовывая свой визит с кучей народу заранее — прекрасный бонус.
Система сквозной цветовой маркировки электропитания
В списке выше мы упоминали, что в новом дата-центре мы развернули систему сквозной цветовой маркировки энергосистемы по «лучам»: каждый из них соответствует своей ветке электроснабжения.
У каждой линии своя система источников бесперебойного питания, дизель-генераторные установки, система автоматического ввода — они абсолютно независимы друг от друга и обе заведены в каждую серверную стойку.
По сути, мы построили сразу две независимые друг от друга электросистемы в одном ДЦ. И даже если случится невероятное, и, предположим, из строя выйдет основное питание «черного» луча, то оборудование переключится на «красный» без малейшего простоя.
Слева видно «черные» и «красные» шкафы
Важно и то, что система маркировки «черный»-«красный» энерголуч — сквозная. То есть мы покрасили не просто дверцы шкафов, а сделали маркировку сквозной вплоть до точек подключения к электросистеме города и резервным генераторам. Это сильно упрощает эксплуатацию и сокращает время решения инцидента, если таковой будет иметь место.
Также стоит отметить, что мы не использовали кабели для прокладки электропитания — это не самый надежный и долговечный способ. Вместо этого по всему дата-центру протянуты шинопроводы — жесткие системы передачи энергии, которые часто используются на производстве и в промышленности.
На изображении выше можно увидеть шинопровод «красного» луча дата-центра. Нет, это не опорная балка под потолком и даже не пенал для кабелей — это замена тех самых километров силовых кабелей, которая размещена в относительно свободном доступе.
Никаких штроб в бетоне. Наш выбор — фальшпол
Очень часто дата-центры размещаются в кое-как подходящих помещениях. Раньше это вообще были подвалы или прочие бункеры еще советской эпохи, куда заводили пожаротушение (если повезет) и сотни километров кабелей, которые перехватывали в огромные «косы».
Чтобы избежать такого бардака в 2021 году, все новые серверные залы мы построили сразу с фальшполами. Именно под ними проложены основные коммуникации и реализована система сквозной вентиляции стоек плюс — пожаротушение.
В общей сложности на фальшполы ушло больше метра высоты помещения, чтобы при необходимости под них можно было залезть.
Система пожаротушения на основе хладона
Мы любим и ценим наших клиентов, поэтому собранная нами система пожаротушения в качестве активного элемента использует хладон. Почему это так важно?
Многие системы тушения основываются на углекислом газе или прочих токсичных и агрессивных элементах. Малая химическая активность хладона означает, что в случае срабатывания системы, причем даже ложного, не пострадает серверное оборудование клиентов, не произойдет отключение электропитания.
Помещение пожарной станции в период строительства
Именно поэтому был выбрана хладоновая система пожаротушения. Она менее агрессивна и сравнительно безопаснее для оборудования. Плюс плановое обслуживание баллонов проводится поставщиком системы: емкости с хладоном снимаются и вывозятся из ДЦ, что устраняет еще одно окно для возникновения проблем в из-за человеческого фактора.
Итого
За неполные пять месяцев мы расширили второй дата-центр новыми и независимыми от основной инфраструктуры серверными залами, на которые не только приятно смотреть, но и удобно пользоваться.
Все наши решения, даже в плане цветовой маркировки — это требования для современного уровня качества обслуживания, а не просто желание «сделать красиво». Строили мы с мыслью о том, что в нашем дата-центре серьезные ЧП просто не смогут произойти: нет огромных кос силовых кабелей, нет путаницы, нет проблем с вентиляцией или системой пожаротушения. Все это было исключено еще на стадии проекта, согласно которому мы и построили новую очередь «Миран-2».
Мобильные дата-центры: от КАМАЗа до военных решений
О том, что такое стационарные дата-центры, на Хабре, вероятно, говорить не стоит. Но есть и мобильные ЦОД, которые, как правило, предназначены для оперативного перемещения в регион, где срочно нужно влиться в процесс обработки большого объема данных. В большинстве случаев мобильные дата-центры являются одномодульными.
Их располагают в специализированном транспортном контейнере с собственной сетевой, инженерной, энергетической и прочими инфраструктурами. Во многих случаях мобильные ЦОДы являются еще и модульными, то есть из нескольких контейнеров можно собрать достаточно серьезный в плане характеристик и возможностей дата-центр. Под катом говорим о наиболее интересных экземплярах мобильных дата-центров.
Немного о том, зачем нужны мобильные дата-центры
У них может быть несколько задач, но основная — обеспечение вычислительными мощностями и местом для хранения большого количества данных компаний и организаций, которым нужен ЦОД, но по определенным причинам использовать стационарный дата-центр они не могут. Чаще всего так случается на территориях, где нет стандартного дата-центра: на промышленной площадке, в зоне горных разработок и т.п.
Большинство контейнерных центров могут работать в сложных условиях: при сильной запыленности, низкой или, наоборот, высокой температуре. Ну и перевозить такой дата-центр можно за день на сотни километров. Сегодня здесь, завтра там.
К слову, первыми мобильные центры обработки данных стали использовать военные — на Хабре ранее публиковались интересные примеры таких систем. Потом уже, оценив преимущества мобильных (и модульных) дата-центров, их стали использовать коммерческие организации и научно-исследовательские компании. Чаще всего мобильные ЦОД применяют предприятия горнодобывающей, нефтегазовой, энергетической и некоторых других отраслей.
Примеры мобильных ЦОД? Их есть у меня
Многие компании разрабатывают мобильные дата-центры для собственных нужд, адаптируя их к своим потребностям.
Мобильный дата-центр «Росатома» на базе КАМАЗа
На днях госкорпорация «Росатом» опубликовала в своем Facebook видео с демонстрацией возможностей передвижного мобильного вычислительного комплекса, который построен на базе автомобиля КАМАЗ повышенной проходимости.
Мобильный ЦОД размещается на базе КАМАЗ. Внутри корпуса — разнообразное оборудование, выполняющее специфические задачи. Общая производительность такого дата-центра составляет от 50 Тфлопс. Насколько можно понять, системы можно объединять, группируя их при помощи тех же КАМАЗов. Что касается условий работы, то центр спокойно функционирует при температурах от –45 до +35 °C.
В контейнере есть место для оператора. Кроме того, предусмотрен климатический и агрегатный отсеки. Есть дизель-генератор, ИБП и, конечно, система охлаждения.
Модульный микро-ЦОД от Rittal
Эта система размещается в корпусе, который представляет собой настоящий сейф. Оборудование, таким образом, защищено от огня, воды, пыли и прямого физического воздействия. Сам по себе ЦОД не является мобильным, но его без проблем можно перевозить на грузовом автотранспорте. Достоинством подобных систем является их модульность — ЦОД от Rittal можно совмещать и масштабировать. Если возникает необходимость в дополнительной мощности, можно собрать серьезный дата-центр из 4-5 или любого другого количества «сейфов».
В этом небольшом объеме помещаются системы сигнализации, пожаротушения, бесперебойного питания, мониторинга работы. Главным достоинством мобильного ЦОД производитель называет гибкость: установить такой «шкаф» или несколько систем можно даже в очень удаленном регионе, лишь бы были связь и электричество.
Контейнерные системы от Schneider Electric
Компания Schneider Electric уже несколько лет предлагает разные типы контейнерных ЦОД. Их размеры зависят от требуемой производительности дата-центра. Минимальная длина контейнера с оборудованием составляет 6 метров, максимальная — 12 метров. Это уже полностью готовые к использованию системы, которые не требуют доработки (разве что заказчику понадобится что-то дополнительно).
Как и в предыдущем случае, внутри есть все необходимое, включая основной модуль, в котором размещается серверное оборудование, модуль энергопитания и модуль охлаждения.
Пример использования такой системы — нефтедобывающая платформа компании Tampnet в Северном море. Контейнерный ЦОД на платформе показан на фото выше.
Особо защищенный контейнерный ЦОД военного назначения
Несколько лет назад компания NVision Group представила целую линейку мобильных ЦОД, которые получили название «Датериум». Представители линейки отличаются друг от друга адаптированностью под разные климатические условия. Базу дата-центра составляет транспортный контейнер на 7 стоек высотой 42U, в который помещается все необходимое инженерное оборудование. Некоторые модели позиционируются, как идеально подходящие для военных.
Плавучий дата-центр от Nautilus Data Technologies
Мы не раз писали об этом дата-центре, поскольку он, во-первых, весьма необычный, во-вторых, подходит для решения специфических задач вроде временной необходимости обработки кучи данных в определенном регионе. Благодаря своей плавучести дата-центр является вполне себе мобильным, за короткое время он может перемещаться на сотни километров.
Где-то ученым нужно проработать данные по геологии прибрежного региона? Дата-центр плывет на помощь. Требуется работать на благо порта в Сингапуре? Тоже без проблем. Конечно, для того чтобы такой дата-центр заработал, к нему необходимо подвести соответствующую инфраструктуру — сетевую и энергетическую. Что касается охлаждения, то оно, как в предыдущем случае, осваивается прямо на месте.
Благодаря тому, что воду не нужно качать по трубопроводам издалека, энергопотребление ДЦ ниже, чем у стандартного объекта аналогичной мощности. У тестового дата-центра компании PUE составил 1,045, на реальном объекте он чуть выше — 1,15. Мощность дата-центра — 6 МВт. Средний расход забортной воды — 17 тысяч литров в минуту. Максимум — 45 тысяч литров в минуту. Этот метод охлаждения, по словам представителей компании, дает возможность в пять раз увеличить удельную мощность IT-оборудования на стойку.
Лучшие производители мобильных дата-центров в 2021 году
По данным этого ресурса, лидерами в указанной отрасли являются эти компании:
Преимущества мобильных ЦОДов
Кроме уже названных выше достоинств, есть еще несколько:
Надёжно как в сейфе
Центры обработки данных ориентированы на решение бизнес-задач путём предоставления услуг в виде информационных сервисов. Современный ЦОД, несмотря на такие относительно новые требования как высокая степень гибкости и масштабируемости, по-прежнему должен, прежде всего, обеспечивать высокую надёжность. Всё, что вы хотели знать о надёжности ЦОДов, но боялись спросить – под катом.
ЦОД: что это такое?
Что такое центр (хранения и) обработки данных (ЦОД)? Современный ЦОД – комплексное решение по управлению информационными системами предприятия. Это совокупность помещений, внешних площадок, инженерного оборудования, образующая единую систему для размещения средств передачи, хранения и обработки информации с заданной степенью доступности. ЦОД включает в себя набор взаимосвязанных программных и аппаратных компонентов, организационных процедур, мест размещения этих компонентов и персонала для безопасной централизованной обработки, хранения и предоставления данных, сервисов и приложений. С системной точки зрения ЦОД – отказоустойчивое, комплексное, централизованное решение, охватывающее информационные и инженерные системы. В обычном представлении центр обработки данных – специализированное здание, где располагается серверное, сетевое оборудование и системы хранения данных, которые размещаются в стандартных стойках.
Оборудование, используемое в ЦОДе, размещается в специальных шкафах и стойках.
Назначение ЦОДа
ЦОД – сложное инженерное сооружение для централизованного размещения и обслуживания информационных систем, компьютерного и телекоммуникационного оборудования, высокотехнологичная площадка, оснащенная системами кондиционирования, бесперебойного питания, пожаротушения, СКС, контроля доступа. Основное назначение центров обработки данных – хранение, обработка и передача критичной для заказчика информации, поэтому в инфраструктуру ЦОДа входит множество сложных и резервируемых инженерных систем высокой надёжности.
Надёжность является главной характеристикой центра обработки данных. Она включает в себя много факторов: надёжность здания, электроснабжения, инженерных систем и коммуникаций, установленного оборудования. Высокая надёжность ЦОДа означает бесперебойное предоставление услуг заказчикам в случае коммерческого центра обработки данных и уверенную работу собственной ИТ-инфраструктуры компании, эксплуатирующей корпоративный ЦОД.
ЦОД обеспечивает доступ к информации предприятия, управление его информационными системами, организацию хранения и обработки данных. Как единая многокомпонентная система с консолидированным централизованным хранением и обработкой данных ЦОД, прежде всего, призван гарантировать бесперебойное автоматизированное функционирование бизнес-процессов.
К основным задачам ЦОДа, в первую очередь, относятся эффективное консолидированное хранение и обработка данных, предоставление пользователям прикладных сервисов, а также поддержка функционирования корпоративных приложений. Центры обработки данных создаются, в первую очередь, для повышения эффективности работы компаний, активно использующих в своей деятельности информационные технологии, повышения качества предоставляемых услуг. Они дают возможность надежно хранить важную информацию на протяжении всего ее жизненного цикла.
Состав и структура ЦОД
Любой ЦОД состоит из трех технологических блоков: информационного (отвечающего за обработку и хранение информации), телекоммуникационного (обеспечивающего взаимосвязь элементов центра и передача данных) и инженерного (сюда входят бесперебойное электроснабжение, поддержание температуры и влажности в помещении, системы пожаротушения). Таким образом, элементы ЦОДа включают в себя информационную, сетевую, инженерную инфраструктуру, а также системы мониторинга/управления и обеспечения безопасности.
Основными элементами ЦОДа являются системы обработки и хранения данных, активное сетевое оборудование, инженерные системы. В нем размещаются вычислительные платформы и СХД, система передачи данных, система электроснабжения и электроосвещения, система прецизионного кондиционирования, структурированная кабельная система, система кабельных каналов, фальшпол, подвесной потолок, интегрированная система безопасности, средства физической защита вычислительных систем и телекоммуникационного оборудования, системы раннего обнаружения пожара и газового пожаротушения.
В состав информационной инфраструктуры входят серверный комплекс, системы хранения данных и резервного копирования. Сетевая и телекоммуникационная инфраструктура обеспечивает взаимодействие между серверами, объединяет логические уровни и образует каналы связи, в том числе магистральные соединения с операторами связи и каналы, обеспечивающие доступ пользователей к ресурсам центра обработки данных. Телекоммуникационная инфраструктура позволяет осуществлять взаимосвязь элементов ЦОДа, взаимодействие между ЦОДом и пользователями.
Инженерная инфраструктура обеспечивает нормальное функционирование основных систем ЦОДа. Она включает в себя подсистемы контроля климата и кондиционирования, энергообеспечения, пожарной сигнализации и пожаротушения.
Сетевая инфраструктура (СКС) обеспечивает взаимодействие между серверами, а также включает в себя магистральные каналы для связи с операторами и коммуникации для связи пользователей с ЦОДом.
Автоматизированные системы мониторинга, диспетчеризации и управления информационными ресурсами – необходимый элемент повышения надёжности ЦОДа, уменьшения негативного влияния «человеческого фактора». Система безопасности предотвращает несанкционированное вторжение в зоны конфиденциальной информации. Она включает в себя средства защиты, оповещения и контроля доступа. Часто для предотвращения несанкционированного проникновения в ЦОД (физическая безопасность) устанавливаются камеры видеонаблюдения.
Надёжность ЦОДа
Основная функция современных ЦОДов – это повышение надёжности обработки и хранения информации. Одним из главных критериев оценки качества работы любого ЦОД является время доступности информационных систем. ЦОД должен обеспечивать безопасность бизнеса и минимизировать риски простоя, отвечая следующим требованиям:
Надёжность ЦОД обычно включает в себя такие составляющие как правильно выбранное помещение, наличие отлаженной системы бесперебойного гарантированного энергоснабжения, грамотной системы вентиляции и кондиционирования, водоснабжения и водоотвода, а также правильное построение телекоммуникационных систем. Критичным для пользователя остается обеспечение комплексной безопасности центра обработки данных – контроля доступа, охранной и пожарной сигнализации, пожаротушения. Все большее значение приобретают аспекты катастрофоустойчивости, наличия резервной площадки.
При проектировании современных центров обработки данных, помимо исключительной надёжности, отказоустойчивости и работоспособности, к системам предъявляется целый ряд дополнительных требований, таких как управляемость, ремонтопригодность, низкая совокупная стоимость владения, масштабируемость, адаптируемость к изменениям и безопасность. Поэтому ЦОД обычно проектируется как комплексное решение, тесно интегрированное как со службами эксплуатации здания, так и с ИТ-инфраструктурой предприятия. Модульность и стандартизация позволяет всему комплексу развиваться, адаптироваться к меняющимся условиям и нагрузкам.
ЦОД обеспечивает гарантированное бесперебойное питание размещаемого оборудования даже при отказе внешнего энергоснабжения, выполнение требований по климатическим параметрам (температура, влажность) и безопасности (физической и информационной). Как правило, для высокой доступности ЦОД подключают к нескольким (каналам различных операторов связи или узлам корпоративной сети. Качество и ширина каналов влияют на уровень предоставляемых услуг.
Основная характеристика ЦОДа – уровень его надёжности. По стандарту TIA-942 выделяют четыре уровня надёжности:
Tier I (N) — без резервирования. Доступность 99,71%. Это самый ненадежный ЦОД, в котором в случаи возникновения неполадок и отказа оборудования либо при начале ремонтных работ происходит остановка все центра обмена данными. Более того в таком ЦОДе нет фальшполов и дополнительных источников питания, а инженерная инфраструктура не зарезервирована.
Tier II (N+1) — резервирование критических узлов. Доступность 99,741%. В этом случае есть некий уровень резервирования, в таком ЦОДе присутствуют фальшполы и дополнительные источники питания, но в случае начала ремонтных работ ЦОД приостановит свою работу.
Tier III (N+1) — резервирование критических узлов, путей получения электроэнергии и трасс доставки хладоносителя. При этом есть возможность вывода любого узла из эксплуатации для его обслуживания с сохранением полной функциональности объекта в целом. Доступность 99,982%. В таких ЦОДах есть возможность проведения ремонтных работ без прекращения работы центра обработки данных. Инженерные системы однократно зарезервированы и существует несколько каналов служащих для распределения электропитания и охлаждения, но постоянно работает лишь один из них.
Tier IV (2(N+1)) — это самый отказоустойчивый уровень, где допускается одна авария (а не плановый вывод узла из эксплуатации) в один момент времени. Доступность составляет 99,995%, что означает простой в течение всего 26 минут в год. В ЦОДах такого типа возможно проведение всех видов работ без остановки его работы. Инженерные системы зарезервированы двукратно, продублирована основная и дополнительная система.
Четыре уровня отказоустойчивости ЦОДа.
По оценкам экспертов, ЦОД с полным резервированием обычно обходится в 2,5 раза дороже простого ЦОД, поэтому крайне важно еще на уровне предпроектной подготовки определиться, какой категории должна соответствовать площадка. Как недооценка, так и переоценка важности параметра допустимого времени простоя одинаково негативно сказываются на бюджете компании. Ведь финансовые потери возможны либо из-за простоя и сбоев в работе критически важных систем, либо из-за нерациональных инвестиций.
Другие характеристики
Главная характеристика ЦОДа – отказоустойчивость, но не менее важными являются стоимость эксплуатации, показатель расхода электроэнергии и энергоэффективности (PUE). При определении требований к ЦОДу необходимо учитывать тенденции развития информационных систем и телекоммуникаций, предусмотреть варианты расширения мощностей ЦОДу в соответствии с планами развития предприятия.
Требования к площадям и пространству ЦОДа определяются наряду с общей производительностью и емкостью ИТ-систем также такими факторами, как расчетный отвод тепла и необходимый уровень резервирования для обеспечения отказоустойчивости. Важный параметр – энергопотребление основного оборудования. Например, при проектировании нового ЦОДа рекомендуют ориентироваться не на 5−6 кВт на стойку, а на подведение 10−15 кВт. Мощность источников бесперебойного питания выбирается в зависимости от энергопотребления основного оборудования.
Подводимая к ЦОДу должна составлять примерно 250% от мощности, потребляемой ИТ-системами. Наряду с ИТ ее потребляют системы кондиционирования и электропитания, а также системы освещения, вентиляции, пожаротушения, контроля доступа, видеонаблюдения.
Размеры и общий вес стоек определяют требования к минимальной нагрузочной способности перекрытий и фальшпола, а состав и производительность информационных систем – к кабельным системам и внешним кабельным вводам для каналов связи. На основании емкости и типов размещаемого оборудования, а также необходимых уровней обслуживания составляются требования к вспомогательным помещениям.
Требования к ЦОДу также определяются особенностями эксплуатации прикладных систем и необходимостью выделения ИТ-ресурсов, законодательными актами государственных регуляторов хозяйственной деятельности. В целом они зависят от потребностей бизнеса и решаемых бизнес-задач, однако есть и общие требования, определяемые стандартами.
Классификация ЦОДов
Центры обработки данных можно разделить на несколько видов, которые зависят от некоторых параметров. По целям использования обычно выделяют два вида ЦОД: корпоративный и коммерческий (КЦОД). Целью создания корпоративного ЦОД является автоматизация бизнес-процессов, хранение и обработке информации компании или организации. Главная задача коммерческого ЦОДа – получение прибыли от сдачи площадей в аренду, предоставления услуг и сервисов.
По своему назначению в информационной инфраструктуре ЦОД может быть основным или резервным. Последний необходим для замены основного в случае непредвиденных происшествий либо профилактических работ.
ЦОДы можно также разделить на несколько типов по размерам. Крупные ЦОДы имеют собственное здание, которое создано или выбрано в соответствии с предъявляемыми к центру обработки данных требованиями. Средние ЦОДы, как правило, арендуют помещение необходимого размера, а также каналы определенной пропускной способностью. Малые ЦОДы и серверные вовсе не обязательно располагаются в плохо приспособленных для этого помещениях, а перечень услуг представлен по минимуму. В последние годы становятся популярными высокотехнологичные контейнерные ЦОДы – специально спроектированные и быстро развертываемые модульные решения. Наконец, ЦОДы классифицируются по уровням надёжности – упомянутым выше Tier I-IV.
Существует несколько типов коммерческого использования ЦОДов. Первый — виртуальный хостинг, подразумевающий аренду части дискового пространства, процессорного времени и оперативной памяти (один физический сервер делится между множеством клиентов). Второй — выделенный хостинг — аналогичная схема, но с гарантированными ресурсами. Третий — размещение сервера и другого оборудования клиента в помещении центра (co-location).
Стандарты ЦОДов
Есть два основных документа, которые чаще всего упоминаются при обсуждении стандартов центров обработки данных: это стандарт TIA 942 и классификация по уровням от Uptime Institute. Оба этих документа регламентируют уровни надёжности (Tier), что часто приводит к путанице: например, Tier III по TIA 942 и Tier III по Uptime Institute — это две большие разницы.
Стандарт ANSI/TIA/EIA-942 регламентирует требования к расположению центров обработки данных, к внешней инфраструктуре, телекоммуникационному пространству внутри центра данных, к кабельной системе и кабельным каналам ЦОДа, к его инфраструктуре в зависимости от требуемого уровня надёжности ЦОДа. ЦОДы I и II класса могут занимать часть какого-либо помещения, а объекты III и IV класса размещаются только в отдельных зданиях. Всего EIA/TIA-942 описывает до 200 различных параметров ЦОДа.
Стандарт TIA 942 (Telecommunications Industry Association — Telecommunications Infrastructure Standard for Data Centers) разработан ассоциацией телекоммуникационной промышленности США и, в первую очередь, касается вопросов организации структурированных кабельных систем в ЦОДе и отказоустойчивости и других инженерных подсистем. Он носит рекомендательный характер. Разработанный Uptime Institute документ – не стандарт, а скорее методология нормирования отказоустойчивости ЦОДа. В нем сформулированы основные принципы проектирования и подходы. Сертифицируется как проект (Tier Certification of Design Documents), так и работающая площадка (Tier Certification of Constructed Facility) и её эксплуатация (Operational Sustainability Certification). Сертификация осуществляется только самим Uptime Institute.
Хотя по сути эти уровни схожи, принципы оценки значительно различаются. Uptime Institute проверяет полученный результат – как работает построенный ЦОД, а не строгое соответствие документам. В России нет единого стандарта, однако ЦОДы ориентируются на требования, разработанные для сооружений связи, на TIA-942, а также на ГОСТы. Существует также относительно новый стандарт BICSI 002 2010 Data Center Design and Implementation Best Practices, который появился в 2010 году и был обновлен в 2011 году. Он создан с целью дополнения уже существующих стандартов. Близок к завершению и европейский стандарт EN 50173-5, на основе которого в будущем предполагается сформировать соответствующий российский ГОСТ.
ЦОДы SAFEDATA
Центры обработки данных – основное направление деятельности SAFEDATA, оператора собственной распределенной сети ЦОДов и поставщика услуг ИТ-аутсорсинга. Группа SAFEDATA, в состав которой сегодня входят Центр Хранения Данных, Центр Технологий Виртуализации, оператор CDN компания NGENIX и оператор площадки обмена трафиком MСК-IX, владеет сетью ЦОДов, построенных в соответствии с требованиями международных стандартов TIA-942 (Tier III).
По данным iKS-Consulting, структуры «Ростелекома» в 2015 году займут 12,5% российского рынка ЦОДов. Сейчас госкомпания запустила 3081 стойку, включая ЦОДы ММТС-9 и SAFEDATA. На конец 2014 года доход ее ЦОДов оценивается в 1,67 млрд руб.
ЦОДы SAFEDATA — современные и энергоэффективные инженерные решения. Они спроектированы так, что смогут функционировать практически в любых условиях. ЦОД SAFEDATA Москва-I общей площадью более 2000 кв.м расположен в Остаповском проезде.
ЦОД Москва-I начал свою работу в сентябре 2007 года. С момента запуска ЦОДа не было зафиксировано ни одной аварийной остановки.
Инфраструктура ЦОДа, рассчитанного на 500 стоек, построена в соответствии со стандартом TIA-942.
Питается этот ЦОД мощностью 4 МВт напрямую от ТЭЦ-8 Мосэнерго. ЦОД обеспечивает бесперебойное электропитание категории 1, имеет независимые энерговводы, резервированные дизель-генераторные установки. Для бесперебойной работы ЦОДа задействованы четыре ДГУ FG Wilson мощностью 1250 кВА каждая, и четыре ИБП мощностью 800 кВА. ДГУ автоматически запускается при пропадании напряжения от трансформаторной подстанции и работает до 8 часов без дозаправки топливом.
ЦОД имеет ВОЛС до ММТС-9, ММТС-10, а клиентам предоставляется возможность ввода собственной ВОЛС.
Работа системы энергоснабжения круглосуточно контролируется сотрудниками SAFEDATA.
В ЦОДе Москва-I установлены прецизионные шкафные кондиционеры, работающие по схеме (N+1), холодопроизводительностью 100 кВт каждый. Система прецизионного кондиционирования построена на базе шкафных кондиционеров Hiref и холодильных машин Geoclima. От кондиционеров охлажденный воздух подается под фальшпол и далее, через перфорированные плитки фальшпола — в «холодные» коридоры.
На крыше здания расположены внешние конденсаторные блоки Guntner, соединенные с кондиционерами двумя независимыми трассами.
На открытых технологических площадках ЦОДа установлены два чиллера с технологией естественного охлаждения (free cooling) по 700 кВт холодопроизводительности, а также две холодильные машины с технологией Turbocool. Суммарная холодопроизводительность двух контуров независимой системы охлаждения ЦОДа доведена до 2600 кВт. В качестве хладагента используется 40% раствор этиленгликоля. ЦОД оборудован системами автоматического газового пожаротушения (АГПТ) на основе газовой смеси Хладон 227.
ЦОД Москва-II, расположенный по адресу пл. Академика Курчатова, д.1, стр.19, построен в рамках сотрудничества с Российским Научным Центром «Курчатовский Институт».
ЦОД Москва-II общей площадью 3500 кв.м. построен в соответствии со стандартом TIA-942 (Tier III) и введен в эксплуатацию в 2014 году.
Он рассчитан на 900 стоек, а выделенная электрическая мощность составляет 10 МВт.
Как и Москва-I, данный ЦОД предусматривает собственные ВОЛС до ММТС-9 и ММТС-10, а крупным клиентам предоставляется возможность ввода собственной ВОЛС.
ЦОД имеет бесперебойное электропитание категории 1, независимые энерговводы, дублированные дизель-роторными источниками бесперебойного питания. Он оснащен восемью дизель-роторными источниками бесперебойного питания Hitec Power Protection мощностью 1680 кВА каждый, зарезервированными по схеме N+1.
Специальная резервная емкость обеспечивает время автономной работы всей системы дизель-роторных ИБП не менее 20 часов (оперативная доставка дизельного топлива гарантирует бесперебойную работу ЦОДа даже при долговременном отсутствии питания городской электросети).
Поддержание требуемых климатических параметров осуществляется с помощью прецизионных кондиционеров Hiref. В ЦОДе Москва-II установлены несколько десятков прецизионных шкафных кондиционеров, работающих по схеме (N+1), холодопроизводительностью 100 кВт каждый. Вся система кондиционирования зарезервирована по схеме N+1 для каждого машинного зала. От кондиционеров охлажденный воздух подается под фальшпол и далее, через перфорированные плитки фальшпола в «холодные» коридоры.
ЦОД оборудован системами автоматического газового пожаротушения (АГПТ) на основе газовой смеси Хладон 125. В состав АГПТ входят световая и звуковая сигнализация, предупреждающая о пуске газа, которая интегрирована с системой охлаждения для отключения кондиционирующего оборудования в случае аварии, и системой разграничения физического доступа.
Система безопасности и ограничения доступа ЦОДов Москва-I и Москва-II организована на нескольких уровнях и включает в себя охраняемую территорию, организационные процедуры контроля доступа в ЦОД, систему разграничения физического доступа на базе «proximity»-карт, систему видеонаблюдения внутри, снаружи ЦОДа и в каждом модуле с тридцатидневным архивированием записей. По желанию заказчика могут быть установлены дополнительные средства безопасности.
Главное свойство современного ЦОДа — надёжность. Он не останавливается даже при авариях в энергосистемах города. Вышедшее из строя оборудование и каналы связи подменяют резервные системы. ЦОДам SAFEDATA не помешают нештатные ситуации – на случай любого бедствия есть ответ.