Как в Беларуси построили первый дата-центр и сменили «железо» на облако

«Важно даже место, где расположен дата-центр»

Найти дорогу к дата-центру beCloud оказалось несложно. По пути из Минска в Колодищи то и дело встречаются указатели, куда сворачивать и сколько километров еще нужно проехать. А вот попасть на территорию самого РЦОД без приглашения уж точно не получится: у объекта несколько защитных периметров, включая системы видеонаблюдения, периметральной и охранной сигнализации, контроля и управления доступом с высококвалифицированной круглосуточной охраной, в том числе военизированной.

Но у нас случай особый: в канун 10-летия beCloud экскурсию по дата-центру согласились провести люди, которые все знают о его работе. Это заместитель генерального директора по техническим вопросам — главный инженер компании Андрей Горунчик и заместитель генерального директора по информационным технологиям Сергей Прокопов.

— Иногда мы слышим недовольство работников наших клиентов: мол, в других дата-центрах гораздо проще решаются вопросы с допуском персонала и оборудования, — объясняет Сергей Прокопов. — У нас так не получится. Даже инженеров клиента не допустят к оборудованию, пока они не пройдут инструктаж по технике безопасности, поведению на территории объекта и не подтвердят документами требования по охране труда и электробезопасности. Причем доступ им будет предоставлен в сопровождении нашего специалиста, ведь обеспечить физическую и информационную безопасность ресурсов клиентов — одна из наших ключевых задач.

После проверки мы наконец подходим к административному зданию, в стеклянных стенах которого отражается заснеженный лес. В фойе Андрей Горунчик обращает внимание на четыре изящные рамки — гордость компании и возможность показать клиенту наглядное подтверждение отказоустойчивости:

— Это подтверждения от международной организации Uptime Institute. Среди ее разработок — признанные мировые промышленные стандарты для центров обработки данных, одним из которых является система классификации уровней надежности Tier Standard. Республиканский центр обработки данных beCloud был введен в эксплуатацию в начале 2016 года и первым в стране подтвердил соответствие международному уровню надежности и безопасности по стандарту Tier III Uptime Institute, то есть отказоустойчивость гарантируется на уровне не ниже 99,98% в год. К слову, с момента запуска РЦОД его доступность составляет 100%, это значит, что он не простаивал ни минуты! Всего мы прошли четыре сертификации в Uptime Institute: два сертификата получили в 2016 году при первой очереди строительства, а затем еще два — при второй в 2020 году.

Сертифицирован РЦОД и еще по одному важному стандарту — PSI DSS по разделу физическая безопасность (оказание услуг сolocation). Это международный стандарт безопасности платежных систем, который гарантирует клиентам из банковской и финансовой сфер сохранность, конфиденциальность и доступность их данных и информационных систем.

Когда beCloud только задумывал строительство дата-центра, было определено, что объект будет ориентирован на госсектор как одну из ключевых целевых аудиторий, он должен работать без сбоев и соответствовать стандарту Tier Standard Uptime. В последнем случае пришлось внимательно подойти как к самому проекту, так и к поиску строительной площадки, поскольку требования при сертификации предъявляются не только к дата-центру, но и к месту, где он расположен. В итоге стройка началась в 2015 году, а уже в январе следующего года РЦОД был введен в эксплуатацию.

— До нашего дата-центра были какие-то дата-румы в министерствах и ведомствах, в организациях, которые просто оборудовались для хранения и эксплуатации IT-оборудования. Есть примеры и переоборудованных объектов электросвязи. А beCloud стал первым объектом в стране, который реализован именно по международным стандартам и соответствует уровню международных дата-центров, — подчеркивает Сергей Прокопов.

Особенности модульной архитектуры

Прежде чем построить дата-центр в Беларуси, эксперты компании более двух лет анализировали опыт создания подобных объектов, чтобы определиться с его архитектурой и параметрами эффективности, говорит Сергей Прокопов. В итоге остановились на модульной системе.

— Использование модульного решения с применением технологии pre-fabricated design — это отличительная особенность дата-центра beCloud, — объясняет Андрей Горунчик. — Наш центр состоит из модулей, которые изначально проектируются и изготавливаются на заводе, там же собираются. Мы как компания-заказчик участвуем в тестовых испытаниях, которые проводятся на площадке завода, и при наличии замечаний изготовитель их сразу устраняет. Когда модуль приезжает к нам, его собирают и снова тестируют. Такой подход сокращает сроки строительства: нам поставляют готовое фабричное изделие, которое прошло предварительные этапы сборки и установки. Плюс исключаются риски получить некачественное оборудование. Кроме того, это дает нам возможность динамически смотреть на необходимость развития дальнейших мощностей.

— Всего в проекте РЦОД beCloud запланировано четыре модуля, — дополняет Сергей Прокопов. — Мы решили развиваться поэтапно, поэтому разделили строительство на четыре этапа. Построили первую очередь, начали оказывать услуги, а увидев потребность в расширении, приступили к реализации второй.

Для одного модуля средний срок поставки и монтажа оборудования с вводом в эксплуатацию — около восьми месяцев. Сейчас в дата-центре beCloud первый модуль загружен на 100%, а второй — более 20%.

Андрей Горунчик уточняет, что внешне центры обработки данных могут казаться похожими, но нюансы как раз в мелочах — например, как организована критическая инженерная инфраструктура по отказоустойчивости, нагрузкам, эксплуатации и обслуживанию:

— Под нашим управлением находится собственная 10-киловольтная распределительная подстанция, а для гарантированного электроснабжения всей площадки используются 10-киловольтные дизель-генераторные установки. Эти моменты, конечно же, повышают нашу отказоустойчивость.

7 тысяч параметров сердца дата-центра

А мы тем временем оказываемся в кабинете с мониторами и видеостенами. Но, вопреки нашим представлениям, суеты здесь нет: графики и цифры на мониторе внимательно контролируют всего несколько специалистов.

Сергей Прокопов указывает на левую стену, где на мониторах отслеживается около 7 тыс. параметров инженерной инфраструктуры дата-центра. На одних экранах — состояние электро-, холодо- и топливоснабжения. Рядом экран, который показывает, как распределяется тепло в машинных залах центра обработки данных, а соседний — качество электропитания, состояние аккумуляторных батарей и дизелей. А такой важный параметр, как температура воздуха в помещениях, показан по принципу визуализации: зеленый цвет означает, что там достаточно холодно, и для оборудования это хорошо. В случае повышения температуры определенный участок на экране тут же меняет цвет на красный.

— В каждом машинном зале установлены измерительные базовые станции со встроенными датчиками контроля давления, температуры и влажности, — объясняет Сергей Прокопов. — Вы видите, что все красные участки — только за пределами холодных коридоров. Это нормально, так как важно, какая температура именно там, где установлено оборудование. В соответствии с технологическими стандартами и нашим SLA для клиентов мы поддерживаем температуру 23 ± 4 °C.

На видеостене специалисты видят параметры качества услуг и отслеживают инциденты как на IT-оборудовании и системах самого оператора, так и у клиентов, уточняет замдиректора по информационным технологиям:

— Например, в настоящий момент мы сопровождаем семь инцидентов по сайтам клиентов, которые прямо сейчас решаются службой технической поддержки beCloud. Смотрите, вот здесь у клиента заканчивается свободное место на диске. В таких случаях в зависимости от договора мы либо оперативно расширяем дисковое пространство, либо предупреждаем клиента, что нужно принимать меры. По другим услугам, как видим, инцидентов нет, все работает в штатном режиме. Дополнительно мониторим состояние каналов связи и их загрузку. Косвенно поведение трафика также позволяет отслеживать различного рода компьютерные атаки. Там, где средства защиты, так сказать, не справляются, мы видим определенные всплески и реагируем, разбираемся в ситуации и принимаем дополнительные меры.

У beCloud около 5 тыс. клиентов, пользующихся услугами дата-центра и облачной платформы. Среди них около 80% — государственный сектор: министерства, ведомства, госорганизации, учреждения образования и многие другие. И, как отмечает Сергей Прокопов, специалисты компании стараются дать совет каждому и не оставить клиентов наедине с проблемами.

В бахилах и без связи

Машинный зал — основное помещение, где расположены телекоммуникационные стойки, а в них находится вычислительное оборудование, на котором и предоставляются всевозможные услуги дата-центра: от колокейшена (размещения оборудования клиента) до услуг категорий IaaS (Infrastructure as a service) и SaaS (Software as a service), то есть инфраструктуры и программного обеспечения как услуги. Прежде чем войти, нам предстоит вооружиться бахилами.

— В машинном зале поддерживается определенный уровень чистоты, потому что пыль вредит вычислительной технике, — отмечает Андрей Горунчик.

Впрочем, это не единственный запрет: дверь в машинный зал пестрит предупреждениями, нельзя войти в том числе и с телефоном.

— Это требования по безопасности, — уточняют наши сопровождающие. — Должна быть исключена любая возможность съема данных с серверного оборудования. Для этого осуществляется мониторинг Wi-Fi, а сама по себе конструкция машзала не позволяет пользоваться внутри объекта сотовой связью — все коммуникации блокируются. Это оправданно, потому что есть примеры инцидентов информационной безопасности на других площадках, когда одним из каналов утечки данных стала беспроводная связь.

Наконец, мы в самом сердце дата-центра, и от шума оборудования закладывает уши. Здесь 12 контейнеров, которые образуют технологические помещения со шкафами для оборудования. Андрей Горунчик показывает, где заканчивается первый машинный зал РЦОД. Второй же упирается в стену, которую разберут, когда придет время для третьего модуля. По структуре модули однотипны, имеют один и тот же набор помещений и расположены зеркально друг другу. Все оборудование работает 24 часа в сутки. К слову, во втором машинном зале, построенном в 2020 году, beCloud увеличил количество высоконагруженных серверных стоек и предусмотрел возможность размещения стоек нестандартного размера.

Одно из помещений модуля — главный распределительный щит, который распределяет электроснабжение по всем «потребителям» дата-центра. Расположены тут и источники бесперебойного питания, которые не позволят центру обработки данных ни при каких обстоятельствах остаться без электричества.

Но самые кинематографичные виды оказываются непосредственно в машинном зале — на эдакой площадке для больших системников (серверов), где ряды отсеков со шкафами с оборудованием разрезаны узкими коридорами. Здесь находятся шкафы с оборудованием государственных органов, общественных организаций, телекоммуникационных компаний, банков, ретейловых сетей, крупных предприятий и других различных коммерческих организаций, и в каждом из них могут быть сервер, система хранения данных и коммутационное оборудование, которое осуществляет сетевое взаимодействие, в том числе с внешним миром, а также оборудование для организации защиты информации.

Невольно вспоминаем цветные графики на мониторах: в коридорах машинного зала действительно летняя температура, но стоит зайти внутрь отсеков со шкафами, как чувствуешь приятную прохладу. Впрочем, к оборудованию клиентов даже под присмотром топ-менеджеров вход запрещен. Нам показывают только оборудование самой компании, где размещена республиканская платформа, позволяющая оказывать услуги на основе технологий облачных вычислений.

Для чего нам нужно облако

Сергей Прокопов рассказывает, что создать облако решили еще на этапе проработки проекта дата-центра, когда для развития облачных технологий в 2014 году был принят Указ Президента № 46. Изучение мирового опыта показало: все больше стран уделяют внимание облачным услугам, экономическая эффективность от использования таких ресурсов и систем растет, а их администрирование становится проще.

— Раньше каждый госорган должен был держать свой штат специалистов, чтобы обеспечить аналогичный технологический процесс и сопровождать свои информационные системы. Но сейчас мы берем эти задачи на себя, — говорит Сергей Прокопов. — Наработанные компетенции позволяют обеспечивать услугами надлежащего качества большое количество клиентов. В итоге мы можем предложить все больше вариантов решений для стоящих перед клиентами задач в плане миграции, поддержки и архитектуры. При этом мы честны с нашими клиентами и всегда говорим прямо, если видим риски функционирования информационных систем и ресурсов клиента при миграции на республиканскую платформу.

Специалист также уточняет, что при создании республиканской платформы был заложен определенный резерв по оборудованию. Да, в этом году потребление государственными организациями облачных услуг существенно увеличилось, но резервы по оборудованию не исчерпаны. Все оборудование, которое использует дата-центр, подразумевает техническую поддержку как от beCloud, так и от производителей.

— Облако и создавалось, чтобы быть гибкой альтернативой традиционному оборудованию. Как правило, решения, которые мы предлагаем клиентам, более современные и надежные, чем они использовали ранее. С финансовой точки зрения они вполне доступны, — говорит Сергей Прокопов.

Ключевой момент здесь — доверие. В практике компании достаточно примеров, когда клиенты переносили часть ресурсов в облако, но оставшуюся часть по различным причинам продолжали администрировать сами. В итоге, когда происходят сбои в работе информационной системы на стороне клиента, они понимают: лучше довериться профессионалам. После переноса на республиканскую платформу информационные ресурсы клиентов обеспечены бесперебойной инфраструктурой и качественным сопровождением.

Вопросам защиты информации beCloud уделяет такое же большое внимание, как и физической защите. Комплексная система обеспечения информационной безопасности и защиты данных, которая действует на облачной платформе компании, отвечает последним тенденциям в мире киберугроз и постоянно совершенствуется. Аттестат соответствия системы защиты информации позволяет размещать и обрабатывать в облаке beCloud не только общедоступную информацию, но и данные ограниченного использования — например, врачебную, банковскую тайны, персональные данные, материалы, составляющие интеллектуальную собственность, информацию для служебного пользования.

— Одним из клиентов в облаке, когда мы аттестовали его для обработки коммерческой тайны и персональных данных, стала иностранная компания из банковской сферы, — отмечает Сергей Прокопов. — Что интересно, эта компания уже спустя две недели использовала около 15% ресурсов кластера — очень оперативно по сравнению со сроками взаимодействия на внутреннем рынке. И это очередное подтверждение, что мы соответствуем признанным международным стандартам.

Фото: Павел Садовский / Office Life

Партнерский материал