TIER III (UPTIME INSTITUTE)

TIER III имеет три варианта сертификации выдаваемых UPTIME INSTITUTE.

Какие бывают сертификаты TIER III и что означает каждый из сертификатов TIER III?

Tier III Certification of Data Center Design Documents – Сертификат проекта.
Данный сертификат подтверждает, что проектная документация инфраструктуры ЦОДа соответствует стандартам Tier III Uptime Institute.

Tier III Certification of Constructed Data Center Facility – Сертификат исполнения.
Данный сертификат подтверждает, что построенный и введенный в эксплуатацию ЦОД соответствует ранее сертифицированной проектной документации и отвечает требованиям Tier III Uptime Institute.

Tier III Certification of Data Center Operational Sustainability — Сертификат операционной устойчивости.

Данный сертификат подтверждает:

• резервирование всех инженерных подсистем выполнено по схеме N+1, что позволяет бесперебойно обслуживать инфраструктуру ЦОД, тем самым повысив его надежность и отказоустойчивость;
• высокую квалификацию и достаточный количественный состав персонала, обеспечивающий стабильную работу  ЦОДа;
• наличие и выполнение оптимального, согласно стандартам Tier III, планирования жизненного цикла, правил и процедур эксплуатации и технического обслуживания инфраструктуры ЦОДа.

Где можно посмотреть наличие сертификатов Tier III Uptime Institute​

Наличие сертификатов Tier III можно посмотреть на официальном сайте Uptime Institute​ по следующим ссылкам:

Наличие Tier III Desing

— список всех российских ЦОДов, которые имеют сертификаты Tier III Desing Uptime Institute

— ссылка на список всех сертифицированных ЦОДов Tier Desing Uptime Institute I+II+III+IV (без включенных фильтров)

Наличие Tier III Facility

— список всех российских ЦОДов, которые имеют сертификаты Tier III Facility Uptime Institute

— ссылка на список всех сертифицированных ЦОДов Tier Facility Uptime Institute I+II+III+IV (без включенных фильтров)

Наличие Tier III Operational Sustainability

— список всех российских ЦОДов, которые имеют сертификаты Tier III Operational Sustainability Uptime Institute

— ссылка на список всех сертифицированных ЦОДов Tier Operational Sustainability Uptime Institute I+II+III+IV (без включенных фильтров)

Какие требования предъявляются стандартами Tier I, Tier II, Tier III, Tier IV

С требованиями предъявляемыми Uptime Institute к стандартами Tier I, Tier II, Tier III, Tier IV можно ознакомиться на официальном сайте, скачав соответствующие материалы по ссылке ниже:

— Программы сертификации Tier

---

Особенности выбора ЦОД
ЦОДы Москвы
ЦОДы Санкт-Петербурга
Аренда DWDM каналов между ЦОДами

Одно приложение выполняется на двух виртуальных машинах. В случае отказа одной машины, приложение продолжит выполняться на другой машине без прерывания или потерь данных. В случае отказа компонента в одной системе, вместе него используется исправный компонент второй системы.

Ввод-вывод автоматически зеркалируется на резервный сервер. Функция проверки свободной памяти обеспечивает сохранение в памяти всех выполняющихся транзакций, а также данных и содержимого кэша. Перезапуска машины не требуется.

Использование двух физических серверов обеспечивает 100% резервирование на уровне аппаратных компонент. Программные модули обеспечивают зеркалирование и постоянную синхронизацию всех элементов каждой виртуальной машины на физическом уровне.  Это обеспечивает отсутствие единой точки отказов для каждой виртуальной машины (приложения) находящегося в режиме защиты (Protected VM). Специальные модули  системы управляют и поддерживают режим синхронизации операций между серверами. Они отвечают за выявление сбойных  компонент и логически удаляют их из конфигурации. После устранения неисправности эти компоненты возвращаются (реинтегрируются)  в конфигурацию. Процессы логического удаления и реинтеграции выполняются “бесшовно” и незаметны для операционных систем и приложений. Устранение сбоев происходит без потери данных, транзакций и состояния приложения и обеспечивается нулевое время простоя.

Аварийное восстановление

 

Аварийное восстановление (Disaster  Recovery) — восстановление ИТ системы  после региональных катастроф, таких как : региональных перебоев питания , наводнения,  землетрясения и другие катаклизмов

Решение Disaster Recovery позволяет смягчить последствия стихийных бедствий поддерживая асинхронные репликации между географически разделёнными площадками по глобальной сети связи.

Резервная площадка всегда имеет последнюю копию данных и позволяет быстро перезапустить приложения обеспечивая низкие показатели для точки восстановления  (RTO) и времени восстановления (RTO)

Раздельное размещение Split/Site

Решение по обеспечению катастрофоустойчивости путём разнесения узлов системы на разные, географически разнесённые площадки.

Решение обеспечивает непрерывность работы приложений  при выходе из строя одной из площадок установки, например в результате пожара, разрушения площадки или иного её выхода из эксплуатации

Решение Split/Site использует прямое сетевое соединение и синхронную репликацию данных и оперативной памяти и позволяет обеспечить непрерывность процессов без потери данных и транзакций. Узлы можно разнести на расстояние до 5 км.

Технология контрольных точек (Check Point)

Модуль работы с контрольными точками.

Этот модуль отвечает за синхронизацию состояния работающих виртуальных машин. Он определяет, когда и как эффективнее передавать изменения оперативной памяти в резервную виртуальную машину.

Уровни надежности дата-центров: зачем нужна классификация Tier

Во многом скорость работы приложений зависит от этого модуля и производительности меж узлового соединения.  Синхронизация осуществляется в реальном масштабе времени и происходит по мере изменения состояния оперативной памяти виртуальной машины –Рис.10.  Для исключения потери согласованного состояния активной и резервной виртуальных машин, при высокой интенсивности операций с памятью и недостаточной пропускной способностью “приватного” соединения, этот модуль замедляет работу виртуальной машины до получения полной синхронности набора данных на активной и резервной виртуальной машине.

Перенаправление операций ввода вывода

Модуль перенаправления ввода/вывода

В виртуализации без резервирования, ввод-вывод направляется из виртуальной машины ниже на физический уровень и обратно из физического уровня в виртуальную машину. В данном решении, ввод-вывод кроме того направляется  на другой узел, чем обеспечивается резервирование данных в случае сбоя  одного из устройств. Если устройство неисправно, то оно удаляется из работы и предпринимаются соответствующие восстановительные действия прозрачные для приложения.

В случае выхода из строя сетевого адаптера, сетевой трафик будет маршрутизироваться через другой узел. Рис .1.

В случае сбоя диска, виртуальная машина будет работать с исправным диском на другом сервере.- Рис.2

 Согласованное состояние приложений и данных между узлами системы будет обеспечено и в случае, когда один из серверов выйдет из строя. Данные и транзакции не потеряются..

Рис.1.Работа сетевой подсистемы

Рис.2.Работа дисковой подсистемы

Уровни отказоустойчивости

Каждый уровень доступности  определяется  по метрикам отказоустойчивости

Уровни доступности указаны по аналитическим отчётам IDC

Высоконадёжный уровень (Reliable)

Начальный уровень. Многие приложения не требуют защиты или просто используется оборудование с аппаратным резервированием возможностью горячей замены.

Требуется восстановление, но процесс управления не зависит от этих приложений.

Восстанавливаемый уровень (Recoverable)

Обеспечивается  механизмами репликации  данных.

Высокая доступность (Highly Available)

Уровень  доступности для  ERP систем, баз данных, почтовых и других сервисов, которые обеспечивают  производственные процессы. Когда сервисы становятся недоступными, возможна потеря данных, что может значительно сказаться не цену простоя. Для этого уровня необходим расчёт метрик  RTO и RPO.

Постоянная доступность ( Fault Tolerant)

Этот уровень требуется для  критически важных задач, когда недопустимо малейшее время простоя и потеря транзакций

 

Основные метрики отказоустойчивости

Время восстановления –RTO (Recovery Time Objective)- время, в течение которого система должна быть восстановлена.

Определяет максимальное время недоступности сервиса.

Точка восстановления— RPO (Recovery Point Objective)- точка восстановления.

Определяет максимально допустимые потери данных и транзакций.

Дата-центр уровня Tier-3 – что это?

Ни для кого не секрет, что стабильность и бесперебойность работы напрямую зависят от серверного оборудования и условий, в которых оно функционирует. Оборудование, которое мы используем, находится в сертифицированном европейском дата-центре уровня Tier-3. 

Уровень Tier-3 – крайне высокий стандарт надежности оборудования и инфраструктуры. Ключевым отличием подобных дата-центров является возможность проведения ремонтных работ (включая замену компонентов системы, добавление и удаление вышедшего из строя оборудования) без остановки работы дата-центра. При этом осуществляется круглосуточный мониторинг всех элементов инфраструктуры.

Что такое Tier 2 и Tier 3?

Вышедшее из строя оборудование заменяется в течение не более 4 часов.

Резервирование всех элементов инфраструктуры

Отсутствует единая точка отказа. Выход из строя любого узла приводит в мгновенному автоматическому распределению его функций среди резервных элементов. Это касается полностью всех элементов инфраструктуры – каналов доступа в сеть Интернет, сетевого оборудования, серверов, систем хранения данных (SAN).

Электропитание

Для обеспечения электроснабжения центра обработки данных (ЦОД) проложено два независимых кабеля средневольтного напряжения, подключенных со стороны Latvenergo к высоковольтным подстанциям, а в самом ЦОД – к двум независимым распределителям. Специально для нужд центра обработки данных (ЦОД) построена подстанция средневольтного напряжения с сухими трансформаторами, что уменьшает риск пожара. В электроинсталляции центра обработки данных (ЦОД) использованы медные кабели с огнеупорной изоляцией. Всё низковольтное и средневольтное оборудование является совершенно новым и соответствует требованиям стандартов безопасности ЕС, прогнозируемый срок эксплуатации – не менее 35 лет (до 2050 года).

Источник бесперебойного питания (UPS)

В центре обработки данных (ЦОД) обеспечиваются две полностью независимые системы UPS, разработанные в соответствии с самыми высокими требованиями TIER IV. Такой порядок является дополнительным гарантом безопасности, так как таким образом обеспечивается работа расположенного в центре обработки данных (ЦОД) оборудования с двух симметричных сторон. Кроме того, он не допускает перенапряжения и искажения сети Latvenergo или попадания высоковольтных шумов в цепи электроснабжения оборудования. Коэффициент полезного действия равномерен на всем диапазоне напряжения и достигает 96%.

Пожарная безопасность

В центрах обработки данных установлена автоматическая система пожаробезопасности, использующая для тушения инертный газ.

Физическая безопасность

Отделенный периметр вокруг помещений центра обработки данных, круглосуточная физическая охрана, комбинированный контроль доступа RFID и биометрии, удаленное видеонаблюдение и архив записей.

Системы кондиционирования и вентиляции

Система кондиционирования разработана на базе энергоэффективной технологии free–cool, предусматривающей использование для охлаждения как можно большего объема воздуха с улицы без дополнительного использования систем кондиционирования. Работа вентиляторов и насосов управляется в зависимости от необходимого объема подачи холода, с использованием технологии инверторного управления.

Договор об уровне оказания услуг (SLA)

Подобная степень надежности дата-центра, в котором располагаются сервера, позволяют нам предоставлять услуги высочайщего качества. В качестве гарантий мы предлагаем клиентам возможность заключить с нами договор об уровне оказании услуг (SLA), в котором подробно прописываем нашу ответственность перед заказчиками – подробнее.

	стандарт на телекоммуникационную инфраструктуру центров обработки данных (ЦОД) — [Интент]
EN
FR

Стандарт TIA/EIA-942

Ассоциация TIA завершает разработку стандарта на телекоммуникационную инфраструктуру ЦОД—TIA/EIA-942 (Telecommunications Infrustructure Standard for Data Centers), который, по всей вероятности, будет опубликован в начале 2005 г. Основная цель данного стандарта — предоставить разработчикам исчерпывающую информацию о проектировании инфраструктуры ЦОД, в том числе сведения о планировке его помещений и структуре кабельной системы. Он призван способствовать взаимодействию архитекторов, инженеров-строителей и телекоммуникационных инженеров.

Помимо рекомендаций по проектированию, в стандарте содержатся приложения с информацией по широкому кругу тем, связанных с организацией ЦОД. Вот некоторые из них: выбор места для развертывания ЦОД; администрирование его кабельной системы; архитектурные вопросы; обеспечение безопасности и защита от огня; электрические, заземляющие и механические системы; взаимодействие с операторами сетей общего пользования.

Кроме того, в спецификациях стандарта отражены принятые в отрасли уровни надежности ЦОД. Уровень 1 обозначает отсутствие резервирования подсистем, а значит, низкую степень отказоустойчивости, а уровень 4 — высочайшую степень отказоустойчивости.

Помещения и участки ЦОД

Стандарт TIA/EIA-942 определяет ЦОД как здание или его часть, предназначенные для организации компьютерного зала и необходимых для функционирования последнего вспомогательных служб. Компьютерный зал — это часть ЦОД, основным предназначением которой является размещение оборудования обработки данных.

В стандарте обозначены требования к компьютерному залу и комнатам для ввода кабелей (от сетей общего пользования). Так, для этих помещений определены: высота потолка (2,6 м); покрытие полов и стен; характеристики освещения; нагрузка на полы (минимальная — 732 кг/м2, рекомендуемая — 1220 кг/м2); параметры систем нагревания, вентиляции и кондиционирования воздуха; температура воздуха (20—25 °С), относительная влажность (40—55%); характеристики систем электропитания, заземления и противопожарной защиты.

В число телекоммуникационных помещений и участков ЦОД входят:

• Комната для ввода кабелей.

• Главный распределительный пункт (Main Distribution Area — MDA).

• Распределительный пункт горизонтальной подсистемы кабельной системы ЦОД (Horizontal Distribution Area — HDA).

• Распределительный пункт зоны (Zone Distribution Area — ZDA).

• Распределительный пункт оборудования (Equipment Distribution Area — EDA).

Комната для ввода кабелей — это помещение, в котором кабельная система ЦОД соединяется с кабельными системами кампуса и операторов сетей общего пользования. Она может находиться как снаружи, так и внутри компьютерного зала. При организации соединения названных кабельных систем внутри компьютерного зала соответствующие средства можно оборудовать в MDA.

С целью резервирования элементов инфраструктуры ЦОД или соблюдения ограничений на максимальную длину каналов связи в ЦОД можно организовать несколько комнат для ввода кабелей. Например, максимальная длина канала T-1, как правило, не должна превышать 200 м, тогда как типичное ограничение на длину канала T-3 составляет 137 м.

Tier: уровни надежности ЦОД и что из этого следует

Однако использование тех или иных типов кабеля и промежуточных коммутационных панелей в ряде случаев суще-ственно уменьшает максимально допустимую длину линии. В стандарте TIA/EIA-942 имеются рекомендации по максимальной длине кабельных каналов в ЦОД.

MDA содержит главный кросс, являющийся центром коммутации каналов кабельной системы ЦОД. В помещении MDA могут находиться и горизонтальные кроссы, предназначенные для коммутации горизонтальных кабелей, идущих к оборудованию, которое напрямую взаимодействует с оборудованием MDA. Кроме того, в помещении MDA обычно устанавливают маршрутизаторы и магистральные коммутаторы локальной сети и сети SAN ЦОД. Согласно стандарту, ЦОД должен иметь по крайней мере один MDA, а в целях резервирования допускается организация второго MDA.

Помещение HDA предназначено для установки горизонтального кросса, с помощью которого осуществляется коммутация горизонтальных кабелей, идущих к оборудованию EDA, а также переключателей KVM и коммутаторов ЛВС и SAN, взаимодействующих с оборудованием HDA.

ZDA — факультативный элемент горизонтальной подсистемы, располагающийся между HDA и EDA. Он призван обеспечить гибкость реконфигурации этой подсистемы. В ZDA горизонтальные кабели терминируются в зоновых розетках или точках консолидации. Подключение оборудования к зоновым розеткам осуществляется посредством соединительных кабелей. Стандарт не рекомендует размещать в ZDA коммутационную панель или активное оборудование, за исключением устройств подачи электропитания по горизонтальным кабелям.

EDA — это участок ЦОД, выделенный для размещения оконечного оборудования, в том числе компьютеров и телекоммуникационных устройств. В EDA горизонтальные кабели терминируются на розетках, которые обычно располагают на коммутационных панелях, устанавливаемых в монтажных стойках или шкафах. Стандартом допускается и соединение устройств EDA напрямую друг с другом (например, blade-серверы могут напрямую подключаться к коммутаторам, а обычные серверы — к периферийным устройствам).

В составе ЦОД вне пределов компьютерного зала можно оборудовать телекоммуникационную комнату, предназначенную для поддержки горизонтальных кабелей, проложенных к офисам обслуживающего персонала, центру управления, помещениям с механическим и электрическим оборудованием и другим помещениям или участкам ЦОД, расположенным вне стен компьютерного зала. Типичный ЦОД имеет одну или две комнаты для ввода кабелей, одну или несколько телекоммуникационных комнат, один MDA и несколько HDA.

Кабельная система ЦОД состоит из следующих элементов:

• горизонтальная подсистема;

• магистральная подсистема;

• входной кросс, находящийся в комнате для ввода кабелей или в помещении MDA (если комната ввода кабелей объединена с MDA);

• главный кросс, установленный в MDA;

• горизонтальный кросс, размещенный в HDA, MDA или в телекоммуникационной комнате;

• зоновая розетка или точка консолидации, смонтированная в ZDA;

• розетка, установленная в EDA.

Горизонтальная подсистема — это часть кабельной системы ЦОД, проходящая между розеткой в EDA (или зоновой розеткой в ZDA) и горизонтальным кроссом, который находится в HDA или MDA. В состав горизонтальной подсистемы может входить факультативная точка консолидации. Магистральная подсистема связывает MDA с HDA, телекоммуникационными комнатами и комнатами для ввода кабелей.

Топология кабельной системы

Горизонтальная и магистральная подсистемы кабельной системы ЦОД имеют топологию типа “звезда”. Горизонтальные кабели подключаются к горизонтальному кроссу в HDA или MDA. С целью резервирования путей передачи данных разные розетки в EDA или ZDA можно соединять (горизонтальными кабелями) с разными горизонтальными кроссами.

В звездообразной топологии магистральной подсистемы каждый горизонтальный кросс, расположенный в HDA, подключен напрямую к главному кроссу в MDA. Промежуточных кроссов в кабельной инфраструктуре ЦОД не предусмотрено.

Чтобы повысить надежность работы инфраструктуры, как уже отмечалось, допускается резервирование HDA. В этом случае все горизонтальные кроссы должны быть связаны с основным и резервным HDA.

Стоит также отметить, что для резервирования элементов инфраструктуры и поддержки приложений, которые не могут функционировать из-за того, что длина путей передачи данных в рамках звездообразной топологии превышает максимальную дальность связи с использованием этих приложений, допускается организация прямых кабельных соединений между HDA. Кроме того, для соблюдения ограничений на максимальную длину кабельных каналов разрешено организовывать прямые соединения между второй комнатой для ввода кабелей и помещениями HDA.

Типы кабелей

Для поддержки разнообразных приложений стандарт TIA/EIA-942 допускает установку самых разных типов кабелей, но при этом в новых инсталляциях рекомендует использовать кабели с максимально широкой полосой пропускания. Это весьма значительно увеличивает возможный срок службы кабельной инфраструктуры ЦОД.

К разрешенным стандартом типам кабелей относятся:

• 100-Ом кабель из витых пар, соответствующий стандарту ANSI/TIA/EIA-568-B.2; рекомендуется использовать кабель категории 6, специфицированный в приложении ANSI/TIA/EIA-568-B.2-1.

• Кабель с 62,5/125-мкм или 50/125-мкм многомодовым волокном, соответствующий стандарту ANSI/TIA/EIA-568-B.3; рекомендуется использовать 50/125-мкм многомодовое волокно, оптимизированное для работы с 850-нм лазером и специфицированное в документе ANSI/TIA-568-B.3-1.

• Одномодовый оптоволоконный кабель стандарта ANSI/TIA/EIA-568-B.3.

• 75-Ом коаксиальный кабель (типа 734 или 735), соответствующий документу GR-139-CORE фирмы Telcordia Technologies, и коаксиальные разъемы стандарта ANSI T1.404. Эти кабели и разъемы рекомендованы для организации каналов T-3, E-1 и E-3.

Прокладка кабелей и размещение оборудования

Для прокладки кабелей в ЦОД стандарт TIA/EIA-942 разрешает использовать самые разные полости и конструкции, включая пространство под фальшполом и верхние кабельные лотки, уже получившие широкое распространение в ЦОД. Стандарт рекомендует реализовывать фальшполы в тех ЦОД, где предполагается высокая концентрация оборудования с большим энергопотреблением, или устанавливать большую компьютерную систему, сконструированную для подвода кабелей снизу. Под фальшполом телекоммуникационные кабели следует размещать в кабельных лотках, причем они не должны мешать потоку воздуха и иметь острых краев.

Верхние кабельные лотки стандарт рекомендует подвешивать к потолку, а не прикреплять их к верхним частям монтажных стоек или шкафов. Это обеспечивает большую гибкость применения монтажного оборудования разной высоты. И еще. Размещать осветительные приборы и водораспыляющие головки нужно в проходах между рядами стоек или шкафов с оборудованием, а не прямо над ними.

Согласно стандарту, для организации так называемых холодных и горячих проходов между рядами стоек или шкафов с оборудованием их следует устанавливать таким образом, чтобы стойки или шкафы соседних рядов были обращены либо передними, либо задними сторонами друг к другу. Холодные проходы образуются впереди стоек или шкафов — в этих проходах плиты фальшпола имеют отверстия, через которые в помещение ЦОД поступает холодный воздух.

Силовые кабели обычно прокладывают под холодными проходами. Соседние с ними проходы называются горячими — в ту сторону обращены задние части шкафов или стоек. Лотки с телекоммуникационными кабелями, как правило, располагают под горячими проходами.

В стойках или шкафах оборудование должно быть смонтировано так, чтобы его вентиляционные отверстия, через которые всасывается холодный воздух, находились в передней части шкафа или стойки, а выход горячего воздуха осуществлялся в задней части. В противном случае система охлаждения оборудования, основанная на концепции холодных и горячих проходов, не будет работать. Данная концепция ориентирована на устройства, в которых охлаждающий воздух перемещается от передней панели к задней.

Чтобы обеспечивать надлежащее охлаждение установленного оборудования, монтажные шкафы должны иметь средства воздухообмена. Если шкафы не оснащены вентиляторами, способствующими более эффективному функционированию горячих и холодных проходов, то в дверях шкафов должно быть большое число вентиляционных отверстий или прорезей, общая площадь которых составляла бы не менее половины площади двери.

Для удобства монтажа оборудования и прокладки кабелей проходы между рядами шкафов или стоек не должны быть слишком узкими. Рекомендуемое расстояние между передними сторонами стоек или шкафов (соседних рядов) — 1,2 м, а минимальное — 0,9 м. Расстояние между задними сторонами стоек или шкафов (опять же соседних рядов) должно составлять 0,9 м, а минимальное — 0,6 м.

Размещать ряды стоек или шкафов нужно так, чтобы можно было снимать плиты фальшпола спереди и сзади ряда. Таким образом, все шкафы следует выравнивать вдоль краев плит фальшпола. Чтобы резьбовые стержни, которыми монтажные стойки крепятся к межэтажным перекрытиям, не попадали на крепежные элементы плит фальшпола, стойки устанавливаются ближе к центру этих плит.

Размеры прорезей в плитах фальшпола, находящихся под стойками или шкафами, должны быть не больше, чем это необходимо, чтобы свести к минимуму снижение давления воздуха под фальшполом. Кроме того, для минимизации продольной электромагнитной связи между силовыми и телекоммуникационными кабелями из витых пар в стандарте TIA/EIA-942 оговорены требования к расстоянию между ними.

Стандарт TIA/EIA-942 разрабатывается с целью удовлетворения потребности ИТ-отрасли в рекомендациях по проектированию инфраструктуры для любого ЦОД независимо от его размеров (небольшой, средний или крупный) и характера использования (корпоративный ЦОД или ЦОД, в котором базируются Интернет-серверы разных компаний).

[http://www.ccc.ru/magazine/depot/04_13/read.html?1102.htm]