Ж у р н а л   о   к о м п ь ю т е р н ы х   с е т я х   и   т е л е к о м м у н и к а ц и о н н ы х   т е х н о л о г и я х
СЕТИ И СИСТЕМЫ СВЯЗИ on-line
  ПОИСК: ПОДПИСКА НА НОВОСТИ: НОМЕР:
    ДОМОЙ • Архив: Новостей | Конференций | НомеровПодписка
 
   
 
   
    
РЕДАКЦИЯ
 
Все о журнале
Подписка
Как проехать
Где купить
Отдел рекламы
График выхода журнала
Адреса в Интернет

РУБРИКАТОР
   
• Инфраструктура
• Информационные
   системы

• Сети связи
• Защита данных
• Кабельные системы
• Бизнес
• Колонка редактора
• Электронная
   коммерция

• Только на сервере
• Системы
   учрежденческой
   связи

• Новые продукты


Rambler's Top100

  

ИБП в параллель

А. Г. Барсков

В погоне за “пятью девятками” вы организовали резервный центр хранения данных, установили RAID-массивы, закупили отказоустойчивые модульные маршрутизаторы и настроили механизмы аварийной перемаршрутизации данных в сети. Какие еще слабые места остались? Быть может, это ваш источник бесперебойного питания (ИБП)?

Наиболее известной количественной характеристикой надежности является параметр MTBF (Mean Time Between Failures) — среднее время наработки на отказ. Его обычно указывают в часах, например 100 тыс. ч (приблизительно одиннадцать с половиной лет). Для увеличения MTBF, помимо очевидного повышения качества производства отдельных блоков (100%-ный контроль компонентов, многократное тестирование и пр.), осуществляют их резервирование. Это добавляет системе определенный уровень избыточности, а значит, повышает ее отказоустойчивость. В ИБП, например, могут быть зарезервированы батареи, блоки силовой электроники, подсистемы управления. Важно понимать, что MTBF является чисто статистическим параметром, корректным для большого числа устройств, а не характеристикой индивидуального изделия. Так, система с MTBF в десятки лет может выйти из строя сразу же после запуска в эксплуатацию. Что ж, статистика статистикой, а жизнь жизнью.

Полную версию данной статьи смотрите в 10-ом номере журнала за 2003 год.

Еще одна важная характеристика, о которой часто забывают, — это MTTR (Mean Time to Repair), или среднее время восстановления. Представьте, что два устройства, проработав один и тот же срок, скажем три года, выходят из строя, но на починку одного уходит 10 мин, а другого — 10 дней. В такой ситуации вы быстро почувствуете, что такое характеристика MTTR. Для снижения ее значения (чем оно меньше, тем, очевидно, лучше) применяют такое конструктивное решение, как “горячая” замена неисправных или требующих профилактического обслуживания узлов. Принцип “горячей” замены все чаще используют в самом разном коммуникационном оборудовании, взяли его на вооружение и производители ИБП.

В качестве комплексной характеристики надежности, в которой учтены оба упомянутых показателя — MTBF и MTTR, часто используют так называемый коэффициент доступности. Это относительное значение суммарного времени работы системы за год за вычетом простоев. Исходя из того что время нормальной работы в среднем равно MTBF, а время простоя, например после аварии, MTTR, можно определить коэффициент доступности по следующей формуле MTBF/(MTBF + MTTR).

По большому счету важнее всего знать коэффициент доступности для конечных приложений, поскольку именно они определяют производительность работы пользователей, а значит, и эффективность предприятия в целом. На этот коэффициент влияет масса вещей: это и человеческий фактор (наличие квалифицированных кадров, их своевременное и адекватное обучение, организация трудового процесса), и существующие на предприятии бизнес-процессы (оптимизация, управление), и элементы информационной системы высокого уровня (маршрутизаторы, коммутаторы, серверы). Но базисом всего этого безусловно является физическая инфраструктура, в нее входят системы физической безопасности, кондиционирования, электроснабжения. Таким образом, после небольшого теоретического отступления о коэффициенте доступности возвращаемся к нашим ИБП.

Самый лучший с точки зрения надежности вариант — зарезервировать все блоки ИБП и обеспечить возможность их “горячей” замены. Наиболее близко к резервированию “всего и вся” фирмы-производители подошли в так называемых модульных ИБП. Такие источники питания выпускают далеко не все фирмы; из известных мне это APC (со своей системой Symmetra), Liebert-Hiross (продукт Nfinity), Invensys Powerware (модель 9170) и Socomec-Sicon (Modulys). Обеспечивая легкость наращивания и технического обслуживания, модульные ИБП, однако, и стоят довольно дорого. Кроме того, их максимальная мощность, как правило, ограничена 20 кВА, что говорит о их ориентации на компьютерные и телекоммуникационные приложения.

А как обстоит дело с более мощными нагрузками, применяемыми, например, в промышленности? Для их отказоустойчивого питания чаще всего используют хорошо известный подход — устанавливают параллельно несколько обычных (не модульных) ИБП. Собственно говоря, это классика резервирования.

Прежде чем приступить к обсуждению практических вопросов, связанных с организацией параллельных систем, поясню еще одно общее обозначение, часто встречающееся, когда речь идет о дублировании каких-либо элементов с целью повышения надежности. Вам, наверное, попадались выражения “схема N+1”, “схема N+2” и т. п. Так вот, под резервированием N+X понимают такую ситуацию, когда N — это число элементов (скажем, блоков ИБП), которые присутствуют в системе для выполнения заданной функции, а X — число элементов (блоков ИБП), которые могут быть неисправными без негативных влияний на выполнение данной функции. Например, в параллельной системе бесперебойного электропитания, построенной по схеме N+1, при отказе одного блока ИБП нагрузка будет продолжать получать “чистое” питание требуемой мощности.

Отказоустойчивость или мощность

Система с параллельным резервированием включает в себя два или несколько ИБП, работающих на общую нагрузку. Такая система может строиться для двух разных целей: резервирования или повышения общей мощности. Для обеспечения резервирования общая мощность ИБП должна быть избыточной. Так, в самой распространенной схеме 1+1 для гарантированного электропитания со 100%-ным резервом каждый блок ИБП должен обладать такой мощностью, чтобы в случае выхода из строя “напарника” поддержать полную нагрузку. В нормальном режиме работы оба устройства будут нести половинную нагрузку, что, кстати, позволяет продлить срок их службы. В общем случае для обеспечения резервирования по схеме N+1, необходимо, чтобы мощность каждого ИБП была не менее чем Pобщ./(N –1), где Pобщ. — суммарная мощность нагрузки. Например, для организации бесперебойного электропитания нагрузки мощностью 100 кВА системой из трех ИБП резервирование N+1 будет достигнуто в том случае, если мощность каждого источника будет не менее 50 кВА.

Представители разных фирм — производителей ИБП по-разному относятся к использованию параллельных схем для повышения общей мощности. Так, менеджер компании Liebert-Hiross Анна Кулашова называет такой подход “абсолютно безграмотным”. “Основная функция построения параллельной системы заключается в обеспечении повышенной надежности путем резервирования, — говорит она. — Если же кто-то использует параллельную систему с целью наращивания мощности, он должен отдавать себе отчет в том, что надежность такой системы много ниже надежности единичного модуля соответствующей мощности”.

По-иному относится к запараллеливанию ИБП с целью повышения мощности Борис Осипов из компании Riello. Вот его аргументы. Предположим, компании на сегодня вполне достаточно источника мощностью 40 кВА, но через год она арендовала еще один этаж офисного здания, установила новое оборудование, в результате чего мощность нагрузки значительно возросла. Можно купить еще один 40-кВА источник и связать два ИБП в единую систему повышенной мощности. Конечно, один ИБП мощностью 80 кВА дешевле двух по 40 кВА, но далеко не всегда разумно вкладывать средства в большую систему и при этом задействовать только часть ее возможностей. Возможна и другая ситуация: денег на покупку мощного ИБП и защиту всего оборудования у малобюджетного предприятия (например, медицинского учреждения) просто нет. Однако части оборудования безотлагательно требуется защита питания. Тогда можно сначала купить один менее мощный ИБП и защитить самую важную нагрузку, а потом, когда появятся средства, поставить в параллель еще один источник.

Что ж, при очень ограниченном бюджете или когда будущее развитие прогнозировать трудно, предприятие для повышения общей мощности системы питания может использовать параллельное включение ИБП. Но в первую очередь это средство повышения надежности системы.

Байпас. Центральный или распределенный?

Несмотря на кажущуюся простоту параллельной схемы резервирования, ее конкретные реализации у разных фирм могут существенно различаться. Число включаемых в параллель ИБП (как правило, это четыре, шесть или восемь устройств) не носит принципиального характера, а вот выбор схем организации байпаса и синхронизации — для многих производителей дело принципа.

В некоторых реализациях параллельных систем используется централизованный подход с единым внешним модулем статического байпаса (рис. 1). Он состоит из статического переключателя большой мощности, достаточной для работы с полной нагрузкой. Такая схема предполагает использование “облегченных” системных блоков ИБП, которые не содержат внутренние схемы байпаса.

Ряд фирм, например N-Power и “Абитех” — поставщик ИБП производства компании GE Digital Energy, подчеркивают существенный недостаток схемы с централизованным байпасом: модуль байпаса является критичным элементом, при его отказе выходит из строя вся система. По этой и другим причинам (повышение стоимости решения и пр.) указанные компании настоятельно рекомендуют системы с децентрализованным (распределенным) байпасом. Такие системы формируются на базе стандартных системных блоков ИБП, состоящих из выпрямителя, инвертора, батареи, а также встроенных схем статического и ручного байпаса (рис. 2).

Есть сторонники и у схемы с централизованным байпасом. Так, та же Анна Кулашова из Liebert-Hiross считает, что присущее децентрализованным схемам большое число цепей байпаса — их слабое место.

В случае пробоя одного из тиристоров байпасного ключа хотя бы в одном из ИБП, составляющих параллельную систему, может произойти полное отключение системы из-за короткого замыкания. Этот недостаток устраняется, если систему построить только с одним общим байпасом. Системы Hipulse фирмы Liebert-Hiross могут объединяться в параллель с использованием главного (центрального) статического ключа (MSS), который рассчитан на мощность всей системы и, кроме того, обеспечивает выбор режима питания приоритетной нагрузки. Кстати, эти же ИБП можно объединять и без использования главного статического ключа, т. е. по децентрализованной схеме.

Ряд компаний вообще не акцентируют внимание на выборе схемы статического байпаса. Так, Игорь Обухов из компании APC рассказал, что за всю свою практику вообще ни разу не сталкивался с тем, чтобы заказчик специфицировал, какой байпас ставить — центральный или распределенный. Байпас должен быть — и все! А какой вариант лучше, должны определять специали-сты компании-поставщика. Таков подход APC. Кстати, классическую схему установки ИБП в параллель, которую APC предлагает для своих ИБП Silcon, Игорь Обухов назвал устаревшей. Современный подход к организации резервирования, по его мнению, — многомодульные системы. Здесь Игорь особо подчеркнул, что концепцию модульности его компания расширила на большие мощности — новая система Symmetra MW поддерживает мощности от 200 кВА до 1 МВА. При этом менеджер APC добавил, что системы Symmetra MW, в свою очередь, можно устанавливать в параллель. Да, никуда от этого не деться — идея параллельных систем всплывает и на новом витке развития технического прогресса.

Более четкие рекомендации по выбору схемы байпаса в параллельных системах дает менеджер компании Invensys Powerware Юрий Копылов. Он считает, что, когда запараллеливаются всего два источника, нет особого смысла ставить отдельно стоящий электронный байпас. Если же объединяются свыше четырех ИБП, то более надежным считается отдельный внешний байпас. “Но мой совет не универсален: все зависит от нагрузки, от конкретного применения”, — подчеркивает специалист Invensys Powerware.

Синхронизация: фирменные “ноу-хау”

Для параллельной работы ИБП на общую нагрузку требуется их дополнительная синхронизация. Общий подход здесь таков: связь между блоками ИБП с установленными устройствами управления (платами параллельной работы) организуется с помощью сигнальных кабелей; у многих фирм цепь управления образует кольцо, поэтому разрыв в одной точке не приводит к выходу системы из строя. Для ее нормальной работы крайне желательно, чтобы включаемые в параллель блоки ИБП были одной мощности.

В качестве дополнительной возможности фирма Liebert-Hiross предлагает более гибкое решение — подключения ИБП через так называемые шины синхронизации нагрузки (HiSync). Эти устройства характеризуются тем, что позволяют сопрягать ИБП Liebert-Hiross с источниками других производителей, имеющих соответствующую мощность. Кроме того, устройство HiSync обеспечивает параллельную работу двух независимых систем ИБП, каждая из которых может содержать до шести модулей. При этом обе системы работают на одной и той же частоте, даже если питаются от различных источников (фидеров) либо от батарей.

Оригинальная технология синхронизации Hot Sync используется при объединении в параллельную систему ИБП Invensys Powerware (модели PW 9305, 9340 и 9315). Эту технологию компания называет беспроводной, поскольку она не требует вообще никаких коммуникационных соединений между блоками ИБП. Для контроля за точным распределением нагрузки между параллельно работающими ИБП используется факт зависимости между фазой (частотой) выходного напряжения блока и величиной нагрузки на нем. В параллельной системе каждый блок отслеживает отклонения в уровне собственной выходной мощности от одного цикла к другому. Если разность значений выходной мощности между двумя соседними циклами у одного блока увеличилась, это означает, что его напряжение опережает по фазе напряжение другого блока. Для компенсации увеличения мощно-сти будет незначительно уменьшена его выходная частота (обычно эти регулировки частоты составляют несколько миллигерц). Напротив, если разность значений выходной мощности между двумя соседними циклами у одного из блоков уменьшилась, т. е. напряжение отстало по фазе от напряжения другого блока, его выходная частота будет несколько увеличена.

Таким образом, чтобы оставаться в режиме синхронной работы, каждому блоку ИБП Powerware необходимо отслеживать только свою собственную выходную мощность. При таком способе параллельной работы распределение нагрузки между блоками ИБП осуществляется без обмена какой-либо дополнительной информацией, поэтому отпадает необходимость в коммуникационной связи между ними. Точность выравнивания выходной мощности ИБП Powerware составляет 2%. По данным поставщиков этих ИБП, технология Hot Sync настолько устойчива, что блок ИБП может параллельно работать даже с сетью, поддерживая точное распределение нагрузки между собой и сетью.

Другая серия ИБП фирмы Invensys Powerware — устройства семейства Borri не поддерживают технологию Hot Sync, но и у них есть своя “семейная” специфика. Юрий Копылов отмечает, что в параллельной системе прекрасно работают ИБП Borri разной мощности, распределяя нагрузку пропорционально своей мощности. Большинство же специалистов других фирм, с кем мне пришлось разговаривать при подготовке данной статьи, даже если и допускали объединение в одной системе ИБП разной мощности, делать этого не рекомендовали.

Но, вернемся к вопросам синхронизации. Одной из основных задач, решаемых разработчиками “беспроводной” технологии Hot Sync, было, очевидно, повышение надежности системы. Эту же задачу стараются решить и разработчики “проводных” систем синхронизации. Я уже отмечал отказоустойчивые кольцевые схемы, которые используются в решениях таких компаний, как APC, NeuHaus, Socomec-Sicon. Дублирование коммуникационных шин практикуют компании GE Digital Energy (IMV) и Invensys Powerware (в семействе Borri). При запараллеливании ИБП фирмы MGE UPS Systems каждый источник соединяется проводом со всеми остальными, т. е. получается схема “каждый с каждым”.

С целью повышения помехозащищенности и отказоустойчивости параллельного комплекса инженеры итальянского завода Siel вообще решили использовать систему синхронизации по оптоволоконным линиям. Эта система задействуется для объединения ИБП Flexi-Power и Safe-Power, которые поставляет в нашу страну компания N-Power (оба предприятия — Siel и N-Power — входят в группу B.F. Stanley). К бесспорным преимуществам оптоволоконной технологии относится высокая помехоустойчивость к электромагнитным излучениям и коммутационным наводкам, а также полная гальваническая изоляция цепей управления друг от друга. Специалисты N-Power отмечают также топологию системы; она такова, что даже случайные повреждение или обрыв оптоволоконного кабеля не приведут к аварии параллельной системы или повреждению каких-либо ее составных частей.

Рассказ об “изюминках” параллельных систем разных фирм закончу описанием архитектуры RPA (Redundant Parallel Architecture) компании GE Digital Energy. По словам специалистов фирмы “Абитех”, резервирование в системе RPA обеспечивается не только на уровне ИБП, как такового, но и на уровне внутренних узлов ИБП. Так, например, если в одном из параллельных ИБП вышел из строя байпас, то технология RPA позволит использовать его выпрямитель, аккумуляторные батареи и инвертор в составе системы. Это обеспечивает степень резервируемости критичных элементов на уровне N+(N –1). Скажем, в системе из четырех ИБП три электронные схемы управления байпасом могут выйти из строя, а система будет по-прежнему активироваться по всем четырем байпасам.

Кто заказчики?

“Абитех”, одна из немногих опрошенных мной компаний, прислала информацию не только о технологии, но и проектах по организации параллельных систем бесперебойного питания повышенной мощности. Заказчиками компании являются ИТАР ТАСС, “ЯмбургГазоДобыча”, НК “ЮКОС”. Так, система бесперебойного электроснабжения офисного центра НК “ЮКОС” была построена по иерархическому принципу: параллельный комплекс из трех ИБП SitePro (200 кВА каждый) на базовом уровне дополнен менее мощными источниками LanPro и NetPro для защиты критической нагрузки. Все ИБП в этом проекте объединены системой мониторинга, интегрированной с системой управления резервным дизель-генератором и программным комплексом управления зданием (фирмы Honeywell).

Двух заказчиков параллельных систем бесперебойного электроснабжения назвали нам и представители компании Riello. Это российский производитель волоконно-оптического кабеля завод “Трансвок” и Октябрьская железная дорога. В последнем проекте компанией Riello было организовано две системы по четыре ИБП Riello Master Dialog мощностью 60 кВА каждый.

Приведенные примеры дают представление об основных категориях заказчиков параллельных систем и масштабах соответствующих проектов. В первую очередь это промышленные системы большой мощности. Что же касается повышения надежности систем электропитания вычислительных и телекоммуникационных комплексов, то здесь, возможно, читателю следует обратить внимание на модульные системы, упомянутые в начале статьи. Увеличение коэффициента доступности этих систем достигается в первую очередь благодаря снижению среднего времени восстановления (MTTR). Быстро заменить вышедший из строя модуль можно силами персонала самой компании-заказчика без вызова специалиста фирмы-производителя или поставщика. При этом заказчику, конечно, необходимо иметь у себя на складе определенный запас модулей для таких источников.

При обсуждении проблем повышения надежности систем электропитания специалисты компании АРС старались сместить акцент с собственно параллельных систем (о которых я их, естественно, спрашивал, стараясь максимально полно раскрыть тему статьи) на свой новый продукт InfraStruXure. В нем АРС распространила концепцию модульности на все основные элементы физической инфраструктуры. Она позиционирует InfraStruXure как интегрированную инфраструктуру для построения центров обработки данных, в состав которой входят стандартные компоненты — монтажные шкафы, системы энергообеспечения, кондиционирования, управления и контроля. Важным является применение в InfraStruXure концепции зон: вся нагрузка разбивается на зоны (в каждой зоне — оборудование со схожими требованиями к электропитанию), а инженерные системы оптимизируются под характеристики конкретных зон. Этот подход, равно как и само решение APC, заслуживает более детального рассмотрения в отдельной статье, однако стоит хотя бы упомянуть о нем здесь, поскольку специалисты АРС считают InfraStruXure значительно более современным подходом к повышению надежности, чем классическое запараллеливание ИБП.


Что такое качественный хостинг? Конечно это https://best-hoster.ru/host/




  
10 '2003
СОДЕРЖАНИЕ

электронная Россия

• Нижегородский форум инфокоммуникаций

бизнес

• Собеседование: как правильно оценить кандидата

инфраструктура

• ИБП в параллель

• Тестируем адаптеры iSCSI

• Сканируя эфир

информационные системы

• Как бороться с текучкой в call-центрах

• Корпоративные системы мгновенного обмена сообщениями

• Корпоративный контакт-центр

• Базы данных как источник сетевых заторов

сети связи

• Сети сигнализации будущего

• Процедура предварительного уведомления как один из путей усовершенствования протокола RSVP

• Хот-споты набирают силу

• Поставщики услуг хот-спотов: общие цели, уникальные достоинства

кабельные системы

• Высокоскоростной доступ по нескольким медным парам

• Маркирование кабельных систем по стандарту TIA/EIA-606-A

защита данных

• Сделайте свою сеть безопасной

новые продукты

• Switch 7700: возврат на рынок корпоративных решений


• Калейдоскоп



 Copyright © 1997-2007 ООО "Сети и Системы Связи". Тел. (495) 234-53-21. Факс (495) 974-7110. вверх