Журнал о компьютерных сетях и телекоммуникационных технологиях
СЕТИ И СИСТЕМЫ СВЯЗИ on-line
  ПОИСК:
    Домой
 
   
АРХИВ ЖУРНАЛА
   

2008: 1 2 3 4 5 6 7 8 9 10 11 12 13
2007: 1 2 3 4 5 6 7 8 9 10 11 12 13 14
2006: 1 2 3 4 5 6 7 8 9 10 11 12 13 14
2005: 1 2 3 4 5 6 7 8 9 10 11 12 13 14
2004: 1 2 3 4 5 6 7 8 9 10 11 12 13 14
2003: 1 2 3 4 5 6 7 8 9 10 11 12 13 14
2002: 1 2 3 4 5 6 7 8 9 10 11 12 13 14
2001: 1 2 3 4 5 6 7 8 9 10 11 12 13 14
2000: 1 2 3 4 5 6 7 8 9 10 11 12 13 14
1999: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16
1998: 1 2 3 4 5 6 7 8 9 10 11 12
1997: 1 2 3 4 5 6 7 8 9 10 11 12
1996: 1 2 3 4 5 6 7 8 9 10


Rambler's Top100

  

Отвод тепла от стоечного оборудования в ЦОДах

П. Л. Ронжин, Е. В. Шеин, А. В. Мартынюк

В последнее время в прессе, а также на специализированных семинарах и конференциях активно обсуждается тема повышения энергонагруженности стоек в центрах обработки данных (ЦОД) и, как следствие, возникновение проблем с их охлаждением. Называются разные цифры удельных нагрузок: 10, 20, 30 и даже 80 кВт на стойку! Однако в абсолютном большинстве ЦОДов в России, как, впрочем, и во всем мире, эксплуатируются стойки с тепловой нагрузкой не более 5–6 кВт. При этом часть производителей оборудования для ЦОДов, например Emerson Network Power, APC, Rittal, Knu..rr (в составе Emerson) и др., публикуют материалы, в которых тепловая нагрузка, равная 5–6 кВт на стойку, называется максимальной, при которой возможно поддержание нормального теплового режима стоечного оборудования с использованием ставшей уже практически традиционной системы кондиционирования с прецизионными кондиционерами и раздачей воздуха к стойкам через перфорированные панели фальшпола. Не ставя под сомнение значимость и правильность технических решений вышеперечисленных компаний по организации внутристоечного охлаждения, попробуем разобраться в проблемах охлаждения, возникающих при строительстве ЦОДа с удельной тепловой нагрузкой на стойку 10 кВт при использовании традиционной системы кондиционирования.

Точка отсчета

При проектировании любых систем кондиционирования и холодоснабжения, в том числе для ЦОДов, следует руководствоваться техническим заданием заказчика, а также действующими СНиПами, стандартами, правилами, инструкциями и т. п. Приведем перечень документов, на которые мы будем ориентироваться при проработке технического решения:

• СНиП 2.04.05-91* «Отопление, вентиляция и кондиционирование»;

• СНиП 3.05.01-85 «Внутренние санитарно-технические системы»;

• СНиП II-3-79** «Строительная теплотехника»;

• СНиП 23-01-99 «Строительная климатология»;

• ПОТ Р М 015-2000 «Межотраслевые правила по охране труда при эксплуатации фреоновых холодильных установок»;

• СН 512-78 «Инструкция по проектированию зданий и помещений для электронно-вычислительных машин».

• ANSI/TIA-942-2005 Telecommunications Infrastructure Standard for Data Centers.

В соответствии с инструкцией СН 512-78 в рабочей зоне помещений с электронно-вычислительным оборудованием должны поддерживаться следующие параметры воздуха: температура +22 °С ± 2 °С, относительная влажность 52% ± 7%. Малознакомый российским подрядчикам по системам кондиционирования, но тем не менее широко востребованный в последнее время заказчиками ЦОДов стандарт TIA-942 требует поддержания температуры воздуха 20–25 °С и относительной влажности 40–55%.

Для того чтобы выполнить необходимые расчеты, примем, что в соответствии с требованиями стандарта TIA-942 стойки с оборудованием расставлены рядами, образующими так называемые холодные и горячие коридоры. При этом стойки охлаждаются воздухом, который забирается из холодного коридора. Нагреваясь во время прохождения через стойки, он выводится в горячий коридор, откуда транспортируется для повторного охлаждения.

Полную версию данной статьи смотрите в 12-ом номере журнала за 2007 год.

Определение расхода воздуха

Если с воздухом, поступающим в стойки с оборудованием, все понятно и мы можем принять его температуру равной 22 °С, а влажность — 50%, то с воздухом, выходящим из стоек, не все так просто. Дело в том, что его температура напрямую зависит от температуры оборудования внутри стоек (кстати, именно эта величина будет характеризовать в целом эффективность процесса охлаждения оборудования в стойках, поэтому при написании технического задания заказчик должен указать максимально допустимую температуру оборудования).

Основываясь на нашем многолетнем опыте работы, примем, что средняя максимально допустимая температура оборудования внутри стойки должна составлять не более 40 °С. Тогда, учитывая тот факт, что теплообмен между оборудованием и воздухом протекает не со 100%-ной эффективностью, можно с достаточно большой долей вероятности утверждать, что воздух на выходе из стоек будет иметь следующие параметры: температура — 35 °С, влажность — 30%.

При расчете массового расхода воздуха, необходимого для отвода тепла от одной стойки, принимается во внимание соотношение между количеством тепла, выделяемого одной стойкой (в киловаттах), и разницей энтальпий воздуха на выходе и на входе. (Значения энтальпий определяются по таблицам влажного воздуха.) Проведя соответствующие расчеты, получим значение искомого параметра, равное 0,52 кг/с. Отнеся эту цифру к показателю средней плотности воздуха для заданных диапазонов температуры и относительной влажно-сти, получим объемный расход воздуха через стойку, равный 0,45 м3/с, или 1629 м3/ч. Эти параметры необходимо знать специалистам, непосредственно занимающимся формированием «начинки» стоек. Устанавливаемое в стойки вычислительное (серверное) оборудование, должно иметь соответствующие по производительности вентиляторы, принудительно подающие к нему воздух для охлаждения.

Для дальнейших расчетов предположим, что в нашем ЦОДе используются стойки Rittal TE 7000 с габаритными размерами: 600 * 2000 * 1000 мм. Кроме того, мы принимаем, что стойки устанавливаются на фальшполы со стандартными размерами панелей: 600 * 600 мм. Определив также, что количество стоек в каждом ряду будет равно 10 шт. (всего в проектируемом нами ЦОДе — 60 стоек), нетрудно подсчитать объем воздуха, который необходимо подавать в каждый холодный коридор. Для нагрузки в 10 кВт на стойку он составит 16 290 м3/ч.

С целью экономии площадей, занимаемых холодными и горячими коридорами, выбираем перфорированные панели или вентиляционные решетки с максимальной пропускной способностью, стараясь при этом, чтобы перепад давления на решетки не превышал 50 Па. Данным требованиям соответствуют решетки и перфорированные панели многих производителей. В качестве примера мы приведем технические характеристики двух возможных для использования воздухораспределяющих устройств:

• Перфорированная панель фальшпола фирмы Uniflair с 588 отверстиями диаметром 13 мм. Площадь перфорированной поверхности составляет 21,7% площади панели. При перепаде давления в 50 Па такая панель способна пропустить 1700 м3/ч.

• Перфорированная панель фальшпола Ventec S36 R28 фирмы Lindner с диаметром отверстий 12 мм. При перепаде давления всего в 20 Па такая панель обеспечивает тот же расход воздуха: 1700 м3/ч.

Исходя из приведенных технических характеристик, определим необходимое число перфорированных панелей фальшпола для холодного коридора, разделив требующийся общий расход воздуха на пропускную способность перфорированной панели и округлив рассчитанные значения до целого числа, кратного пяти, так как в коридоре пять стоек. При этом необходимое количество перфорированных панелей фальшпола для холодного коридора с 10-кВт стойками составляет 10 шт. (два ряда по 5 шт.).

Следует упомянуть, что скорость выхода воздуха из перфорированных панелей фальшпола будет в несколько раз превышать допустимое значение скорости воздуха, регламентируемое Приложением к Инструкции СН 512-78 (до 0,5 м/с). Для соблюдения допустимой скорости воздуха пришлось бы в несколько раз увеличить ширину холодных коридоров, что существенно скажется на стоимости строительства ЦОДа.

Высота фальшпола

Опуская подробности расчета высоты фальшпола, заметим лишь, что скорость движения воздуха в его сечении, исходя из нашего практического опыта, мы приняли равной 3 м/с. В результате получили, что при принятой нами схеме организации холодных коридоров для тепловой нагрузки в 10 кВт на стойку высота фальшпола должна быть не менее 0,63 м. Поскольку в пространстве под фальшполом, в том числе и в холодных коридорах, расположены многочисленные лотки, проходят кабели и т. п., высоту фальшпола следует увеличить до 1 м. Уменьшать высоту фальшпола не рекомендуем, так как это приведет к увеличению скорости движения воздуха в подпольном пространстве, следствием чего являются повышенные энергозатраты на перемещение воздуха, а также возникновение на нескольких первых рядах перфорированных панелей эффекта подсоса воздуха из помещения (эжекция).

Кроме фальшпола необходимой высоты, при выборе помещения для строительства ЦОДа не стоит забывать о примерно таком же (по высоте) запасе пространства над стойками для перемещения нагретого воздуха к кондиционерам.

При размещении кондиционеров в линию перпендикулярно рядам со стойками необходи-мо предусмотреть, чтобы расстояние между фронтальной панелью кондиционеров и стойками было не менее 2 м — для исключения попадания вышедшего из-под фальшпола охлажденного воздуха сразу на вход кондиционера, а также для обеспечения возможности перетекания воздуха в холодные коридоры, перед которыми будут находиться неработающие кондиционеры — например, резервные или находящиеся в ремонте.

Параметры помещения

Зная габариты стоек, необходимую ширину холодных коридоров (ширину горячих коридоров принимаем из условия ее максимального приближения к ширине холодных с учетом раскладки плиток фальшпола), высоту фальшполов (над стойками должно быть примерно такое же пространство, что и под стойками), оцениваем минимальные геометрические размеры помещения ЦОДа (рис. 1, табл. 1).

Для снятия тепловыделений со стоек в соответствии со «стандартной» схемой кондиционирования в рассматриваемом проекте мы бы рекомендовали оборудование итальянской компании RC Group — чиллеры с функцией естественного охлаждения серии Maximo и прецизионные кондиционеры с нижней раздачей воздуха серии Compact CW.U, работающие на охлажденном 40%-ном растворе этиленгликоля с температурами входа и выхода с теплообменника кондиционера 7/12 °С. (О том, как данная задача решается с использованием оборудования других производителей — АРС, Emerson Network Power, Knu..rr, Uniflair, Stulz, Rittal — см.: Сети и системы связи. 2007. № 9. С. 30. — Прим. ред.)

Явная холодопроизводительность кондиционера Compact при заданных условиях составляет 130 кВт. Соответственно для ЦОДа с тепловой нагрузкой 600 кВт (10 кВт на стойку, 60 стоек) необходимо использовать шесть работающих кондиционеров. Количество резервных кондиционеров определяется в соответствии с уровнем надежности Tier 2 стандарта TIA-942; по указанному стандарту система кондиционирования компьютерных залов должна быть обеспечена резервом N+1, но в данном случае на каждые три-четыре требующиеся единицы оборудования должна приходиться одна резервная. При таком подходе к резервированию для кондиционирования ЦОДа потребуется восемь (шесть + два) кондиционеров. При ширине кондиционера 3415 мм вдоль длинных стен серверного зала легко размещаются по четыре устройства.

Из приведенных выше расчетов можно сделать несколько важных выводов:

1. Для современных высоконагруженных ЦОДов требования по ограничению подвижности воздуха в помещении инструкции СН 512-78 безнадежно устарели. Соблюдение этих требований, т. е. ограничение скорости значением 0,5 м/с, приводит к значительному увеличению площадей и, следовательно, к существенному повышению стоимости строительства ЦОДа.

2. При заданных рядности и количестве стоек в ряду (12 рядов по 5 стоек) и удельной тепловой нагрузке на стойку, равной 10 кВт, мы можем обеспечить поступление в холодные коридоры нужного количества холода посредством традиционной системы кондиционирования с использованием прецизионных кондиционеров с подачей воздуха под фальшпол.

3. В рассмотренном случае эффективное охлаждение оборудования в стойке зависит только от конструкции самого стоечного оборудования (серверов) — в частности, от того, оснащено ли оно вентиляторами, какова их производительность, надежность, есть ли резерв и т. д. Банальный выход из строя вентиляторной группы сервера приведет к перегреву последнего из-за того, что его конструкция не была приспособлена к охлаждению без принудительного протока воздуха, и претензии к системе прецизионного кондиционирования тут будут ни при чем.

Оптимизация ЦОДа

Попробуем провести оптимизацию ЦОДа по занимаемой площади. Рассмотрим, как будет меняться площадь при других возможных вариантах расстановки стоечного оборудования. При общем числе стоек, равном 60, возможны три варианта их размещения:

• 12 рядов по 5 стоек (рассмотрен выше),

• 10 рядов по 6 стоек,

• 6 рядов по 10 стоек.

После выполнения некоторых расчетов, аналогичных приведенным выше, получаем данные по расходу воздуха, площади ЦОДа и удельной тепловой нагрузке (табл. 2). Из таблицы видно, что при размещении стоек в соответствии с третьим вариантом (6 рядов по 10 стоек) площадь ЦОДа становится минимальной (рис. 2). По сравнению с первоначальным вариантом площадь уменьшается в 1,26 раза, соответственно во столько же раз возрастает удельная тепловая нагрузка на квадратный метр ЦОДа.

Не следует забывать, что при увеличении числа стоек в коридоре в два раза для сохранения нормальной скорости перемещения воздуха в фальшпольном пространстве (не более 3 м/с) следует также в два раза увеличить высоту фальшпола и добавить столько же пространства над стойками. При этом несколько (примерно на 7%) вырастет объем помещения.

Обобщая полученные материалы, можно сделать еще один вывод: при проектировании ЦОДа необходимо оптимизировать схемы размещения стоечного оборудования с учетом минимизации площади, а также возможностей размещения кондиционерного оборудования, организации каналов и коридоров для движения воздуха.

Давайте сопоставим расход воздуха, необходимый для охлаждения стоек, с расходом воздуха, подаваемого кондиционерами требующейся холодопроизводительности. Первая величина равна 97 740 м3/ч (1629 * 60 стоек), вторая — 170 000 м3/ч — следовательно, расход воздуха, создаваемый кондиционерами, значительно превышает расход, необходимый для охлаждения стоек. В реальности это приведет к тому, что через каждую перфорированную панель фальшпола будет подаваться от 2600 до 2800 м3/ч холодного воздуха при перепаде давления около 50 Па (для перфорированных панелей фальшпола Ventec S36 R28 фирмы Lindner с диаметром отверстий 12 мм). Такое увеличение расхода воздуха ориентировочно приведет к снижению температуры воздуха, выходящего из стойки до +30 °С вместо +35 °С, принятых нами в начале расчета, а также к снижению температуры самого стоечного оборудования.

В рассмотренной схеме кондиционирования определенные опасения вызывает возможность движения воздуха не только через стойки с оборудованием. Часть холодного воздуха, выходящего из средней части холодного коридора, может направиться к потолку помещения, где будет перемешиваться с теплым воздухом, а часть его — выходить через торцы холодного коридора и т. д. Для повышения эффективности охлаждения следует упорядочить движение холодного воздуха через стойки. Для этого холодный коридор с торцов и сверху нужно огородить легкими перегородками.

Представленный в данном материале подход к выработке технического решения системы кондиционирования позволяет сократить материальные затраты при строительстве крупных высоконагруженных ЦОДов за счет оптимизации их площади и применения относительно недорогого кондиционерного оборудования. По нашим оценкам, применение шкафов со встроенными системами охлаждения может привести к увеличению стоимости систем холодоснабжения и кондиционирования в два–пять раз, сведя при этом к нулю экономию по занимаемой площади. Тем не менее в уже существующих ЦОДах применение встроенных систем охлаждения может быть единственной возможно-стью увеличения их мощности.

Об авторах
Шеин Евгений Васильевич, 
генеральный директор ООО «ВентСпецСтрой»
Ронжин Петр Леонидович, 
директор ООО «ВентСпецСтрой»
Телефон: (495) 775-3791
info@ventss.ru
Мартынюк Александр Викторович, 
независимый эксперт, президент НП «АСЦОД»
Телефон: (495) 137-0043
info@datacenters.ru


  
12 '2007
СОДЕРЖАНИЕ

инфраструктура

• Стандарт 802.11r для безопасной Wi-Fi-мобильности

• Отвод тепла от стоичного оборудования в ЦОДах

• Удаленное управление по дополнительному каналу

сети связи

• Качество речи в IP-сетях

• Гладкий межсетевой роуминг-почти реальность

кабельные системы

• Оптические инфраструктуры: волокна и кабели

• Кабельные каналы для сетей 10-Gigabit Ethernet

• Прокладка кабелей в ЦОДе: под фальшполом или у потолка?

информационные системы

• Здравствуй бизнес-интеллект!

• "Вытягиваем" производительность виртуальных машин

защита данных

• Контроль за безопасностью приложений Ajax

новые продукты

• MetroScope - комплексное решение для тестирования сетей Ethernet/IP;ИБП серии ITYS компании Socomec UPS


• Калейдоскоп


Реклама: накрутка рейтинга
 Copyright © 1996-2008 ООО "Сети и Системы Связи". вверх