Жылдар бойы әңгімедеректер орталығыэнергия тұтыну болжамды доғаға сәйкес болды. Цифрландыру өсті, әрине, бірақ жақсырақ серверлердің, виртуализацияның және бұлтты біріктірудің тиімділігі жалпы электр қуатын тұтынуды таңқаларлықтай етіп қалдырды. Жаһандық деректер орталығының қуат сұранысы онжылдықтың жақсы бөлігінде жалпы электр энергиясын тұтынудың шамамен 1 пайызын (жыл сайын шамамен 200 тераватт-сағат) құрады.

Ол дәуір аяқталады.

Генеративті AI, криптовалютаны өндіру, шеткі есептеулер және қосылған құрылғылардың экспоненциалды өсуінің конвергенциясы ескі тиімділік қисығын бұзды. Өнеркәсіптік бағалаулар қазір деректер орталығының қуатына сұраныс 2000-шы жылдардың басынан бері байқалмаған жылдық қарқынмен өсетінін көрсетеді. Кейбір аймақтарда – Ирландия, Солтүстік Вирджиния, Сингапур – деректер орталықтары қазірдің өзінде жалпы электр энергиясын тұтынудың 15-25 пайызын құрайды, бұл реттеушілерді жаңа құрылыстарға мораторий енгізуге мәжбүр етеді.

Осының аясында бір кездері техникалық бөлшектер сияқты көрінген инфрақұрылымдық таңдаулар - салқындату архитектурасы, қуат тарату топологиясы, тіректердің тығыздығын жоспарлау - кеңес бөлмесінің шешімдеріне айналды. Қуат құны енді желілік элемент емес. Бұл өсуді шектеу.

Барлығын өзгерткен қарапайым метрика

Қуатты пайдалану тиімділігі немесе PUE жиырма жылға жуық уақыт бойы деректер орталығы индустриясының стандартты тиімділік көрсеткіші болды. Бұл қарапайым қатынас: жалпы қондырғы қуаты АТ жабдығының қуатына бөлінеді.

2.0 PUE мәні серверлер мен жадты қуаттандыратын әрбір ватт үшін тағы бір ватт салқындату, жарықтандыру, қуатты түрлендіру жоғалтулары және басқа да үстеме шығындарға кететінін білдіреді. PUE 1,2 мәні бір АТ ватт үшін тек 0,2 Вт жұмсайтынын білдіреді.

Өнеркәсіп PUE негізіндегі деңгейлерді кеңінен қабылдады:

Мәселе мынада, көптеген ұйымдар өздерінің PUE-ін білмейді. Олар бағалайды. Олар болжайды. Немесе олар тек негізгі коммуналдық есептегіште өлшеп, қалғанын қабылдайды.

2023 жылғы салалық сауалнама деректер орталығы операторларының 40 пайызға жуығы PUE-ді тірек деңгейінде ешқашан өлшемегенін көрсетті. Жасағандардың арасында есептелген және нақты PUE арасындағы спрэд орташа есеппен 0,3 ұпайды құрады, бұл нысанды ешкім байқамай Алтыннан Күміске ауыстыруға жеткілікті.

Күш іс жүзінде қайда барады

PUE неліктен соншалықты көп өзгеретінін түсіну қуат деректер орталығынан қай жерде шығатынын қараудан басталады.

PUE шамамен 1,8 болатын әдеттегі ауамен салқындатылатын қондырғыда бұзылу шамамен келесідей көрінеді:

• IT жабдықтары (серверлер, сақтау, желі): 55-60 пайыз
• Салқындату (CRAC/CRAH қондырғылары, салқындатқыштар, сорғылар, құрғақ салқындатқыштар): 30-35 пайыз
• Қуатты бөлу (UPS, трансформаторлар, PDU шығындары): 5-8 пайыз
• Жарықтандыру және басқа да нысандар жүктемесі: 2-4 пайыз

Салқындату жүктемесі ең үлкен айнымалы болып табылады. Еркін салқындату үшін сырттағы ауаны пайдаланатын қалыпты климаттағы мекеме салқындату үшін АТ емес қуатының тек 15 пайызын ғана жұмсауы мүмкін. Жыл бойы механикалық салқындататын тропикалық климаттағы дәл осындай қондырғы 40 пайыз жұмсауы мүмкін.

Сондықтан колокация провайдерлері PUE-ді объект деңгейінде жарнамалайды, бірақ PUE-ді тұтынушы есептегішінде жеткізеді — әртүрлі сандар, әртүрлі салдар. Оның барлығын тұтынушы төлейді.

Дәстүрлі инфрақұрылымнан бұлттық масштабты инфрақұрылымға ауысу

Дәстүрлі деректер орталығының басқаруы салыстырмалы түрде статикалық ортаны қабылдады. Сөрелер айлар немесе жылдар бойы толтырылды. Салқындатуды баяу реттеуге болады. Бірінші күннен бастап электр қуатын бөлу өте үлкен болды.

Бұлт дәуірі болжамдарды өзгертті. Сөрелер қазір күндермен толтырылады. Жұмыс жүктемелері серверлер бойынша автоматты түрде ауысады. Тығыздығы жоғары AI кластерлері көршілес жалпы мақсаттағы есептеу тіректерінен үш есе қуатты тарта алады.

Бұл өзгерістер инфрақұрылымды басқаруды қайта қарауға мәжбүр етті. Үш тенденция көзге түседі.

Біріншіден, тығыздық біркелкі емес өсуде.Стандартты сервер сөресі он жыл бұрын 5-8 киловатт қуат алды. Бүгінгі таңда жалпы мақсаттағы тіректер 10-15 киловатт тартады. Өнімділігі жоғары есептеуіш және AI оқыту тіректері әдетте бір тірекке 30 киловатттан асады. Кейбіреулері 50 киловатттан асады.

Бұл ауаны салқындату шешуге тырысатын жылуды басқару мәселелерін тудырады. Әр сөреге 20 киловатт болғанда, ауаны салқындату дұрыс сақтау кезінде тиімді болып қалады. 30 киловатт болғанда ол шекті болады. 40 киловатт және одан жоғары қуаттылықта сұйық салқындату қосымшадан қажеттіге ауысады.

Екіншіден, қуаттылықты жоспарлау болжамды сипатқа ие болды.Ескі әдіс - қажет болғаннан көбірек қуатты сатып алыңыз және оны бос қалдырыңыз - енді масштабта жұмыс істемейді. Бос тұрған қуаттың күрделі құны да, ағымдағы жөндеу құны да бар.

Заманауи инфрақұрылымды басқару жүйелері қуат, салқындату немесе сөредегі кеңістік қашан таусылатынын болжау үшін тарихи деректерді және жұмыс жүктемесін болжауды пайдаланады. Ең жақсы жүйелер шектеулер маңызды болғанға дейін күн немесе апта бұрын бар сыйымдылықты қайта конфигурациялауды немесе жаңа жабдыққа тапсырыс беруді ұсына алады.

Үшіншіден, көріну талаптары барпандалған.Дәстүрлі деректер орталығы қуатты PDU деңгейінде бақылай алады. Заманауи қондырғы рейк деңгейінде, кейде сервер деңгейінде және барған сайын жұмыс жүктемесі деңгейінде көрінуді қажет етеді — қандай виртуалды машина немесе контейнер қай қуат алатынын білу.

DCIM деңгейі: ол іс жүзінде не істейді

Деректер орталығының инфрақұрылымыБасқару (DCIM) бағдарламалық құралы он жылдан астам уақыт бойы бар, бірақ қабылдау біркелкі емес. Кәсіпорын деректер орталықтарының жартысынан азы толық DCIM жүйесін енгізді. Олардың көпшілігі оның мүмкіндіктерінің бір бөлігін ғана пайдаланды.

Дұрыс енгізілген DCIM жүйесі төрт нәрсені орындайды:

Активтерді басқару.Әрбір сервер, қосқыш, PDU және салқындату құрылғысы конфигурацияны басқару дерекқорында (CMDB) бақыланады. Орналасқан жер, қуат рейтингі, желі қосылымдары, техникалық қызмет көрсету тарихы — мұның бәрі. Бұл қарапайым болып көрінеді, бірақ көптеген ұйымдар жаңартулар арасында айлар бойы жүретін электрондық кестелердегі активтерді бақылайды.

Нақты уақыттағы мониторинг.PDU немесе тірек деңгейінде қуат тұтынуы, жеткізу және қайтару нүктелеріндегі температура мен ылғалдылық, салқындату жүйесінің күйі, UPS батареясының күйі. Параметрлер белгіленген мәндерден ауытқыған кезде дабылдар іске қосылады. Мақсат – ақауларды тоқтау уақытын тудырмас бұрын анықтау.

Сыйымдылықты жоспарлау.Жүйе қанша қуат пен салқындату сыйымдылығының бар екенін, қаншасы қолданыста екенін және болашақта орналастыру үшін қаншасы сақталғанын біледі. Ол жаңа жоғары тығыздықты тіректі қосу немесе ескі серверлер жинағын шығару әсерін үлгілей алады.

Визуализация.Деректер орталығының сандық егізі — сөре бойынша сөре, тақтайша — ағымдағы шарттарды көрсетеді және операторларға өзгерістерді модельдеуге мүмкіндік береді. Үшінші жолдың төртінші бағанына 10 киловатт жүктеме қосу: бұл салқындату мүмкіндігінен асып кете ме? Жүйе ешкім жабдықты жылжытпас бұрын жауап береді.

Іс жүзінде жұмыс істейтін тиімділік математикасы

Деректер орталығының қуат тұтынуын азайту жұмбақ емес. Әдістері жақсы түсініледі. Қиындық – орындау тәртібі.

Берілетін ауа температурасын көтеріңіз.Көптеген деректер орталықтары салқындатылады - салқындату құрылғысы қайтарылған кезде 18-ден 20 градусқа дейін - бұл операторлар әрқашан осылай істейтін. ASHRAE нұсқаулары енді 24-27 градусты ұсынады. Әрбір дәреже жоғарылау салқындату энергиясын шамамен 4 пайызға қысқартады. 20 градустың орнына 26 градуста жұмыс істеу салқындату қуатының 20-25 пайызын үнемдейді.

Ыстық және суық ауаның араласуын жойыңыз.Ыстық өтпе, салқын өтпе немесе тік шығатын түтіктер тіректердің алдыңғы бөлігі арқылы қысқа айналудан гөрі салқындатқыш ауаны қажетті жерге жіберуге мәжбүр етеді. Жалғыз оқшаулау әдетте салқындату энергиясын 15-25 пайызға азайтады.

Айнымалы жылдамдықты жетектерді пайдаланыңыз.Тұрақты жылдамдықты желдеткіштер мен сорғылар ішінара жүктеме кезінде энергияны жұмсайды. Айнымалы жылдамдықты жетектер ауа ағыны мен су ағынын нақты сұранысқа сәйкестендіреді. Қайта жөндеудің өтелу мерзімі әдетте 1-3 жыл.

UPS жұмысын оңтайландыру.Көптеген UPS жүйелері қос түрлендіру режимінде үздіксіз жұмыс істейді — электр қуаты таза болса да айнымалы токты тұрақты токқа және қайта айнымалы токқа түрлендіреді. Заманауи UPS жүйелері қуат сапасы рұқсат етілген кезде эко-режимге ауысып, 94-96 пайыздың орнына 99 пайыз тиімділікке қол жеткізе алады. Коммерциялық қуат істен шыққан жағдайда батареяға қысқаша тасымалдау уақыты. Осындай трансферттерге арналған қуат көздері бар АТ жүктемелері үшін тәуекел ең аз.

Жоғары вольтты таратуды қабылдаңыз.Қуатты 208 В орнына 415 В-та тарату тарату шығындарын шамамен 25 пайызға азайтады. Бұл үйлесімді PDU және сервер қуат көздерін қажет етеді, бірақ көптеген заманауи құрылғылар оны қолдайды.

Нақты әлемдегі тиімділік қалай көрінеді

Shangyu CPSY компаниясы, деректер орталығының инфрақұрылымына назар аударатын жоғары технологиялық кәсіпорын, деректер орталығының модульдік шешімдері үшін PUE 1,3 құрайды. Бұл компанияны Платинаға қарай жылжып, Алтын деңгейге қояды.

Кәдімгі дизайнмен салыстырғанда мәлімделген 25 пайыздық қуат үнемдеу көптеген факторларға байланысты. Жүйе деңгейінде 97,4 пайыз тиімділігі бар модульдік UPS жүйелері, әйтпесе 15-20 пайызға жұмыс істейтін тарату шығындарын азайтады. Айнымалы жылдамдықты компрессорлары мен EC желдеткіштері бар дәлме-дәл кондиционерлер салқындату шығысын белгіленген қуатта жұмыс істемей, нақты жылу жүктемесіне сәйкестендіру үшін реттейді. Ал физикалық орналасу — ыстық дәлізді оқшаулау, оңтайлы тірек аралығы, дұрыс өлшемді перфорацияланған тақтайшалары бар көтерілген еден — басқа тиімді нысандарды бұзатын ауа ағынын басқаруға бағытталған.

Компанияның сертификаттау портфолиосына ISO 9001 (сапаны басқару) және ISO 27001 (ақпараттық қауіпсіздікті басқару) кіреді. Оның тұтынушыларды орналастырулары АҚШ, Ұлыбритания, Германия, Франция және Австралияда экспорттық қондырғылары бар Huawei, ZTE және Inspur серіктестіктерін қамтиды.

Сұйық салқындату суретке енетін жер

Көптеген жылдар бойы сұйық салқындату суперкомпьютер орталықтары үшін тауашалық технология болды. Бұл тез өзгереді.

NVIDIA H100 немесе алдағы B200 графикалық процессорларын қолданатын AI оқыту кластерлері таза ауамен салқындатылған конфигурацияларда бір тірекке 30-50 киловатт шығарады. Бұл тығыздықта ауаны салқындату ауа ағынының жоғары жылдамдығын талап етеді - қатты желдеткіштер, терең тіректер және әлі де шекті термиялық бақылау.

Тікелей сұйықтықты чипке салқындату көздегі жылудың 60-80 пайызын жояды. Чиптер салқынырақ жұмыс істейді. Жанкүйерлер баяу жұмыс істейді. Бөлмедегі кондиционер қуат көздерінен, жадтан және басқа компоненттерден қалған жылуды ғана өңдейді.

Тиімділікті арттыру айтарлықтай. Тікелей чипке салқындату мүмкіндігі бар қондырғылар PUE мәндерін 1,1-ден 1,2-ге дейін хабарлайды. Сәйкестік - бұл жоғары капитал құны, ағып кетуді басқарудың күрделілігі және суды нысан деңгейінде тазарту қажеттілігі.

Толық батыру салқындату - бүкіл серверлерді диэлектрлік сұйықтыққа батыру - PUE-ді 1,1-ден төмен итереді, бірақ мамандандырылған болып қалады. Көптеген коммерциялық деректер орталықтары алдымен тікелей микросхемаға салқындатуды, кейінірек арнайы тығыздығы жоғары аймақтар үшін батыруды қабылдайды.

SHANGYU деректер орталығының платформасы ауа және сұйық салқындату архитектурасына қатысты ережелерді қамтиды, бұл болашақта жоғары тығыздықты орналастыру қондырғының дизайнына қарамастан сұйықтық негізіндегі жылуды басқаруды қажет ететінін мойындайды.

Басқару алшақтығы: реактивтіден болжамға дейін

Көптеген деректер орталығының операциялық топтары әлі де белсенді жұмыс істейді. Дабыл естіледі. Біреу зерттейді. Түзету қолданылады. Цикл қайталанады.

Болжалды басқаруға көшу көптеген ұйымдарда жетіспейтін үш мүмкіндікті қажет етеді.

Толық конфигурация деректері.Деректер орталығында не бар екенін білу — әрбір сервер, әрбір қосқыш, әрбір PDU, әрбір салқындату құрылғысы — негіз болып табылады. Нақты CMDB деректері болмаса, сыйымдылықты жоспарлау болжам болып табылады.

Түйіршікті телеметрия.Сөре деңгейіндегі қуатты өлшеу - ең аз. Әр сервердегі қуатты өлшеу жақсырақ. Жұмыс жүктемесі деңгейіндегі қуат атрибуты ең жақсы, бірақ оған жету қиын.

Сигналды шуылдан ажырататын аналитика.Бір сөредегі температураның көтерілуі желдеткіштің істен шыққанын білдіруі мүмкін. Деректер орталығының жартысы бойынша температураның жоғарылауы салқындатқыштың істен шығуын білдіруі мүмкін. Жүйе жауаптарды сәйкесінше ажыратып, ұсынуы керек.

SHANGYU компаниясының DCIM платформасы SNMP және Modbus құрылғыларын қолдауды, веб-негізделген және Windows қолданбалы интерфейстерді және оқиғаға байланысты кескін алу үшін желілік камералармен біріктіруді қамтамасыз етеді. Белгіленген мақсаттар қарапайым: қымбат тұратын тоқтау уақытын қысқарту, қоршаған ортаны толық бақылау арқылы күнделікті операциялық шығындарды қысқарту және басқарудың көрінуін және бақылауды жақсарту.

Неліктен бұл деректер орталығының қабатынан тыс маңызды

Деректер орталығының энергия тұтынуы электр энергиясына әлемдік сұраныстың шамамен 1 пайызын құрайды. Бұл сан мәтінмәнге енгізілгенше кішкентай болып естіледі. Бұл шамамен Біріккен Корольдіктің жалпы электр энергиясын тұтынуына тең.

Ең бастысы, өсу қарқыны артып келеді. Өнеркәсіптік болжамдар AI, бұлтты қабылдау және жалғанған құрылғыларды кеңейту арқылы 2030 жылға дейін деректер орталығының қуатқа сұранысы жыл сайын 10-15 пайызға артады. Мұндай қарқынмен деректер орталықтары онжылдықтың соңына қарай жаһандық электр энергиясының 3-4 пайызын тұтынады.

Алдыңғы онжылдықта қуат тұтынуды біркелкі ұстаған тиімділік серверді виртуалдандырудан (сервердің физикалық санын азайту), дискінің тиімділігін арттырудан (дискілерді айналдырудан SSD дискілеріне көшу) және еркін салқындатуды кеңінен қолданудан (механикалық тоңазытқыштың орнына сыртқы ауаны пайдалану) болды. Бұл төмен ілулі жемістер негізінен жиналды.

Тиімділіктің келесі толқыны сұйық салқындатудан, жоғары вольтты бөлуден, AI оңтайландырылған салқындатуды басқарудан және, мүмкін, ең маңыздысы — инфрақұрылымның сыйымдылығы мен нақты АТ жүктемесі арасындағы жақсы теңестіруден болады. Бұл соңғы бөлік DCIM жүйелері ұсынатын нақты уақыттағы көріну түрін және болжамды талдауды қажет етеді, бірақ толықтай пайдаланатын бірнеше нысандар.

Жеке инфрақұрылымыңыз туралы сұрауға тұрарлық кейбір сұрақтар

Сіз техникалық парақтағы нөмірді емес, нақты PUE-ді білесіз бе?UPS шығысында және АТ жабдығының кірісінде өлшенбеген болсаңыз, білмейсіз. Айырмашылық сіздің нақты шығындарыңыз.

Салқындату жүйелеріңіз бір-бірімен күресіп жатыр ма?Көптеген деректер орталықтарында CRAC қондырғылары бір-біріне сәйкес келетін температура мен ылғалдылық жолақтарымен орнатылады. Бір құрылғы ылғалдандырса, екіншісі ылғалдандырады. Біреуі салқындаса, екіншісі қыздырады. Бұл әдеттен тыс емес. Ол да тиімді емес.

Серверлеріңіздің бос тұрып қалуы қандай?Өнеркәсіптік деректер кәдімгі кәсіпорын серверлері ешнәрсе жасамаған кезде ең жоғары қуаттың 30-40 пайызын алатынын көрсетеді. Пайдаланылмаған серверлерді өшіру немесе ұйқы режиміне қою қол жетімді ROI тиімділігінің ең жоғары өлшемі болып табылады. Бұл сонымен қатар ең назардан тыс қалған.

Жабдықтың техникалық сипаттамаларын бұзбай, жеткізілетін ауа температурасын екі градусқа көтере аласыз ба?Иә. Жабдықтардың көпшілігі 25-27 градус қабылдау температурасына есептелген. Көптеген деректер орталықтары 20-22 градуста жұмыс істейді. Бұл алты градустық алшақтық қажетсіз салқындату энергиясының көп жылдарын білдіреді.

UPS тиімділігін соңғы рет қашан тексердіңіз?Зат тақтасының тиімділігі мінсіз қуат коэффициентімен толық жүктеме кезінде өлшенеді. Нақты қуат коэффициенті бар ішінара жүктеме кезінде нақты әлемдегі тиімділік 5-10 ұпайға төмен болуы мүмкін.