Новая система, разработанная исследователями MIT, автоматически «учится» планировать операции по обработке данных на тысячах серверов. Это задача, традиционно предназначенная для неточных, разработанных человеком алгоритмов. Это может помочь сегодняшним энергоемким дата-центрам работать гораздо эффективнее.
Центры обработки данных могут содержать десятки тысяч серверов, которые постоянно выполняют задачи обработки данных от разработчиков и пользователей. Алгоритмы планирования кластеров распределяют входящие задачи по серверам в режиме реального времени, чтобы эффективно использовать все доступные вычислительные ресурсы и быстро выполнять задания.
Традиционно люди тонко настраивают эти алгоритмы планирования, основываясь на некоторых основных принципах и различных компромиссах. Например, они могут кодировать алгоритм для быстрого выполнения определенных заданий или равномерно распределять ресурсы между заданиями. Но рабочие нагрузки, то есть группы комбинированных задач, бывают разных размеров. Поэтому для людей практически невозможно оптимизировать свои алгоритмы планирования для конкретных рабочих нагрузок, и, как следствие, они часто не достигают своего реального потенциала эффективности.
Исследователи Массачусетского технологического института вместо этого загрузили все ручное кодирование на машины. В документе, представленном на SIGCOMM, они описывают систему, которая использует «обучение с подкреплением» (RL), метод машинного обучения методом проб и ошибок, чтобы адаптировать решения планирования к конкретным рабочим нагрузкам в конкретных кластерах серверов.
Для этого они разработали новые методы RL, которые могут тренироваться на сложных рабочих нагрузках. В процессе обучения система пробует множество возможных способов распределения входящих рабочих нагрузок между серверами, в конечном итоге находя оптимальный компромисс между использованием вычислительных ресурсов и высокой скоростью обработки. Никакого вмешательства человека не требуется, кроме простой инструкции, такой как «минимизация времени завершения работы».
По сравнению с лучшими рукописными алгоритмами планирования, система исследователей выполняет задания примерно на 20-30% быстрее и в два раза быстрее во время большого трафика. Система учится эффективно сокращать рабочие нагрузки, оставляя при этом мало отходов. Результаты показывают, что система может позволить центрам обработки данных обрабатывать ту же рабочую нагрузку на более высоких скоростях, используя меньше ресурсов.
«Если у вас есть способ проб и ошибок с использованием машин, они могут попробовать разные способы планирования работ и автоматически определить, какая стратегия лучше других», – говорит Хунцзи Мао, аспирант кафедры электротехники и компьютерных наук. «Это может улучшить производительность системы автоматически. И любое небольшое улучшение в использовании, даже 1 процент, может сэкономить миллионы долларов и много энергии в центрах обработки данных».
«Нет единого подхода к принятию решений по планированию», – добавляет соавтор Мохаммад Ализаде, профессор и исследователь EECS в Лаборатории компьютерных наук и искусственного интеллекта (CSAIL). «В существующих системах это жестко закодированные параметры, которые вы должны определить заранее. Вместо этого наша система учится настраивать характеристики своей политики расписаний в зависимости от центра обработки данных и рабочей нагрузки».
К работе над документом присоединились Мао и Ализаде, Малте Шварцкопф и Шайлеш Боджа Венкатакришнан, а также аспирант-исследователь Зили Мэн, все из CSAIL.
RL для планирования
Как правило, задания обработки данных поступают в центры обработки данных, представленные в виде графиков «узлов» и «ребер». Каждый узел представляет некоторую вычислительную задачу, которую необходимо выполнить, причем чем больше узел, тем больше вычислительной мощности необходимо. Ребра, соединяющие узлы, связывают связанные задачи вместе. Алгоритмы планирования присваивают узлы серверам на основе различных политик.
Но традиционные системы RL не привыкли к обработке таких динамических графов. В этих системах используется программный «агент», который принимает решения и получает сигнал обратной связи в качестве вознаграждения. По сути, он пытается максимизировать свою награду за любое действие, чтобы изучить идеальное поведение в определенном контексте. Они могут, например, помочь роботам научиться выполнять такие задачи, как захват объекта путем взаимодействия с окружающей средой, но это включает обработку видео или изображений через более простую сетку пикселей.
Чтобы построить свой планировщик на основе RL, называемый Decima, исследователи должны были разработать модель, которая могла бы обрабатывать задания с графической структурой и масштабироваться до большого количества заданий и серверов. «Агент» их системы – это алгоритм планирования, который использует нейронную сеть, обычно используемую для обработки данных, структурированных в графе. Чтобы придумать нейронную сеть графы, подходящую для планирования, они внедрили пользовательский компонент, который агрегирует информацию по путям в графе, например, быстро оценивая, сколько вычислений необходимо для выполнения данной части графы. Это важно для планирования заданий, потому что «дочерние» (нижние) узлы не могут начать выполнение до тех пор, пока их «родительские» (верхние) узлы не завершатся, поэтому предвидение будущей работы по разным путям в графе является центральным для принятия правильных решений по планированию.
Чтобы обучить свою систему RL, исследователи смоделировали много различных последовательностей графы, которые имитируют рабочие нагрузки, поступающие в центры обработки данных. Затем агент принимает решение о том, как распределить каждый узел на графике для каждого сервера. Для каждого решения компонент вычисляет вознаграждение на основе того, насколько хорошо он справился с конкретной задачей, например, минимизируя среднее время, затрачиваемое на обработку одной работы. Агент продолжает двигаться, улучшая свои решения, пока не получит максимально возможную награду.
Базовые рабочие нагрузки
Проблема заключается в том, что некоторые последовательности рабочей нагрузки труднее обрабатывать, чем другие, поскольку они имеют более крупные задачи или более сложные структуры. Они всегда будут дольше обрабатываться, и сигнал вознаграждения всегда будет ниже. Но это не обязательно означает, что система работает плохо: она может хорошо проводить время на сложной рабочей нагрузке, но при этом работать медленнее, чем простая. Эта изменчивость сложности усложняет для модели решение, какие действия хороши или нет.
Для решения этой проблемы исследователи адаптировали технику, называемую «базовый уровень» в этом контексте. Этот метод использует средние значения сценариев с большим количеством переменных и использует эти средние значения в качестве основы для сравнения будущих результатов. Во время обучения они вычисляли базовый уровень для каждой входной последовательности. Затем они позволяют планировщику обучаться на каждой последовательности рабочей нагрузки несколько раз. Затем система взяла среднюю производительность по всем решениям, принятым для той же входной рабочей нагрузки. Это среднее значение является базовой линией, с которой модель могла бы затем сравнить свои будущие решения, чтобы определить, являются ли ее решения хорошими или плохими. Они называют эту новую технику «исходно-зависимой базовой линией».
Исследователи утверждают, что это нововведение применимо ко многим компьютерным системам. «Это общий способ обучения с подкреплением в средах, где есть этот процесс ввода, который влияет на среду, и вы хотите, чтобы каждое учебное событие рассматривало один образец этого процесса ввода», – говорит он. «Почти все компьютерные системы имеют дело с окружением, где вещи постоянно меняются».
Адитья Акелла, профессор компьютерных наук в университете штата Висконсин в Мэдисоне, чья группа разработала несколько высокопроизводительных планировщиков, обнаружил, что система MIT может помочь в дальнейшем совершенствовании их собственной политики. «Decima может пойти еще дальше и найти возможности для оптимизации и планирования, которые просто слишком обременительны для реализации через процессы ручного проектирования и настройки», – говорит Акелла. «Разработанные нами планировщики достигли значительных улучшений по сравнению с методами, используемыми в производстве, с точки зрения производительности приложений и эффективности кластера, но все еще был пробел с идеальными улучшениями, которых мы могли бы достичь. Decima показывает, что подход, основанный на RL, может обнаружить недочеты, которые помогают преодолеть этот разрыв. Decima улучшила наши методы примерно на 30 процентов, что стало огромным сюрпризом».
Прямо сейчас их модель обучена на симуляциях, которые пытаются воссоздать входящий онлайн-трафик в режиме реального времени. Затем исследователи надеются обучить модель трафику в реальном времени, который потенциально может привести к сбою серверов. Таким образом, они в настоящее время разрабатывают «сеть безопасности», которая остановит их систему, когда она собирается вызвать сбой. «Мы думаем об этом как о тренировочных колесах», – говорит Ализаде. «Мы хотим, чтобы эта система непрерывно тренировалась, но у нее есть определенные тренировочные колеса, и если она заходит слишком далеко, мы можем быть уверены, что она не упадет».
