1. Обзор
В этом руководстве мы собираемся изучить движок Genie, который Netflix разработал для абстрактной отправки заданий в кластеры .
Для этого руководства рекомендуются базовые знания об обработке больших данных, например, с помощью Hadoop и Spark .
2. Почему Джинн?
Давайте представим, что у нас есть много пользователей, которым нужно отправлять различные задачи в облако, содержащее большое количество кластеров Hadoop разных размеров . В то время как некоторые кластеры создаются для обработки данных в определенное время, другие сосредоточены на отключении служб для высвобождения ресурсов. Таким образом, пользователи столкнутся с проблемой поиска подходящего кластера для своей работы.