Разработчик BigData

О команде

Команда Batch занимается загрузкой данных по клиентам из источников в целевые таблицы Хранилища быстрых витрин, в целях дальнейшего обогащения из внешних источников и применения к ним математических моделей в рамках задач Платформы исполнения моделей. Работа ведётся в batch режиме, т.е. в режиме пакетной обработки данных.

Чем предстоит заниматься

• Реализация интеграций в гетерогенной среде с помощью Python/Spark.
• ETL.
• Применение моделей в Openshift.
• Работа с Airflow, написание кастомных операторов, формирование дагов.
• Контейнеризация процессов загрузки/выгрузки данных.
• Оптимизация существующего кода.
• Развертывание, поддержка, внедрение DevOps инструментов.
• Разработка и поддержка платформы исполнения моделей.

Требования

• Опыт реализации интеграции в гетерогенных средах.
• Понимание и опыт работы со средствами экосистемы технологий Hadoop.
• Знание Python/Scala (Spark).
• Знание Apache Airflow, Apache Kafka, Docker.
• Опыт решения ETL/data engineering задач.
• Опыт развертывания Linux серверов/контейнеров, скриптовых языков (Bash).
• Опыт разработки микросервисов для внутренних инфраструктурных задач.
• Базовые знания работы Kerberos.

Будет преимуществом

• Знание Java.
• Опыт работы с REST сервисами.
• Опыт работы с Kafka, ELK.
• Опыт работы с Grafana, разработка мониторинга на Grafana.
• Опыт построения Devops-инфраструктуры.
• Знание и опыт администрирования Linux-систем.
• Опыт работы с Openshift\Kubernetes.
• Понимание концепций построения CI/CD, опыт проектирования и построения CI/CD pipeline, управление процессом сборки и развертывания ПО.
• Опыт построения фреймворков с нуля.

Что предлагают

• Возможна удалёнка, но находиться надо на территории РФ.
• 8-часовой рабочий день с гибким началом дня.
• Белая конкурентная заработная плата.
• Пакет льгот для сотрудников от наших партнеров: ДМС, льготное кредитование и страхование.
• Дают все, что нужно для успешной работы: хорошая техника, корпоративная сим-карта.
• И всё, что нужно для развития: оплата внешнего обучения, внутренняя Цифровая академия, библиотека в мобильном приложении.