Data Engineer в команду RetailReporting

Почему рекомендуем

• Возможность получение и применение уникального опыта в части построения ETL-пайплайнов на основе Open-Source технологий (Spark, Hadoop, NiFi, Airflow, Kafka, GreenPlum).

Какие задачи будут в работе

Витрины данных — проектирование, развитие и поддержка (Data Lake на Hadoop):

• Подключение к Data Lake новых источников данных.
• Создание витрин данных по бизнес домену Retail.
• Настройка регламентной загрузки данных в витрины.

Внешние интеграции:

• Настройка процессов передачи данных из Data Lake в другие системы-потребители.
• Поддержка регламентных процессов.

Работа над созданием аналитического ХД на базе GreenPlum:

• Участие в проектировании аналитического ХД (Core, витрины).
• Реализация процессов загрузки и трансформации данных (Core, витрины).

Развитие экосистемы Data Lake:

• Проектирование инструментов, облегчающих работу других продуктовых команд с Data Lake.
• Помощь платформенной команде в развитии Data Lake (настройка CI/CD, автоматизация работы с метаданными, пилотирование нового функционала и т.д.).

Кого ищут

• Опыт работы с SQL на уровне написания сложных запросов: знаешь, что такое оконные функции, функции ранжирования, CTE.
• Знакомство с различными типами СУБД (SQL, NoSQL) и профилями их использования (OLAP, OLTP) и умение аргументированно выбрать оптимальный тип СУБД под задачу.
• Опыт работы с Airflow или любым другим оркестратором.
• Умение писать код на Python, пользоваться GIT, знание что такое Unit-тесты.
• Опыт использования Hadoop, знание как работает YARN, как эффективно хранить данные на HDFS, умение писать запросы в Hive.
• Умение писать прозрачный читающийся код, разделять его на классы, применять паттерны.
• Как плюс: умение писать код на Spark и считать данные сервиса, используя его API, отсортировать, отфильтровать их и сохранить результат на HDFS.
• Как плюс: опыт работы с Kafka или другим Message Broker'ом и знание основных концепций потоковой обработки данных.

Опыт работы:

• Минимум 2-3 года в области создания/обогащения витрин данных.
• Хорошее знание SQL — критично.

Будет плюсом:

• Знание банковской предметной области (особенно в части Retail).
• Опыт разработки/внедрения систем класса DWH.
• Умение разбираться в CI/CD практиках и инструментах.
• Возможность продемонстрировать один из своих проектов на GitHub.

Что предлагают

• Эффективную среду для самореализации, профессионального роста и плодотворной работы.
• Культуру гибкого мышления, высокий уровень свободы и ответственности.
• Командную работу и поддержку.
• Регулярное посещение тренингов, митапов и конференций (в том числе как спикер) за счет компании.
• Гибкий график.
• Возможность удалённой работы.
• Отличный социальный пакет (ДМС со стоматологией, скидки на корпоративные продукты).
• Отсутствие формализма и позитивный настрой.