Data Engineer

В чем ценность вакансии

• Построение нового DWH с нуля с полноценным R&D и использованием лучших инструментов и лучших архитектурных подходов.
• Возможность самостоятельно реализовать сервисы “под ключ” от r&d до выпуска в прод.
• Горизонтальная команда, где мнение и опыта каждого участника влияет на реализацию всего проекта.
• При необходимости нас будут консультировать лучшие специалисты и архитекторы на рынке.

Задачи

• Проведение R&D по различным направлениям проектирования платформы данных: data quality, real-time, data marts, data lake, etc.
• Разработка ELT пайплайнов.
• Интеграция с системами источниками, настройка Kafka коннекторов.
• Разработка Spark заданий для непрерывной поставки данных в DWH/Data Lake.
• Разработка Python фреймворка для управления всеми аспектами работы платформы данных.
• Разработка/внедрение фреймворка моделирования данных DDS слоя в DWH.
• Реализация архитектуры обработки данных Lambda/Kappa.
• Разработка CI/CD пайплайнов, автотестов.
• Развитие процессов обработки данных в компании.

Ожидания

• Уже работал на позиции Data Engineer не менее 3-х лет.
• Уверенный опыт программирования на Python.
• Опыт работы с Greenplum, СlickHouse, Spark, Kafka.
• Уверенные знания SQL, оптимизация запросов.
• Понимание концепций построения DWH/Data Lake.
• Понимание процессов Data Governance: Data Quality, Data Lineage, etc.
• Понимание контейнеризации и CI/CD.

Будет плюсом:

• Понимание ключевых принципов архитектуры высоконагруженных приложений.
• K8s, Helm.
• Опыт работы с Java/Scala.

Мы предлагаем

• Конкурентную зарплату.
• Развитую бонусную систему.
• ДМС, включая стоматологию (в лучших клиниках Москвы) и страхование жизни.
• Оплату посещения профильных конференций.
• Оплату профильных курсов.
• Холодильник с едой в офисе.
• Пиццу/пироги/суши каждую пятницу, вечера национальных кухонь.
• Компенсацию спортзала.
• Современную технику.
• Покупку профильной литературы.
• Социальную ответственность: материальная помощь, при рождении ребёнка.
• Корпоративные мероприятия и тимбилдинги (картинг, пейнтбол, лазертег и др.).
• Помощь с переездом для кандидатов из других городов (оплата билетов и первого месяц квартиры).
• Современный офис с видом на всю Москву (прямо у метро Римская/Площадь Ильича); (2 минуты пешком от метро).