Data Engineer (Datamart)

О команде

Мы — команда хранилища данных Авито. У нас есть более сотни внутренних и внешних систем, из которых мы получаем данные. Мы хотим построить инструмент, в котором аналитики могут самостоятельно, не прибегая к помощи инженеров DWH, находить ответы в данных, проверять гипотезы и принимать бизнес-решения.

Наша цель — предоставлять платформу для решения задач, связанных с исследованиями, операционной отчетностью и продовыми интеграциями, обеспечивая изоляцию обработки и необходимый уровень доступности и качества данных.

Вам предстоит

• Отделить хранение данных от вычислений над ними: перейти от системы с единой OLAP СУБД к масштабируемому решению, разделив хранение данных и их обработку в изолированных контурах.
• Повышать отказоустойчивость системы выполнения и снижать время готовности актуальных данных.
• Развивать систему self-service, снижая время, необходимое на создание и изменение пайплайнов.
• Развивать систему оркестрации задач, повышая надёжность, удовлетворяя новым запросам пользователей и целям отделения хранения.
• Разрабатывать системы тестирования дата-пайплайнов по смыслу и перфомансу для Vertica, Trino и других движков.
• Разрабатывать и дорабатывать системы оркестрации заданий.
• Оптимизировать высоконагруженные дата-пайплайны и автоматизировать правила и рекомендации для их создателей.

Мы ждём, что вы

• Знаете и умеете писать на Python.
• Проектировали или отвечали за компоненты различных систем.
• Знаете и не боитесь применять SQL.

Будет здорово, если вы:

• Работали с кластерными СУБД (Vertica, Snowflake, ClickHouse, StarRocks, Trino и др.).
• Понимаете, что такое хранилище данных.
• Разбираетесь в принципе оптимизации кода, работающего с большим объёмом данных.
• Работали с инструментами интеграции данных (Data Bricks, DBT, KSQL).
• Работали с инструментами оркестрации (AirFlow, Dagster, Prefect).
• Работали с инструментами CI/CD.

Работа у нас — это

• Интересные и важные задачи на очень большом проекте.
• Передовые технологии и подходы, возможность пробовать новое.
• Опытные и заинтересованные коллеги, готовые оказать поддержку.
• Возможность приносить пользу миллионам пользователей, реализуя решения, основанные на данных.
• Личный бюджет на обучение, который можно тратить на книги, курсы и конференции.
• Забота о здоровье: с первого дня у вас будет ДМС со стоматологией, в офисе принимают терапевт и массажист.
• Возможность работать удаленно и по желанию посещать комфортный офис в Москве.