Data Engineer

Почему Flocktory

• Работаем в окружении талантливых людей, которые вдохновляют и мотивируют нас расти.
• Создаем SaaS решения, рынок которых активно растет, особенно последние два года.
• Много экспериментируем и создаем продукты, часть из которых не имеет аналогов в России.
• Активно развиваемся уже 9 лет, нас больше 100 человек, но у нас до сих пор сохраняется дух стартапа.
• Используем data-driven подход и опираемся в решениях на цифры и результаты тестирования гипотез.
• Решаем сложные и нетривиальные задачи, которые задействуют весь наш потенциал и дают возможность проявить себя.
• Пользуемся высоким уровнем персональной свободы, сами планируем задачи и способы их достижения.
• Если приносим пользу компании, траектория нашего развития может быть любой.

Что и как мы делаем

Аналитическое хранилище для BI, Data Science и бизнес-подразделений:

• Прорабатываем модель этих данных и решаем, как и где они будут храниться. Разные продукты = разные профили нагрузки; разные профили нагрузки = разные БД. Что Postgres-у хорошо, то для Redis-а смерть, и наоборот. Поэтому мы используем микс MPP-баз, традиционных RDBMS, Kafka, NoSQL и распределенных файловых систем.
• Делаем data-self service. Чтобы полезно работать с данными, аналитически настроенные подразделения умеют в SQL и Python, а менее технические пользователи хотят красивые однокнопочные инструменты и chatops.
• Автоматизируем работу с метаданными. Это чтобы аналитики всегда знали, какую схему имеет таблица X, что в ней означает столбец Y и для каких запросов оптимизирована таблица Z. Работа с Hive metastore, Glue, Apache Atlas и т. п. — это всё здесь.

ETL- и аналитические процессы:

• Пакетные Spark-джобы на Scala.
• Стриминговые Flink-джобы — опять-таки на Scala.
• Пайплайны на Airflow.
• Кластер Kafka connect.

В общем, то, что называется “data-intensive” приложения, и порою довольно-таки за рамками простого filter + save. Иногда ещё и в реальном времени.

Качество данных:

Вот как мы заботимся о качестве данных:

• Поднимаем на новые высоты автоматизированную и развесистую data quality систему на базе Airflow.
• Даём нетехническим пользователям интерактивные дашборды, где хорошо видно, всё ли в порядке с данными.
• Развиваем систему мониторинга и алертинга, постигая некоторые неочевидные тонкости Prometheus, Grafana и Cloudwatch.

Производительность ETL и аналитики:

Увлеченно воюем с проблемами вроде таких:

• Почему в стриминговой джобе без состояния столь неприлично долгие full GC-паузы.
• Затюнить использование off-heap памяти в Flink и при этом не сойти с ума.
• Оптимизировать вон тот запрос из 5 джойнов, который стал в последнее время подлагивать.

Команда

Мы верим, что построение внятных архитектуры и программного дизайна — это общее дело, поэтому поощряем самостоятельные осознанные решения. Вы считаете, что именно этот сервис именно сейчас нужно наглухо зарефакторить? Приносите ваши доводы — будем обсуждать, договариваться, делать.

В то же время мы понимаем: невозможно знать всё, и чтобы разгрузить продуктовые команды от излишних технологических деталей, у нас есть платформенные команды. Это значит, что не придётся разбираться, как монтировать диски к Kafka-брокеру или как организовать stateful set в K8S (но если всё же захотите разобраться — вам помогут, только спросите).

Структуру продуктовых команд мы в своё время сформировали так, чтобы они могли 99% проблем решать автономно. В каждой такой команде есть бэкендеры, фронтендер, продуктовый аналитик и, конечно же, продакт. При необходимости, в составе также есть дата-инженеры и дата-саентисты. Команда сама настраивает свои процессы планирования, разработки и рефлексии.

Кого ищем

Человека, которого описание работы выше не оттолкнуло, а наоборот. Не знаете чего-то из этого? Не проблема, мы тоже много чего не знаем, будем разбираться вместе. Особенно легко будет разобраться, если вы:

• Работали с одним из open-source планировщиков: Apache Airflow, Apache Oozie, Luigi, да хоть cron.
• Умеете писать SQL-запросы с агрегацией, вложенностью и разными видами join-ов (а аналитические функции мы и сами каждый раз пишем со словарём).
• Писали / пишете на Scala (опыт type class-эквилибристики не обязателен).
• Знаете или готовы изучить Python.
• Работали с Apache Spark (batch / streaming / structured streaming) и / или Apache Flink.
• Запускали сервисы в AWS / GCE / Azure.

Преимущества позиции

• Современный стек технологий.
• Сильная команда инженеров.
• Сложные нетривиальные задачи.
• Хорошо выстроенные процессы.
• Внешнее обучение и участие в конференциях.
• Возможность менять продукты и процессы.
• Ошибки — возможность улучшить процессы.
• Удаленка и гибкое планирование рабочего дня.

А еще:

• Годовой бюджет на внешнее обучение каждого сотрудника.
• Доступ к обучающей платформе с онлайн курсами по развитию hard и soft skills.
• Доступ к корпоративным библиотекам МИФ, Альпина и Smart reading.
• Скидки на обучение английскому от Skyeng.
• Тренинги с внутренними и внешними экспертами.
• Участие в конференциях, подготовка к выступлениям.
• Онбординг с ментором от одного месяца до года, в зависимости от команды.