X5 Group

Data Engineer (Python Hadoop Spark)

в X5 Group

Москва Remote
icon Москва, м. Парк культуры, Россия
Специализация
Data Science / Machine Learning
Уровень
Middle-to-Senior
Команда
6 - 10 человек

X5 Group — лидер офлайн- и онлайн-рынка продуктов питания. Мы управляем портфелем брендов сетевых магазинов «Пятёрочка», «Перекрёсток», «Карусель», «Чижик», цифровыми бизнесами «Перекрёсток Впрок», «Около», 5Post, а также собственными службами логистики, прямого импорта и рядом цифровых сервисов для партнёров.

Х5 Технологии — это отдельная бизнес-единица Х5 Group, которая отвечает за создание комплексных цифровых решений для бизнес-единиц Х5.

Наша команда — это 3000+ специалистов по информационным технологиям и большим данным. Мы разрабатываем решения, которые помогают десяткам миллионов людей.

  • «Прогнозирования спроса»: модели машинного обучения и алгоритмы, на основе данных по чекам и остаткам предупреждают сотрудников магазинов о том, что надо проверить/положить товар на полки. Продукт прошел стадию пилот (600 магазинов) и теперь дорабатывается и масштабируется на 15+ тыс. магазинов. Команда: ≈10 человек

  • «Промо». Красные ценники — это наша работа. На основании анализа очень больших данных ML-алгоритмы подсказывают, какие продукты нужно выбрать для скидок и акций. >17 000 магазинов Проект в стадии масштабирования. Команда аналитического ядра: 8 человек

Временная зона

(GMT+3) Москва. Важно совпадать с командой на 6-8 часов по графику.

Технологии/инструменты

Python 3.5-3.8., Fastapi, Hadoop, PySpark + Airflow. PostgreSQL, Kafka, Kibana, ElasticSearch. Docker, K8s, GitLab.

Основные задачи

(детальнее расскажем на собеседовании):

  • Написание пайплайнов по работе с данными с использованием Airflow, Spark (пример: регулярный расчет фичей для модели, построение витрин с данными, их обновление, расчет метрик качества данных для мониторинга).
  • Оптимизация расчета фичей для модели для выдерживания SLA при масштабировании продукта под большее количество магазинов.
  • Настройка мониторинга и алертинга качества данных и фичей с использованием Zabbix, Grafana.
  • Написание unit тестов (Pytest), тестов для различных участков ML пайплайна, участие в код ревью.
  • Не обязательно, но будет большим плюсом: опыт работы с ML, выведения ML моделей в продакшн.

Кого ищем

  • Опыт работы с Python от 2 лет.
  • Опыт с Hadoop, Hive, Spark.
  • Знание SQL (чтобы писать и оптимизировать запросы).
  • Знание классических алгоритмов и структур данных.
  • Опыт работы с Docker (Kubernetes, PySpark, Airflow и DS фреймворков Python — не обязательно, но будет плюсом).
  • Умение пользоваться Git'ом и работать в команде.

Что предлагаем

  • Схему мотивации: Fix + годовой бонус (20% годового оклада).
  • Удобный офис у м. Парк Культуры или удаленную работу.
  • Гибкий график работы (с 8/9/10 утра).
  • Обратная связь, возможность профессионального и карьерного роста (2 раза в год оценка персонала).
  • Возможность обучаться и сертифицироваться за счёт компании: внешние тренинги и семинары по профессиональным тематикам, отраслевые конференции, программа развития управленческих навыков, очные мастер-классы, платформы онлайн-образования и многое другое.
  • Яркую корпоративную жизнь с большим количеством мероприятий, конкурсов и возможностей для творческой реализации.
  • Широкий пакет ДМС (включая выезд за рубеж и стоматологию), страхование жизни и здоровья.
  • Скидки в магазинах сети Х5 («Пятёрочка», «Перекрёсток», «Карусель»).
  • Программу привилегий Prime-zone (скидки на товары и услуги и специальные предложения от компаний-партнёров).
  • Материальную помощь сотрудникам, попавшим в сложную жизненную ситуацию.
Татьяна Бурцева IT-Recruiter
X5 Group

О компании X5 Group

Сфера
Retail
Инвестиции
Приватное финансирование
Размер
1001+

X5 Group — ведущая розничная компания России, управляющая сетями магазинов «Пятёрочка», «Перекрёсток» и «Карусель» и цифровыми бизнесами Vprok.ru, 5Post и ОКОЛО, а также собственными службами логистики, прямого импорта и рядом цифровых сервисов для партнёров. Более 340 тысяч сотрудников, 3000+ ИТ-специалистов. Постоянные покупатели и пользователи сервисов — треть населения РФ.