Вакансия в архиве
Компания больше не ищет сотрудника. Посмотрите похожие предложения
X5 Group

BigData / DWH разработчик

в X5 Group

от 150 000 ₽/мес на руки

Москва Remote
icon Москва, м. Парк культуры, Россия
Специализация
Data Science / Machine Learning
Уровень
Middle-to-Senior
Команда
6 - 10 человек

X5 Group — лидер российского ритейла, управляет торговыми сетями — «Пятерочка», «Перекресток», «Карусель». Более 300 тысяч сотрудников, 2+ тыс. ИТ-специалистов, более 300 проектов. Постоянные покупатели и пользователи сервисов — треть населения РФ.

В команде ETL X5 Технологии открыта позиция DWH разработчик.

На данный момент у нас несколько кластеров СУБД Greenplum общей емкостью более 100 терабайт и кластер Hadoop общей емкостью 6 петабайт.

Команда разработки/развития DWH отвечает за прогрузку данных из кластера Hadoop в СУБД Greenplum. Построение основных слоёв хранилища по методу моделирования данных — Data Vault. Проверку архитектурных гипотез на практике и выработку предложений по выбору инструментов для наиболее эффективной реализации задач.

Результат нашей работы — стабильно работающее хранилище, удовлетворяющее потребностям заказчиков и техническим веяниям времени.

Технологии/инструменты

Python SQL PostgreSQL Apache Nifi Apache Airflow Kafka Hadoop Hive Greenplum Git JIRA Confluence

Временная зона команды

(GMT+3) Москва.

Чем предстоит заниматься

  • Проектирование и разработка потоков данных на ETL/ELT инструментах.
  • Имплементация кастомных трансформаций.
  • Проектирование и построение прототипов, витрин.
  • Анализ производительности, масштабирование существующих систем.
  • Оптимизация SQL запросов и структур баз данных.
  • Разработка процедур на языке PL/pgSQL.
  • Развитие архитектуры DWH, анализ и выбор оптимальных технологий, методологий, инструментов.
  • Создание и актуализация базы знаний для пользователей DWH.
  • Контроль работы внешних подрядчиков.

Кого ищем

  • Знание принципов построения хранилищ данных.
  • Понимание архитектур MPP систем.
  • Опыт работы с экосистемой Hadoop/ навыки Data Engineer (HDFS/YARN/Spark/kafka/Nifi/Sqoop/flume и т.д.).
  • Знание SQL (DDL, DML), опыт оптимизации запросов.
  • Опыт работы с Greenplum, либо отличное знание PostgreSQL.
  • Опыт разработки на Python.
  • Практический опыт работы с SAS DIS/Informatica PowerCenter.
  • Опыт использования систем ведения проектов и документации, сопровождения и мониторинга информационных систем, находящихся в зоне ответственности.
  • Навык работы с Git, Jira, Confluence.

Что предлагаем

  • Работаем удаленно, но если хочется в офис, то есть возможность выбрать гибридный вариант работы.
  • Гибкий график работы.
  • Оформление по ТК РФ с официальной заработной платой.
  • Возможность обучаться и сертифицироваться за счет компании: очные мастер-классы, платформы онлайн - образования, электронная библиотека.
  • Бонусная программа: ДМС со стоматологией, консультации психолога, страхование жизни и выезжающих за рубеж, скидки в магазинах сети Х5, скидки от компаний-партнеров на Prime-zone.
Алина Смагина IT Recruiter
X5 Group

О компании X5 Group

Сфера
Retail
Инвестиции
Приватное финансирование
Размер
1001+

X5 Group — ведущая розничная компания России, управляющая сетями магазинов «Пятёрочка», «Перекрёсток» и «Карусель» и цифровыми бизнесами Vprok.ru, 5Post и ОКОЛО, а также собственными службами логистики, прямого импорта и рядом цифровых сервисов для партнёров. Более 340 тысяч сотрудников, 3000+ ИТ-специалистов. Постоянные покупатели и пользователи сервисов — треть населения РФ.