Avito

Data Engineer (Integration — Migration)

в Avito

от 300 000 ₽/мес на руки

📍 Москва (м. Белорусская)Полная удалёнка
Специализация
Data Engineering
Уровень
Middle

Мы — команда хранилища данных Авито. У нас есть более сотни внутренних и внешних систем, из которых мы получаем данные. Мы строим отчётность, помогаем бизнесу проверять гипотезы и принимать решения, а также выбирать эффективные способы достижения целей, основанные на этих данных.

Наша цель — сделать так, чтобы новичок мог самостоятельно, без помощи инженеров находить ответы в данных и настраивать новые пайплайны обработки данных под свои цели.

В работе мы ставим амбициозные цели и не останавливаемся на достигнутом. Поэтому для нас так важно, чтобы каждый участник большой команды Авито разделял культуру компании. Погрузиться в неё помогает Манифест, в котором собраны наши основные ориентиры — миссия, ценности, принципы работы.

Технологии/инструменты

VerticaSnowflakeStarRocksPrestoTrinoClickHouse

Примеры будущих задач

Мы находимся в процессе миграции наших расчетов с Vertica на Trino. Мы не просто меняем одну СУБД на другую. Мы меняем модель хранилища данных с монолитного центрально хранилища на эластичную модель lakehouse с более гибкими возможностями по масштабированию и изоляции расчетов.

Наши вызовы — сделать работу аналитиков с Trino такой же привычной и удобной, как работу с Vertica, начать давать гарантии готовности данных к сроку, оптимизировать модель хранения данных. Нам нужно быть быстрыми и удобными для аналитиков, научиться гибко управлять ресурсами хранилища.

Чем предстоит заниматься

  • Перевести критичные расчеты на Trino.
  • Оптимизировать запросы, модель данных в расчетах, ускорить обращение к данным в Ceph и метаданным в Hive.
  • Сделать Trino основным местом для создания новых расчетов в хранилище.

Мы ждём, что вы

  • Имеете опыт работы с аналитическими СУБД (Vertica, Snowflake, ClickHouse, StarRocks, Presto, Trino и др.).
  • Знаете, что для СУБД значит выполнить SQL-запрос и понимаете, как оптимизировать аналитические запросы.
  • Имеете опыт разработки пайплайнов обработки данных.

Будет здорово, если вы:

  • Уже работали с Trino или Presto.
  • Понимаете необходимость моделирования данных.
  • Имеете опыт оптимизации потребления ресурсов.
  • Знаете и умеете писать на Java или Python.

Работа у нас — это

  • Интересные и важные задачи на очень большом проекте.
  • Передовые технологии и подходы, возможность пробовать новое.
  • Опытные и заинтересованные коллеги, готовые оказать поддержку.
  • Возможность приносить пользу миллионам пользователей, реализуя решения, основанные на данных.
  • Личный бюджет на обучение, который можно тратить на книги, курсы и конференции.
  • Забота о здоровье: с первого дня у вас будет ДМС со стоматологией, в офисе принимают терапевт и массажист.
  • Возможность работать удаленно и по желанию посещать комфортный офис в Москве.
Елизавета Курганова Recruiter
Avito

О компании Avito

Сфера
Продуктовая компания
Инвестиции
$100M+
Размер
1001+

Avito.ru — самый популярный сайт объявлений в России, классифайд №1 в мире. Месячная аудитория составляет 57,4 млн. — это больше трети населения России. Количество активных объявлений превысило 125 млн. Каждую секунду на “Авито” совершается более восьми сделок. А география сервиса — это вся Россия — от Калининграда до Дальнего Востока.

Похожие вакансии

400 000 – 600 000 ₽/мес на руки
📍 Москва (м. Деловой центр), полная удалёнка
350 000 – 400 000 ₽/мес на руки
Можно удалённо из РФ
350 000 – 450 000 ₽/мес на руки
📍 Москва (м. Ленинский проспект), офис или гибрид
350 000 – 450 000 ₽/мес на руки
Можно удалённо из РФ
3 300 – 4 000 €/мес на руки
📍 Лимасол (Кипр), полная удалёнка, помощь с переездом