Вакансия в архиве
Компания больше не ищет сотрудника. Посмотрите похожие предложения

Data Engineer

в Whalemap

250 000 —‍ 350 000 ₽/мес на руки

📍 Лондон (Великобритания)МоскваПолная удалёнкаПомощь с переездом

Специализация

Data Science / Machine Learning

Уровень

Middle

Английский

C1/C2 — Advanced / FluentC1/C2 — Advanced / Fluent

Whalemap.io — британский стартап, платформа, которая обслуживает инвесторов и трейдеров криптовалютного рынка любого масштаба: от начинающих до продвинутых. В настоящий момент мы одни из немногих в мире, кто строит аналитику по данным всего биткойн-блокчейна.

Мы стремимся объединить всю цепочку процессов трейдинга в одном месте, предоставляя пользователю как доступ к интуитивно понятной и надежной аналитике криптовалютного рынка, так и учебные материалы для начинающих и желающих узнать больше о торговле криптовалютами.

Наша цель стать топ-1 в real-time аналитике криптовалютного рынка и исследовать не только данные внутри блокчейна, но и неподтвержденные транзакции, которые еще не стали частью блокчейна (Memory Pool Analytics).

Мы приглашаем в нашу команду опытного (от трех лет стажа) Data-инженера.

Технологии/инструменты

PythonNumpyPandasSQLPostgreSQLMySQLMongoDBRedisSparkAirflow/LuigiKafkaRabbitMQDockerK8sGitlab CI/CD

Чем предстоит заниматься

Проектирование и разработка конвейеров обработки данных блокчейна (Data Processing Pipelines) для новых графиков на платформе компании, включая разработку и оптимизацию архитектуры данных (Data Architecture).
Интеграция разработок в существующие решения.
Развитие и поддержание инфраструктуры, необходимой для оптимального извлечения, преобразования и загрузки данных из различных источников (ETL / ELT).
Отладка, тестирование и исправление ошибок в своём и чужом коде.
Взаимодействие с членами команды, включаю ревью технических спецификаций и кода.
Участие в груминге решений для обработки данных, процессов ETL / ELT и автоматизации рабочих процессов по обработке данных, включая координацию с бэкенд-разработчиками, DS, DA и QA инженерами.
Валидация данных: подсчет исторических данных с помощью BlockSci, автоматизация валидации данных.

Кого ищем

Python, Numpy, Pandas.
Глубокое понимание SQL: индексы, транзакционность, оконные функции.
БД: PostgreSQL, MySQL, колоночные: Vertica, ClickHouse, а также noSQL: MongoDB, Redis.
ORM и системы миграции данных: SQLAlchemy, Flyway, Liquibase.
ETL: Spark, Airflow / Luigi (опыт с Hive / Impala будет плюсом).
Очереди: Kafka, RabbitMQ и ZMQ или их аналоги.
Визуализация.
CI/CD: Gitlab CI/CD, Docker, k8s.
Опыт управления командой.
Английский С1 или выше.
Большим плюсом будет понимание работы блокчейнов (Bitcoin, Ethereum и т.д.), опыт программирования на C# и работы с библиотекой BlockSci для парсинга данных.

Почему у нас круто

Молодой динамично развивающийся стартап.
За 1 год на мировом рынке мы собрали раунд инвестиций.
У вас появится возможность создавать передовые технологии в блокчейн аналитике и решать задачи, которые никто до этого не решал.
Свобода в реализации своих идей для решения задач.
Решения принимает команда, а не один человек.
Возможность увидеть изнутри как строится международный стартап.
О нас пишут и к нам прислушиваются в криптовалютном коммьюнити (90k подписчиков на твиттере).