поделись вакансией с друзьями

Data Engineer

Remote / Travelpayouts

Travelpayouts от Авиасейлс — платформа по автоматизации партнерского маркетинга в тревел. Мы помогаем брендам найти своих клиентов, а владельцам тревел-площадок эффективно монетизировать свой трафик.

Мы уже многого достигли: стали крупнейшим игроком на рынке партнерского маркетинга в сфере онлайн-тревела в России, сейчас развиваемся на международном рынке (Северная Америка и Европа).

Наша команда дата инженеров помогает аналитикам делать свою работу. Мы обеспечиваем доставку данных в единое хранилище для аналитики и поддерживаем инструменты для их обработки и презентации.

Ищем дата инженера в команду аналитики Travelpayouts. Тебе предстоит плотно взаимодействовать с командой аналитики и разработки Travelpayouts, но также работать вместе с core командой дата инженеров Aviasales.

Стек:

мы используем Apache Impala на базе Apache Hadoop для хранения и обработки данных.
Основные источники данных – Kafka, БД и разные APIs. Используем самописный оркестратор и фреймворк на базе Python для работы с загрузкой и трансформации данных.
идет миграция на новую платформу на базе LakeHouse архитектуры - Spark, Trino, AWS S3, DeltaLake format, DBT, Kafka, Airbyte.
тестирование и сборка производятся на CI сервере (Jenkins). Деплой в Kubernetes. Настройкой серверов и разворачиванием баз мы не занимаемся. Это делает отдельная команда инфраструктуры.

Что нужно будет делать:

поддерживать работоспособность аналитики:
- подключать новые источники и разрабатывать/модернизировать data pipelines;
- настраивать отправку/обмен данными с внешними и внутренними сервисами;
- работать над качеством данных;
- настраивать/поддерживать аналитическое окружение;
модернизировать текущую дата платформу вместе с Core командой дата инженеров;
участвовать в принятии архитектурных решений для новой дата платформы.

Что мы ждем от тебя:

опыт работы инженером данных от 3 лет;
отличное знание Python, SQL;
умение строить streaming и batch пайплайны;
опыт работы c Apache Spark, Apache Airflow, Trino будет большим плюсом;
опыт работы с Kubernetes, Terraform будет плюсом;
опыт работы с AWS приветствуется;
самостоятельность и ответственность;
умение коммуницировать с разными командами;
желание развиваться и выстраивать процессы вокруг себя.

Как мы работаем:

в любой точке мира: не привязываемся к локации, платим в долларах, любим путешествовать;
без бюрократии: удобные процессы здорового человека, горизонтальные и открытые коммуникации, быстрое обсуждение идей и принятие решений;
компенсируем: ДМС, психотерапию или иностранные языки, занятия спортом и больничный;
на райском острове: можно работать на Пхукете с видом на океан.

• топовая команда • вечеринки с бассейном и без • Котики в офисе • сырки на любой вкус в холодильнике

Что получают сотрудники Авиасейлс

Хорошая зарплата

Платим столько, сколько заслуживаешь, и ни долларом меньше

Занятия спортом

Частично оплачиваем спорт: хоть в зал ходи, хоть в кёрлинг играй

Английский язык

Помогаем подтянуть твой инглиш, потому что — ну камон!

Медицинская страховка

Заботимся о тебе и твоей семье. Страховка — полный фарш

Вечеринки с бассейном

И без. У нас — самые легендарные тусовки, не будем скромничать

Детское обучение

Помогаем с оплатой садика и школы для твоих детей

Удалённая работа

Разрешаем работать удалённо

👀 А ещё:

Запускаем ракеты в космос, тестируем огнеметы и свято чтим котовторники.