Санкт-Петербург

Data engineer

Backend, BigData

Требуемый опыт

от 3 до 6 лет

Занятость

Полный рабочий день

Ключевые навыки

Java
Spark

Какие задачи необходимо решать

Мы ищем инженера данных, работающего с технологиями параллельнойобработки данных на Hadoop, для участия в развитии облачной платформымашинного обучения.

Чем предстоит заниматься• Руководить группой поставки данных и потоков• Оценивать задачи и планировать работу группы• Курировать внешние запросы к команде в качестве третьей линииподдержки• Устранять аварии и обеспечивать SLA поставки на необходимом уровне• Помогать команде в процессе разработки сервисов данных• Писать Spark джобы для регулярной поставки данных на платформу, споследующей постановкой их на расписание• Работать с батчевыми и потоковыми источниками данных, обеспечивая ихминимальную задержку• Анализировать производительность и масштабировать компонентысистемы под возрастающую нагрузку• Работать с сервисами, обеспечивающими конфиденциальность данных

Для решения этих задач требуется

Для решения этих задач требуется• Опыт разработки на Java от 3 лет• Опыт работы со Spark от 2 лет• Опыт менторства/ руководство командой• Опыт постановки джоб на расписание в Apache Airflow, Oozie• Знание SQL• Понимание принципов оптимизации обработки данных (знание форматовхранения данных, понимание принципов работы join и т.д.)• Умение писать юнит тесты, проводить и проходить code review

• Опыт коммерческой разработки сервисов• Опыт работы с Apache Kafka• Опыт работы с RabbitMQ• Опыт работы c реляционными базами данных, например, Oracle, Postgress• Навык работы с Docker, Kubernetes

Мы предлагаем

Оформление по ТК РФ
Справедливая и прозрачная система вознаграждения
ДМС со стоматологией
Компенсация мобильной связи
Маркетплейс льгот и сервисов Mega4You
Понятный карьерный маршрут
2500 учебных программ в мобильном приложении МегаФон Драйв
Программа поддержки и помощи сотрудникам
Активное корпоративное сообщество и насыщенный календарь событий