Москва

ЕдиныйФактор

Data Engineer

Backend, BigData

Требуемый опыт

от 3 до 6 лет

Занятость

5/2 полный рабочий день

Ключевые навыки

Scala
Spark

Какие задачи необходимо решать

Мы разрабатываем платформу конфиденциального машинного обучения и высоконагруженные сервисы данных, создающие конкурентное преимущество для бизнеса в области финтеха. Нашими продуктами пользуются 80% банковского сектора России. Мы ищем старшего разработчика на Spark и Scala для участия в создании платформы машинного обучения

  • Разрабатывать MLOps/autoML платформы
  • Миграция сервисов платформы на новые версии библиотек scala/spark
  • Проектировать структуры хранения и представления данных
  • Разрабатывать промышленные сервисы распределенной обработки данных для поставки данных на платформу машинного обучения
  • Анализировать производительность и масштабировать продукты под возрастающую нагрузку
  • Писать юнит и интеграционные тесты, проводить code review

Для решения этих задач требуется

  • Опыт разработки на Scala от 2 лет
  • Опыт работы со Spark
  • Понимание принципов оптимизации обработки данных (знание форматов хранения данных, понимание принципов работы join и т.д.
  • Понимание архитектуры и принципов работы Spark-приложений
  • Навык работы с Docker, Kubernetes Будет плюсом:
  • Опыт работы со SparkML
  • Знания особенностей spark разных версий
  • Опыт проектирования или работы с современными MLOps платформами
  • Понимание принципов обучения ML-моделей
  • Знание Python
  • Опыт работы с базами данных Cassandra, Scylla etc.

Мы предлагаем

Оформление по ТК РФ
Справедливая и прозрачная система вознаграждения
ДМС со стоматологией
Компенсация мобильной связи
Маркетплейс льгот и сервисов Mega4You
Понятный карьерный маршрут
2500 учебных программ в мобильном приложении МегаФон Драйв
Программа поддержки и помощи сотрудникам
Активное корпоративное сообщество и насыщенный календарь событий
Москва8 800 550‑05‑00
Москва