Удаленный формат

МегаТех

Дата инженер

BigData

Требуемый опыт

от 3 до 6 лет

Занятость

5/2 полный рабочий день

Ключевые навыки

Python
Etl
Airflow
SQL
Spark

Какие задачи необходимо решать

  • Анализировать пакеты ODI, извлекать метаданные, фиксировать бизнес-логику. Реверс-инжиниринг ODI сценариев
  • Проектировать и реализовывать миграцию. Переводить ETL-логику из ODI в DAG`и Apache AirFlow
  • Разрабатывать ETL/ELT-пайплайны
  • Обеспечивать качество данных (DQ-проверки), настраивать алерты, дашборды мониторинга
  • Управлять артефактами, CI/CD. Настраивать пайплайны деплоя DAG-ов, версионирование кода (Git), листинг, тестирование (unit/integration), управлять зависимостями (включая whl-пакеты для PySpark-компонентов)
  • Документировать и передавать знания

Для решения этих задач требуется

  • Образование – высшее техническое, математическое или экономическое
  • Опыт работы от 3 лет в роли дата-инженера
  • Практический опыт миграции или глубокой поддержки ETL-решений (ODI, Informatica, SSIS и т.п.) – понимание структуры пакетов, переменных, маппингов, планировщиков
  • Уверенные знания и опыт практического применения:

- Apache Airflow – архитектура, DAG-дизайн, операторы, хуки, сенсоры, обработка ошибок, backfill, переменные/конфиги

- Python для написания DAG-ов и кастомной логики

- SQL – сложные запросы, оптимизация кода

- PySpark для пакетной обработки данных

- Git, базовые навыки CI/CD, понимание версионирования и тестирования кода

  • Работа с контейнеризацией (Docker) и деплоем DAG-ов в контейнерной среде
  • Навыки формирования Python-пакетов для переносимости Spark-логики
  • Знание dbt, инструментов моделирования данных и подходов к слоям DWH
  • Опыт настройки мониторинга (Prometheus/Grafana, AirFlow UI)

Мы предлагаем

Оформление по ТК РФ
Справедливая и прозрачная система вознаграждения
ДМС со стоматологией
Компенсация мобильной связи
Маркетплейс льгот и сервисов Mega4You
Понятный карьерный маршрут
2500 учебных программ в мобильном приложении МегаФон Драйв
Программа поддержки и помощи сотрудникам
Активное корпоративное сообщество и насыщенный календарь событий
Удаленный формат8 800 550‑05‑00
Удаленный формат