Data Engineer (junior+)
до 120 000 руб.
Город:
Нижний Новгород
Занятость:
Полная занятость
Компания "МодульБанк"
Задачи:- Оркестрация процессов: Разработка, поддержка и оптимизация DAG-ов в Apache Airflow. Создание динамических дагов, управление зависимостями и SLA;
- Разработка ETL/ELT пайплайнов: Организация загрузки данных из разнородных источников (REST API, Kafka, DB, S3/HDFS) в хранилище;
- Обработка больших данных (Spark): Использование PySpark для "тяжелых" трансформаций, очистки и подготовки данных перед загрузкой в ClickHouse (если логика слишком сложна для SQL);
- Работа с ClickHouse: Загрузка подготовленных данных в CH, создание базовых витрин данных (DDL таблиц, простые View) для передачи аналитикам;
- Обеспечение качества данных: внедрение проверок на всех этапах пайплайна, мониторинг свежести и корректности данных.
- Python: Уверенное владение языком (OOP, requests, pandas/numpy, sqlalchemy). Умение писать чистый, тестируемый и поддерживаемый код;
- Apache Airflow и ELT/ETL: Опыт разработки и поддержки сложных пайплайнов в Airflow. Понимание принципов построения DWH. Практический опыт реализации инкрементальных загрузок и создания идемпотентных процессов обработки данных. Умение синхронизировать данные между несколькими системами;
- Apache Spark (PySpark): Опыт написания джобов для пакетной обработки данных;
- SQL и ClickHouse: Уверенное знание SQL. Умение создать таблицу в ClickHouse, выбрать подходящий движок и написать запрос на вставку/выборку данных.
Будет преимуществом:
- Опыт работы с распределенными хранилищами (HDFS, S3, Apache Iceberg);
- Понимание процессов CI/CD и контейнеризации.
Условия:
-
Трудоустройство по ТК РФ, полностью "белая" заработная плата;
-
График 5/2, работа по часовому поясу МСК с гибким началом рабочего дня: 9:00 или 10:00;
-
Удаленку, при желании - возможность посещать наш уютный офис в Москве;
-
Отсутствие бюрократии. Быстрое согласование: коммуникация с
коллегами в Telegram, митапы в zoom, задачи в Jira, база знаний в
Confluence;
-
ДМС после прохождения испытательного срока, включая стоматологию;
-
Спорт и крутые корпоративные мероприятия: Гонка героев, сплав в Уфе
и Карелии, соревнования по футболу, настольному теннису, картингу, беговой клуб и другие.
04 Марта
Automation QA-Engineer Java/Python/C# (GameDev)
Нижний Новгород
Компания "Gear Games" Gear Games — команда профессионалов, которая возвращает на мобильные устройства один из самых захватывающих игровых жанров...
04 Марта
Нижний Новгород
Компания "Компания IXORA" IXORA (ИКСОРА) – крупнейшая федеральная оптово-розничная компания автомобильных запчастей и аксессуаров. На...
04 Марта
ИНЖЕНЕР ПО ИНТЕГРАЦИИ ИИ (AL/LLM Engineer)
Нижний Новгород
Компания "Юкон Инжиниринг" Требования: Опыт работы с нейросетями и LLM: настройка, интеграция, оркестрация. Практический опыт с...
05 Марта
Junior Full-Stack разработчик WordPress/PHP
Нижний Новгород
от 50 000 до 70 000 руб.
Компания "Манджиев Вадим Иванович" Ищу разработчика для работы над несколькими веб-проектами. Основной стек — WordPress, PHP. Часть задач...
05 Марта
Senior Fullstack QA engineer \ Старший инженер по тестированию (Release Engineering)
Нижний Новгород
Компания "КНС ГРУПП" В группу тестирования облачных решений требуется опытный и заинтересованный QА-инженер. Чем предстоит заниматься:...
Вакансия размещена в отрасли