Data Engineer (Senior/Middle)
26 Июля 2025

Город:
Нижний Новгород
Занятость:
Полная занятость
Компания "Криптонит"
Мы разрабатываем аналитические системы на базе единой платформы, которые позволяют безопасно работать с данными независимо от их формата, метода хранения и эксплуатации. Платформа основана на концепции Infrastructure as Code (IAC) и состоит из нескольких независимых программных продуктов и сервисов на базе JVM/Scala и Kubernetes. Она обеспечивает высокий уровень потоковой обработки и хранения данных, управления доступом и метаданными, а также контролем их использования в периметре частных облачных сред.
Обязанности:
- Проработка High Level Design процессов загрузки данных на платформу
- Декомпозиция задач, оценка сроков выполнения
- Выполнение Code review и контроль правильности реализации принятых технических решений
- Реализация процессов загрузки данных на платформу из различных источников (s3, hdfs, samba, sftp) в различных форматах (csv, parquet, json, xml)
- Определение и согласование нефункциональных требований к процессам построения витрин
- Разработка витрин данных
- Расчет и загрузка данных в feature store
- Реализация общих программных компонент по обработке данных (airflow операторы, spark internals, общие библиотеки по загрузке данных)
- Проектирование моделей данных, для хранения
Технологический стек
- Языки программирования: Scala (2.13+)
- Хранение и обработка данных: Postgresql, ClickHouse, Scylla, ElasticSearch, S3, Kafka, Spark
- Мониторинг: Grafana, Prometheus
- Прочие технологии и фреймворки: Docker, Kubernetes(Openshift), Typelevel (Cats Effect, Circe, Doobie, Weaver), ScalaTest
Наши ожидания:
-
Профильное образование: информационные технологии, статистика, математика
-
Понимание работы Spark, Spark Streaming, Scala
-
Знание алгоритмов и структур данных, знание SQL
-
Опыт работы по специальности от 3 лет
-
Знание особенностей реализации различных алгоритмов и структур данных
-
Опыт работы в команде
Что мы предлагаем
Здоровье и спорт:
- ДМС со стоматологией
- Корпоративные скидки в сети фитнес-клубов World Class
- Корпоративный тариф на абонементы FITMOST
- Программа корпоративных скидок Best Benefits – на спорт и не только
- Спортивные мероприятия (турниры по футболу, волейболу, киберспорт, забеги, шахматы)
Обучение и развитие:
- Курсы английского языка, в том числе с носителем языка
- Сообщества по интересам: вместе читаем книги, ходим на интересные мероприятия и делимся маршрутами путешествий
- Внешние профессиональные курсы и конференции, сертифицированное обучение, которые вы выбираете сами
- Профильные митапы – организовываем, проводим и принимаем участие
- Билеты со скидкой в Музей криптографии для сотрудников и их семей
А также:
- Работа в гибридном формате или в офисе
- Комфортные офисы в Москве, Санкт-Петербурге и Нижнем Новгороде с кофе-поинтами и разнообразными снеками каждый день
- Насыщенные и яркие корпоративные праздники
- Классный мерч
Зарегистрируйтесь или войдите, чтобы открыть контакты работодателя
Прикрепите резюме для отклика
Уже с нами?
Войдите, чтобы отправить резюме
22 Июля
Нижний Новгород
Компания "БАРС Груп" Компания «БАРС Груп» – ведущий российский разработчик программного обеспечения для государства и бизнеса, открывает...
22 Июля
Нижний Новгород
Компания "Брайт Эйдженси" IT рекрутинговое агентство Brightman ищет Head of Data Technology для своего клиента, крупного холдинга....
24 Июля
Нижний Новгород
Компания "АЛМИ ПАРТНЕР" Компания Алми Партнер находится на рынке информационных технологий более 20 лет и оказывает полный спектр услуг в...
18 Июля
Platform Integration Engineer (Инженер интеграций)
Нижний Новгород
Компания "КНС ГРУПП" Разрабатываем полное платформенное решение для телекоммуникационных систем. На его основе строятся самые современные узлы...
25 Июля
Нижний Новгород
Компания "КНС ГРУПП" Одним из ключевых направлений YADRO является разработка сетевых устройств промышленного класса. В своих разработках мы...
Вакансия размещена в отрасли