Разработчик ELT фреймворка платформы данных
Направление:
Разработка
Команда:
Хранение и обработка данных
Технологии:
SQL, Python
Дата:
19.01.2024
Место:
Москва
Ищем опытного, самостоятельного специалиста для задачи внедрения DBT фреймворка. Масштаб CORE - 10k атрибутов.
Чем предстоит заниматься:
- Участие в внедрении фреймворка DBT в масштабной платформе данных банка ТОП-3.
- Проектирование функциональной, компонентной и технической архитектуры-инфраструктуры DBT, выработка решений и их реализация "руками" для внедрения DBT;
- Участие проекте создания Платформы данных банка (GreenPlum, ClickHouse, S3, DBT, AirFlow, Spark, OpenMetadata, etc / DataMesh);
- Разработка методологии, стандартов для разработки моделей DBT для большой распределенной команды.
- Обеспечение производительности DBT моделей;
- Интеграция с сервисами оркестрации, доставки данных (AirFlow, Spark, GreenPlum, etc)
- Реализация API для DG/DQ решений;
- Разработка моделей в новой платформе данных. Развитие функционала.
Ключевые требования:
- Обязателен опыт работы с Python, а так же хорошее понимание шаблонов проектирования ООП и основных принципов работы языка;
- Обязательно хорошее знание SQL, опыт написания и оптимизации SQL запросов, процедур, представлений;
- Опыт участия в разработке и внедрении корпоративных хранилищ данных либо аналитических платформ, либо опыт разработки фреймворка трансформации данных;
- Навыки работы с моделью данных, понимания принципов консолидации данных и паттернов архитектурного проектирования
- Уверенные навыки работы с одной современной СУБД, желательно MPP (GreenPlum, PostgeeSQL, MS SQL Server, Oracle, Teradata, и т.д.).
- Желателен опыт разработки и сопровождения ETL/ELT процессов (Informatica, Pentaho, MS SSIS, DBT, AirFlow, Spark, Kafka, ...) + Python;
- Желателен опыт разработки хранилищ данных на DBT Framework
- Желателен опыт работы в банковской сфере;
- Умение анализировать поставленные задачи.
Мы предлагаем:
- Работа в крупнейшем банке России;
- Оформление согласно ТК РФ;
- Расширенный социальный пакет;
- Условия для развития и обучения.
- Возможна удаленная работа в пределах РФ
Похожие
вакансии:
вакансии:
Не подошла вакансия?
Найди ту, что понравится