Middle Data Engineer in Moscow — Digital Marketing & Affiliate Specialists | ArbiHunter
ArbiHunter
Login
CV view

Middle Data Engineer

200000 ₽
Russia
Moscow
Full
Remote
Work experience
1 year 10 months
Last work experience

Первый Бит

Data Engineer / BI-разработчик
1 year 10 months

About

About
Data Engineer с опытом разработки production-ready ETL/ELT пайплайнов и построения современных хранилищ данных (Data Warehouse / Data Lakehouse). Специализируюсь на: • Проектировании DWH, Lakehouse (Bronze→Silver→Gold), Star Schema • Оркестрации ETL/ELT процессов (Airflow), инкрементальной загрузке (CDC) • Оптимизации Spark-джобов и SQL-запросов • Автоматизации контроля качества данных (dbt tests, Great Expectations) • Разработке витрин для BI/DS и feature engineering • Потоковой обработке данных (Kafka + Spark Streaming) Стек: Python, PySpark, SQL, Apache Airflow, dbt, Apache Kafka, PostgreSQL, Greenplum, ClickHouse, Delta Lake, Docker, Git Портфолио: github.com/Giganmama (6 production-ready проектов с CI/CD, тестами и документацией) Открыт к работе в офисе, гибридном формате или полностью удалённо (Москва).

Affiliate experience

No data available

Work experience
1 year 10 months

August 2024 - to date
(1 year 10 months)
Первый Бит
Data Engineer / BI-разработчик
Разработка production-ready ETL/ELT пайплайнов и аналитических решений для клиентов в ритейле, промышленности и энергетике. Ключевые проекты: 🔹 Tetra Pak (Упаковочные системы): - Спроектировал новый контур аналитики на отечественном стеке (Python, Airflow, ClickHouse, PixBI) - Разработал скрипты оркестрации загрузки данных и наполнения хранилища ClickHouse - Создал дата-модель и дашборды с кастомными JS-визуализациями 🔹 Île de Beauté (Ритейл): - Разработал 20+ аналитических приложений полного цикла - Построил сложные ETL-процессы: интеграция из шин, БД и файловых хранилищ - Внедрил автоматизированную отчетность с макросами для выгрузки в Excel - Реализовал механизм контроля качества данных (Data Quality): сравнение с эталонами, диагностика потерь через API 🔹 Внутренние продукты и R&D: - Разработал AI-ассистент: Telegram-бот с NLP-интерфейсом для получения выборок из БД - Настроил пайплайн выгрузки метрик из Jira в ClickHouse и дашборды в PixBI Стек: Python, Apache Airflow, ClickHouse, PostgreSQL, QlikView/Qlik Sense, PixBI, Docker, Git, SQL, ETL/ELT

Skills

PySpark
Apache Airflow
dbt
Apache Kafka
ClickHouse
Greenplum
Delta Lake
Python
SQL
Apache Spark
Implementation of ETL processes
Building ETL processes
PostgreSQL
Docker
Git

Language proficiency

Intermediate English
Native Russian

Employment

Employment
Full
Work format
Remote, Hybrid, Office
Work schedule
5/2
Relocation
Not possible
Business trips
Business trips possible