Dateningenieur

Корпоративное DWH для госкорпорации по атомной энергетике 10.2024 — 01.2026 Описание проекта и работы: Разрабатывала корпоративное хранилище данных для анализа бизнес-процессов системы документооборота госкорпорации. Данные загружались из внутренних систем через Apache NiFi и Apache Kafka, сохранялись в HDFS и Greenplum (ODS и DDS слои). Трансформации выполнялись с использованием SQL, Apache Spark и dbt. Витрины формировались в ClickHouse (DM слой). Оркестрация пайплайнов реализована через Apache Airflow. Объем данных — до ~50 млн событий в сутки (~100+ GB). Основные обязанности: - Разрабатывала ETL/ELT пайплайны (NiFi, Spark, SQL) и настраивала ingestion через Kafka - Проектировала архитектуру DWH (ODS / DDS / DM) и реализовывала трансформации в dbt (модели, тесты, зависимости) - Работала с хранением и обработкой данных - Строила и оптимизировала витрины в ClickHouse под аналитические нагрузки - Настраивала оркестрацию в Airflow (DAG, SLA, зависимости) и CI/CD пайплайны - Оптимизировала SQL и Spark джобы, внедряла Data Quality проверки и взаимодействовала с бизнесом Стек: Greenplum, ClickHouse, PostgreSQL, Apache Kafka, Apache NiFi, Apache Airflow, Apache Spark, dbt, HDFS, Git, CI/CD Сервис контроля метрик для международной металлургической компании 04.2023 — 09.2024 Описание проекта и работы: Разрабатывала платформу мониторинга производственных и логистических метрик с поддержкой near real-time аналитики. Построила lakehouse-архитектуру с хранением сырых данных в S3 и использованием Apache Iceberg для управления таблицами. Поток данных поступал через Apache Kafka (события от производственных систем), обрабатывался с использованием Spark Structured Streaming и batch-джобов в Apache Spark. Витрины формировались в ClickHouse для аналитики. Оркестрация выполнялась через Apache Airflow. Пайплайны обрабатывали ~70 млн событий в сутки (~300 GB). Основные обязанности: - Разрабатывала streaming и batch пайплайны (Spark Structured Streaming + Spark SQL) для lakehouse-архитектуры (S3 + Iceberg) из Kafka - Реализовывала трансформации, проектировала и оптимизировала витрины в ClickHouse - Настраивала DAG в Airflow - Оптимизировала Spark - Реализовывала Data Quality проверки - Вела документацию (архитектура, пайплайны, S2T) Стек: ClickHouse, Apache Kafka, Apache Airflow, Apache Spark (batch + streaming), Apache Iceberg, S3, Git, CI/CD Система бюджетирования для горно-металлургической компании 01.2022 — 04.2023 Описание проекта и работы: Участвовала в разработке ETL-пайплайнов для системы бюджетирования и финансовой аналитики. Данные поступали из внутренних систем и внешних API, загружались в Oracle Database, проходили очистку, нормализацию и агрегации. Оркестрация выполнялась через Apache Airflow, для передачи данных использовался Apache Kafka. Объем данных составлял ~5–10 млн строк, включая финансовые транзакции и агрегаты. Основные обязанности: - Разрабатывала ETL пайплайны для загрузки и трансформации данных, включая интеграцию внешних API - Работала с Oracle Database (загрузка, агрегации, оптимизация SQL) - Настраивала передачу данных между сервисами через Apache Kafka - Оркестрировала пайплайны в Apache Airflow (DAG, зависимости) - Выполняла очистку, нормализацию и валидацию данных, обеспечивая их качество - Вела документацию и настраивала CI/CD пайплайны для ETL процессов Стек: Oracle Database, Apache Airflow, Apache Kafka, API, Git, CI/CD