D

dbt

Architecture warehouse retail (Kimball) — star schema complet avec dbt + DuckDB (dev) et Snowflake (prod). SCD Type 2, gouvernance des données, masquage PII et gestion des rôles.

Projet de référence d'une architecture Lakehouse moderne appliquée à la détection de fraude bancaire.

Simule un environnement de production avec trois sources de données hétérogènes (fichiers CSV, base PostgreSQL, streaming Kafka/Redpanda) ingérées en continu vers un stockage objet S3-compatible (MinIO).

Stack technique :

Ingestion batch : Apache Spark (PySpark) + Delta Lake Ingestion streaming : Spark Structured Streaming + Redpanda (Kafka) Orchestration : Apache Airflow Transformation : dbt (DuckDB) Stockage : MinIO (S3), Delta Lake (Bronze/Silver), Parquet (Gold) Exploration : DuckDB / DBeaver

Architecture en médaillon (Medallion Architecture) :

Bronze : données brutes, sources séparées Silver : données nettoyées, déduplication inter-sources Gold : agrégats métier (fraude par heure)

L'ensemble de la stack tourne en local via Docker Compose.

Projet Data Mesh — 4 domaines financiers (customers, accounts, transactions, risk) avec dbt/PostgreSQL, contrats de données, RBAC/RLS, audit trail et scripts de gouvernance automatisés.

Production-style real-time crypto streaming pipeline (Binance → Kafka → Polars Parquet → DuckDB → dbt) built locally with Docker and Python.

The project use traffic data from automatic measurement and corresponding weather data in order to support analyses aimed at answering the question: Do weather conditions impact traffic?

The aim of the project is to design and implement entire data data flow using ETL/ELT tools and methods. The steps include: csv data extract and initial processing (Python), load to AWS S3 Data Lake (Python boto3, AWS CLI), staging (Snowflake) and transformation (dbt core), data warehousing (Snowflake), data prep and EDA (Python, pandas) and visualisation (Streamlit).

A web app and API for analyzing dbt projects for performance, complexity, and compliance https://whetstone.nicholasyager.com

https://public.tableau.com/app/profile/shayne.lussier/viz/ClothingStore-Dashboard/Dashboard

A collection of Airflow operators, hooks, and utilities to elevate dbt to a first-class citizen of Airflow.

See the documentation at: https://airflow-dbt-python.readthedocs.io/

dbt demo project.

Example repository using dbt and Snowflake

This prototype project is used for demonstrating unit testing in DBT using static test dataset.

model covid 19 tap

covid 19 dbt tranform