ETL セールス目標パイプライン

Data
ETL セールス目標パイプライン

ETL セールス目標パイプライン

Oracle データベースから PostgreSQL へセールス目標（sales target）データを移送するための ETL パイプライン実装。Apache Airflow を orchestrator として用い、インクリメンタルロード、エラーハンドリング、データ検証を備えた実用的なワークフロー設計を示します。アーキテクチャはソースの APPS._CUSTOMERS_TRX_TARGETS テーブルから mb.sales_target への変換／ロードを想定しており、データ品質と再実行性を重視した構成になっています。（約300字）

https://github.com/adiprd/ETL_Sales-Target

概要

ETL_Sales-Target は、Oracle（APPS._CUSTOMERS_TRX_TARGETS）をソースに、PostgreSQL（mb.sales_target）をターゲットとするセールス目標データのパイプライン設計を示したリポジトリです。中心技術は Apache Airflow で、日次インクリメンタルロード、障害時のリトライ／ロールバック、データ検証（行数やスキーマチェック）といった運用に必要な要素を組み込むことを目的としています。README にはアーキテクチャ図や特徴、実装方針の概要がまとめられており、小～中規模のデータ同期用途に即した実装サンプルや運用上の注意点が読み取れます。（約300字）

GitHub

リポジトリの統計情報

  • スター数: 1
  • フォーク数: 0
  • ウォッチャー数: 1
  • コミット数: 3
  • ファイル数: 1
  • メインの言語: 未指定

主な特徴

  • Oracle → PostgreSQL 間のデータ同期を Airflow で管理する ETL パイプライン設計
  • 日次インクリメンタルロードにより差分のみを取得して効率的に更新
  • エラーハンドリングとリトライ、検証ステップを含む堅牢なワークフロー
  • ソースとターゲットのテーブルマッピング（APPS._CUSTOMERS_TRX_TARGETS → mb.sales_target）

技術的なポイント

このリポジトリは実運用を意識した ETL のベストプラクティスを示唆しています。Airflow を中心に据えた構成では、DAG によるスケジューリングとタスク分割で抽出（Extract）、変換（Transform）、ロード（Load）を明確に分離します。抽出段階では OracleHook（またはカスタム接続）を使い、前回ロード時刻や増分キーによるウォーターマーク方式で差分データを取得する設計が想定されます。こうすることでフルロードの負荷を避け、データ転送量と処理時間を削減します。

変換フェーズでは、スキーマの不整合やデータ型差を解消するためのマッピング処理、NULL／異常値の正規化、日付フォーマットや数値精度の揃え込みを行います。中間ステージ（ステージングテーブル）を用いることで、ターゲットへの直接書き込み前にレコード数やチェックサム検証を実施し、整合性を確保できます。ロード段階では PostgresHook やバルクロード（COPY など）を用いて高速に挿入・更新を行い、トランザクション管理で部分コミットを防ぎます。更新は upsert（ON CONFLICT）やバッチ更新で idempotent（再実行可能）に設計するのが実運用上のポイントです。

エラーハンドリングは Airflow の retry ポリシー、タスクの依存関係、そしてアラート（メールや Slack）連携でカバーします。失敗時にはロールバックやリトライだけでなく、異常検知ルール（行数差異や閾値超過）を設けることでデータ品質の異常を早期に捕捉できます。セキュリティ面では Airflow Connections と Secrets Backend（Vault、AWS Secrets Manager 等）で DB 資格情報を管理し、ログに平文を残さない運用が望まれます。

性能面では抽出・ロードのバッチサイズ調整、ネットワーク転送の圧縮、並列タスクの制御によりスループットを最適化します。また、スキーマ変更やレイテンシの高いソースに対しては増分キーの選定や CDC（Change Data Capture）導入を検討するとよいでしょう。最後に CI/CD の観点からは、DAG の単体テスト（ローカルでのモック接続）、Lint/フォーマット、デプロイ時の差分検出とロールバック手順の整備が推奨されます。（約1200〜1600字相当）

プロジェクトの構成

主要なファイルとディレクトリ：

  • README.md: file

まとめ

Airflow を使った実践的な Oracle→Postgres の ETL 設計例。運用・品質管理に重点を置いた構成が参考になる（約50字）。

リポジトリ情報：

READMEの抜粋：

ETL Sales Target Pipeline

Overview

ETL pipeline untuk memindahkan data sales target dari Oracle Database ke PostgreSQL menggunakan Apache Airflow. Pipeline ini menangani ekstraksi, transformasi, dan loading data dengan mekanisme error handling dan validation yang robust.

Architecture

Oracle Database (Source) → Apache Airflow → PostgreSQL (Target)
      ↓
APPS._CUSTOMERS_TRX_TARGETS → mb.sales_target

Features

🔄 Data Pipeline

  • Incremental Loading - Daily sche…