dsimportacao — Ds Importer（ビジュアルETL）

Data
dsimportacao — Ds Importer（ビジュアルETL）

dsimportacao — Ds Importer（ビジュアルETL）

Ds Importer（dsimportacao）は、非プログラマ向けに設計されたビジュアルETLシステムです。MySQL、Firebird、PostgreSQL、SQL Server、ODBC経由のその他データソース間でデータをインポート／変換／移送するためのマッピング機能、検証ルール、ログ／監査、再処理機能を備え、コネクタ群と抽象化レイヤで異種データベースを扱えるように設計されています。本リポジトリはC#で実装されたコアと複数のコネクタモジュールを含み、プラグイン的に異なるDBを接続してデータ移行ワークフローを構築できます。（約300字）

https://github.com/Odachi7/dsimportacao

概要

Ds Importer（DSI）は、異なる種類のデータベース間でのデータ移送を視覚的に設定・実行できるETLツールです。非プログラマでも列マッピング、変換・検証ルールの設定、処理ログや監査情報の確認、失敗時の再処理といった運用に必要な機能を提供することを目標としています。コネクタ設計により MySQL、Firebird、ODBC（汎用）、および他DBをサポートし、C#で実装されたソリューションとしてコアロジックと各種接続モジュールを分離して管理します。ビジネス側でデータ移行を安全に行える点が特徴です。（約300字）

GitHub

リポジトリの統計情報

  • スター数: 1
  • フォーク数: 0
  • ウォッチャー数: 1
  • コミット数: 5
  • ファイル数: 18
  • メインの言語: C#

主な特徴

  • ビジュアルなカラムマッピングとルール設定（非プログラマ向け）
  • 複数DB向けコネクタ（MySql、Firebird、ODBC 他）による異種間データ移行
  • ログ・監査・再処理機能により運用性を確保
  • 抽象化されたコネクタ設計で拡張性を確保

技術的なポイント

DSIはコアの適用層（DSI.Aplicacao）とコネクタ群を分離した modular な設計を採用しています。DSI.Conectores.Abstracoes は各DBコネクタの共通インターフェースや基底クラスを定義し、コネクタ実装（DSI.Conectores.Firebird、DSI.Conectores.MySql、DSI.Conectores.Odbc）はこれを継承して具体的な接続・クエリ実行・型変換ロジックを提供する想定です。こうした設計により、新しいDB対応時は抽象インターフェースに従ったコネクタを追加するだけでコア機能と連携できます。

データ移行ワークフローは典型的なETLモデル（抽出→変換→ロード）に沿い、視覚的マッピングで列対応を定義、変換ルールや検証ルールを適用して不整合データを検知・ログ出力します。監査ログの収集と再処理機能により、失敗したレコードのみ再度処理するといった運用が可能で、運用初期のトラブルシュートやデータ品質改善に有用です。C#/.NET上で動作することから、ADO.NETや各DBプロバイダ（MySqlConnector、FirebirdClient、ODBCドライバ等）を用いた接続制御、トランザクション管理、パラレル処理やバルク操作の最適化が想定されます。

また、異種DB間の文字コード、日付型、数値スケールなどの型マッピングはETLでよくある課題で、抽象コネクタ層で変換ポリシーを集中管理することで一貫性を持たせられます。ログ・監査データは監査テーブルやファイルに出力し、将来的にはUIでのフィルタリング・追跡や通知連携などの拡張も可能です。全体として、コネクタ拡張性・運用時の再現性・非技術者向けの操作性に重きを置いた設計と読み取れます。（約700〜1200字相当）

プロジェクトの構成

主要なファイルとディレクトリ：

  • DSI.Aplicacao: dir
    • コアのアプリケーションロジックやワークフロー制御が格納される想定。ジョブの実行、ルール適用、ログ収集などの責務を持つレイヤーです。
  • DSI.Conectores.Abstracoes: dir
    • コネクタ共通のインターフェース、ベースクラス、型変換ユーティリティが含まれる抽象化レイヤ。拡張性の要です。
  • DSI.Conectores.Firebird: dir
    • Firebird用の具体的な接続実装。接続設定、クエリ実行、データ取得/挿入のロジックが入ります。
  • DSI.Conectores.MySql: dir
    • MySQL用の実装。特有の型処理やバルク挿入戦略が実装される想定です。
  • DSI.Conectores.Odbc: dir
    • 汎用ODBC経由でその他のDBへ接続するためのコネクタ。接続文字列やドライバ固有の振る舞いを扱います。

…他 13 ファイル

（各ディレクトリ名から推測される役割と責務を簡潔に記載しました。リポジトリ自体はまだ発展途上で、実装の詳細やUIの有無はソースを参照する必要があります。）

まとめ

非プログラマ向けの異種DB間ビジュアルETLとして設計されており、コネクタ拡張と運用性に重点を置く実用的な基盤です。（約50字）

リポジトリ情報：

READMEの抜粋：

Ds Importer (DSI)

Sistema ETL visual para importação de dados entre bancos heterogêneos

📋 Sobre o Projeto

O Ds Importer (DSI) é um sistema voltado para usuários não-programadores que permite configurar e executar importações de dados entre bancos de dados heterogêneos (MySQL, Firebird, PostgreSQL, SQL Server e outros via ODBC), com mapeamento visual de colunas, regras de tratamento/validação, logs completos, auditoria e reprocessamento.

🏗️ Estrutura da Solution

A solutio…