Data

致理_postgres_星期日のデータ管理リポジトリ

致理_postgres_星期日のデータ管理リポジトリ

2025/6/29

本リポジトリ「__2025_06_29_chihlee_postgres__」は、PostgreSQLに関連するデータ管理や操作を目的としたツール群やスクリプトをまとめています。中国語名「致理_postgres_星期日」からもわかるように、週末に集中したデータ処理やメンテナンス作業の効率化を狙った設計が特徴です。シンプルながら実用的な構成で、PostgreSQLを利用する開発者やDB管理者に有益なリソースを提供しています。

PostgreSQLデータ管理スクリプトメンテナンス
記事を読む
Google株の10年間のパフォーマンス分析ダッシュボード(2015–2024)

Google株の10年間のパフォーマンス分析ダッシュボード(2015–2024)

2025/7/26

本リポジトリは、Alphabet Inc.(Google)の2015年から2024年までの株価パフォーマンスを詳細に解析したプロジェクトです。価格動向、日次リターン、取引量、ボラティリティといった主要な金融指標を対象に、Tableauで構築したインタラクティブなダッシュボードを通じて、10年間にわたる株式の動きを可視化し、投資判断や市場理解に役立つ洞察を提供します。

株価分析データ可視化Tableau
記事を読む
航空会社顧客満足度分析

航空会社顧客満足度分析

2025/8/24

本リポジトリ「Airline_Customer_Satisfaction_Analytics」は、航空会社の顧客満足度に関するデータ分析プロジェクトです。顧客のアンケートデータを用いて、満足度に影響を与える要因を探索的データ分析(EDA)や可視化により明らかにし、航空サービス改善のための示唆を提供します。Jupyter Notebookを中心に構成され、実務的な分析手法と結果解釈が体系的にまとめられています。

データ分析顧客満足度航空業界
記事を読む
銀行マーケティングキャンペーン分析

銀行マーケティングキャンペーン分析

2025/7/25

本リポジトリは、銀行の定期預金キャンペーンに関する顧客データをSQLで分析し、Power BIを用いて視覚的にセグメンテーションや傾向を把握するプロジェクトです。顧客の行動や属性に基づき、有効なマーケティング施策を導き出すためのデータ処理とレポート作成が行われています。銀行業界におけるデータドリブンな顧客獲得戦略の構築に役立つ内容です。

マーケティング分析SQLPower BI
記事を読む
arbitrage - イラン暗号通貨取引所向けリアルタイム裁定取引データ収集・分析ツールキット

arbitrage - イラン暗号通貨取引所向けリアルタイム裁定取引データ収集・分析ツールキット

2025/8/1

本リポジトリ「arbitrage」は、イランの複数の暗号通貨取引所からリアルタイムのオーダーブックデータを収集・分析し、裁定取引(アービトラージ)機会を検出するための総合的なツールキットです。JavaScriptで実装されており、データ収集から解析、可視化までの一連の処理をサポート。特にイラン市場に特化した設計で、独自の取引環境に対応した実用的なソリューションを提供します。

暗号通貨裁定取引データ収集JavaScript
記事を読む
Awesome Parquet:Parquetフォーマットに関する有用リソース集

Awesome Parquet:Parquetフォーマットに関する有用リソース集

2025/7/25

Apache Parquetフォーマットの活用に役立つライブラリやツール、ドキュメント、ブログ記事などを体系的にまとめたリポジトリです。JavaScript、Python、Rといった複数の言語に対応した実装例や関連リソースを一覧化し、Parquetの理解と活用を促進します。データエンジニアや分析者にとって必携の情報源として機能します。

Parquetデータフォーマットライブラリツール
記事を読む
buou_grid:高周波ASグリッド生成ツール

buou_grid:高周波ASグリッド生成ツール

2025/6/27

buou_gridは、高周波帯域に対応したAS(自律システム)グリッドを生成するPythonベースのツールです。ネットワーク解析や通信研究に特化し、高頻度データ処理に適したグリッド構造を効率的に構築できます。シンプルながら柔軟な設計で、ASネットワークの解析やシミュレーションに役立つ機能を備えています。

Pythonネットワーク解析ASグリッド高周波
記事を読む
CarbonFiberShockLoading:複合材料ロケットタンクのパラシュート開放ショック負荷解析

CarbonFiberShockLoading:複合材料ロケットタンクのパラシュート開放ショック負荷解析

2025/8/28

本リポジトリ「CarbonFiberShockLoading」は、複合材料製ロケットタンクにおけるパラシュート開放時の衝撃負荷を解析するMATLABプロジェクトです。飛行データから減速度を抽出し、パラシュート展開の挙動をインパルス曲線から導出、開放ショック係数の検証を行います。得られたショック負荷と内部圧力を積層応力モデルに組み込み、バルクヘッドや材料の破損リスク評価を行うエンドツーエンドの解析ワークフローを提供します。

ロケット工学複合材料衝撃負荷解析
記事を読む
CDCデータ処理自動化ツール(cdc-kaggle)

CDCデータ処理自動化ツール(cdc-kaggle)

2025/7/3

cdc-kaggleは、Kaggleからのデータセットを自動で取得し、異なるバージョン間の差分を抽出するChange Data Capture(CDC)ファイルを生成するPythonベースのツールです。最新の2つのデータセットを比較して変更点を検出し、CSV形式で保存します。データのバージョン管理や差分分析を手軽に実現でき、データサイエンスやETL処理の効率化に役立ちます。

Change Data CaptureKagglePython
記事を読む
CMAQ EQUATESデータの行列座標を緯度経度に変換するツール

CMAQ EQUATESデータの行列座標を緯度経度に変換するツール

2025/7/28

本リポジトリは、大気環境モデルCMAQのEQUATESデータセットにおける行・列座標をWGS84の緯度経度座標に変換するための実用的なツール群を提供します。PythonとRのスクリプトを用いて、データのダウンロード、特定層・時刻の抽出、地理空間データへの変換、そしてggplot2による可視化までをカバー。大気汚染物質NO2の空間分布解析など、環境データ解析に有用なリポジトリです。

大気環境モデルデータ変換可視化
記事を読む
CNPJデータパイプライン:ブラジル法人番号データの効率的処理基盤

CNPJデータパイプライン:ブラジル法人番号データの効率的処理基盤

2025/6/15

cnpj-data-pipelineは、ブラジルの法人番号(CNPJ)に関する大規模データを効率的に収集、処理、管理するためのPythonベースのデータパイプラインプロジェクトです。法人情報の分析や活用を目的としたデータエンジニアリング基盤として設計されており、データ整形や更新処理を自動化することで、信頼性の高い最新情報の維持を実現します。

データパイプラインPythonデータエンジニアリング
記事を読む
コンクリート強度・橋梁状態評価・構造安定性モデリング

コンクリート強度・橋梁状態評価・構造安定性モデリング

2025/7/18

本リポジトリは、土木工学の教育課題として作成されたデータサイエンスと構造工学の統合的な解析プロジェクトです。Pythonを用いてコンクリートの強度評価、橋梁の状態評価、構造の安定性モデリングを実施し、現実世界の土木問題に対する理解と技術習得を目的としています。データ処理から可視化、オブジェクト指向プログラミングまで幅広くカバーし、実践的なエンジニアリング情報処理のスキルを養成します。

土木工学データサイエンスPython構造解析
記事を読む
Binance暗号資産市場データ集

Binance暗号資産市場データ集

2025/9/3

Binance取引所から収集された主要暗号資産ペア(USDT建て)の過去OHLCVデータを網羅したリポジトリです。2021年1月から2025年8月までのデータが複数の時間足(1分足、3分足、5分足、15分足など)で整理されており、量的分析やトレーディング戦略開発に最適です。データは使いやすいCSV形式で提供され、多様な分析ニーズに対応します。

暗号資産Binance市場データOHLCV時系列分析
記事を読む
Pythonで作るインタラクティブなダッシュボード

Pythonで作るインタラクティブなダッシュボード

2025/8/20

本リポジトリ「dashboard-python」は、Pandas、Streamlit、Plotly Expressを用いて作成された学習目的のインタラクティブダッシュボードです。売上データを可視化し、データ分析の基礎からダッシュボード構築までを実践的に学べる構成となっています。Pythonのデータ可視化とWebアプリケーション開発に興味がある方に最適な教材です。

Pythonダッシュボードデータ可視化
記事を読む
マンチェスター・ユナイテッドにおけるルーベン・アモリムのデータ分析(2025-26シーズン)

マンチェスター・ユナイテッドにおけるルーベン・アモリムのデータ分析(2025-26シーズン)

2025/9/4

本リポジトリは、2025-26シーズンにマンチェスター・ユナイテッドの監督を務めるルーベン・アモリムの戦術的特徴や課題をデータ分析により明らかにしたものです。特にゴール前の決定力不足、プレッシングの弱点、戦術の再構築といったテーマに焦点を当て、Jupyter Notebookを用いて詳細な解析を行っています。サッカー戦術の理解やチーム改善のヒントを得たい方に有用な資料です。

サッカー分析データサイエンス戦術解析
記事を読む
PostgreSQLとInterBaseの配列型フィールドを扱うサンプルプロジェクト

PostgreSQLとInterBaseの配列型フィールドを扱うサンプルプロジェクト

2025/7/25

本リポジトリは、PostgreSQLおよびInterBaseにおける配列型フィールドの使用例を示すサンプルコードを提供しています。Pascal言語を用い、データベースの配列データ処理の実装方法を解説。AI生成のフェイク指紋データを用いたデモも含まれ、配列型を用いた高度なデータ管理の理解を深めることが可能です。

PostgreSQLInterBasePascal配列型データベース
記事を読む
db_arrray_test:PostgreSQLとInterBaseの配列フィールド操作サンプル

db_arrray_test:PostgreSQLとInterBaseの配列フィールド操作サンプル

2025/7/25

本リポジトリ「db_arrray_test」は、PostgreSQLおよびInterBaseにおける配列型フィールドの読み書きを解説するブログ記事に付随するサンプルコードを提供しています。Pascal言語で実装されており、データベースの配列型データを効率的に扱う方法を学べる実践的なリソースです。PostgreSQLやInterBaseの配列型の取り扱いに興味がある開発者に最適な内容となっています。

PostgreSQLInterBasePascal配列型データベース
記事を読む
部門別給与分析ダッシュボード

部門別給与分析ダッシュボード

2025/7/17

本リポジトリは、Celebal TechnologiesのSQLインターンシップ最終課題として作成された、StreamlitとPower BIを用いた部門別給与分析のダッシュボードです。従業員と部門の給与データを可視化し、平均給与が全体平均を上回る部門を強調表示することで、給与分布の傾向や課題を簡単に把握できます。Pythonベースで開発されており、データの生表示からグラフ化まで幅広く対応しています。

給与分析データ可視化StreamlitPower BI
記事を読む
ウェブ上の表データ読み取りチャレンジ

ウェブ上の表データ読み取りチャレンジ

2025/7/15

本リポジトリは、ウェブページ上に存在する表形式のデータをPythonのJupyter Notebook環境で効率的に取得・解析する手法に挑戦したものです。主にPandasライブラリを活用し、HTMLテーブルの読み込みからデータの整形までを実演。データサイエンスやスクレイピング入門者に向け、実践的なコード例を通じてウェブデータの活用方法を分かりやすく示しています。

PythonPandasWeb Scraping
記事を読む
ダイヤモンド価格分析プロジェクト

ダイヤモンド価格分析プロジェクト

2025/8/1

本リポジトリは、50,000点以上のダイヤモンドの価格および物理的特徴を含む「Diamonds」データセットを対象にした探索的データ分析(EDA)プロジェクトです。データの前処理から可視化、相関分析までを通じて、ダイヤモンドの価格に影響を与える主要な要因を明らかにします。カラット数、カット、色、透明度などの特徴と価格との関係を多角的に検証し、価格決定要素の理解を深めることを目的としています。

EDAダイヤモンド価格データ分析
記事を読む
DreamV:低コードデータ可視化プラットフォーム

DreamV:低コードデータ可視化プラットフォーム

2025/8/11

DreamVは、専門知識の異なるユーザーでも簡単にプロフェッショナルレベルのデータ可視化ダッシュボードを構築できる低コードのデータ可視化プラットフォームです。ドラッグ&ドロップによる直感的なUI設計、多様なレイアウト機能、豊富なコンポーネント群を備え、政府や企業のニーズに応え、開発工数の削減と迅速なアプリケーション提供を実現します。

データ可視化低コードJavaScript
記事を読む
DuckLake RubyによるSQLデータベースとオブジェクトストレージを活用したデータレイク構築

DuckLake RubyによるSQLデータベースとオブジェクトストレージを活用したデータレイク構築

2025/8/18

DuckLake Rubyは、SQLデータベースとファイル/オブジェクトストレージを組み合わせて、自身のデータレイクを構築・運用できるRubyクライアントライブラリです。PostgreSQLやS3互換ストレージを利用し、柔軟に分散データを管理・分析する基盤を提供します。まだ本番環境向けではありませんが、DuckDBと連携した次世代のデータレイクソリューションとして注目を集めています。

データレイクRubySQLオブジェクトストレージ
記事を読む
Edgeworth_0DTE:0DTEオプションのエッジワース展開による価格付け

Edgeworth_0DTE:0DTEオプションのエッジワース展開による価格付け

2025/8/23

本リポジトリ「Edgeworth_0DTE」は、Bandiらによる0DTE(当日満期)オプションの価格付け手法を実装しています。基礎となる金融資産の特性関数を小時間のエッジワース級数展開で表現し、ほぼガウス分布を前提にしつつ、非対称性や極端な裾野(ファットテール)を修正項として加えることで、短期オプションの価格を精緻に計算可能です。Jupyter Notebook形式で、理論的背景から計算例までを示し、短期オプション価格のモデリングに興味がある研究者や実務家に有用な実装となっています。

金融工学オプション価格付けエッジワース展開
記事を読む
エッジ確率グラフモデル:エッジ独立性を超えて

エッジ確率グラフモデル:エッジ独立性を超えて

2025/9/5

「Edge Probability Graph Models Beyond Edge Independency」は、従来のエッジ独立性仮定を超えた新しいエッジ確率グラフモデルに関する研究の実装リポジトリです。本リポジトリでは、論文の補遺、コード、およびデータが提供されており、複雑な依存関係をもつグラフ構造のモデリングと解析を可能にします。Pythonで実装されており、グラフ生成や解析アルゴリズムの基盤が整備されているため、研究者やエンジニアが応用・拡張しやすい内容となっています。

グラフ理論確率モデルデータマイニング
記事を読む
病院待ち時間分析ダッシュボード – Excelプロジェクト

病院待ち時間分析ダッシュボード – Excelプロジェクト

2025/8/2

本リポジトリは、病院における患者の待ち時間を詳細に分析し、Excelで可視化したダッシュボードを提供します。財務クラスや医師タイプなどのカテゴリー別に待ち時間を分布分析し、どのセグメントで遅延が多いかを明確に示すことを目的としています。シンプルながらも効果的なフィルター機能や視覚的なグラフを用い、医療現場の課題把握と改善に役立つツールとして活用可能です。

Excelデータ分析病院可視化
記事を読む
AI・テックスタートアップ求人データセット

AI・テックスタートアップ求人データセット

2025/8/6

本リポジトリは、114社以上のトップAI・テック企業における932件以上のエンジニアリング職の求人情報を日々自動更新で収集・提供するオープンデータセットです。AI分野のスタートアップやテック企業での最新求人動向を把握でき、データ分析やキャリア研究に活用可能です。

AIスタートアップ求人データ
記事を読む
飲料水アクセスデータ分析プロジェクト:データ理解と統合

飲料水アクセスデータ分析プロジェクト:データ理解と統合

2025/8/5

本リポジトリは、WHO/UNICEF合同モニタリングプログラム(JMP)が2020年に公開した飲料水アクセスデータを用い、Googleスプレッドシートでのデータクレンジングや構造化、分析を行うプロジェクトです。生データのインポート問題の解決や計算フィールドの追加を経て、都市・農村別の飲料水利用状況を把握し、基礎的飲料水サービスの現状を総合的に理解することを目的としています。

飲料水データ分析Googleスプレッドシート
記事を読む
geometry - 幾何学的関係データベース

geometry - 幾何学的関係データベース

2025/6/25

「geometry」はPythonで開発された幾何学的関係データベースで、幾何学的オブジェクト間の関係性を体系的に管理・利用できるツールです。研究や教育、応用数学の分野での利用を想定しており、幾何学的概念をコードベースで扱う際の利便性を高めることを目的としています。リポジトリはシンプルながらも拡張性を持ち、幾何学に関するデータ処理や分析をサポートします。

幾何学データベースPython
記事を読む
GM-CDRP:腸内細菌群と慢性疾患研究プログラム

GM-CDRP:腸内細菌群と慢性疾患研究プログラム

2025/6/17

GM-CDRP(Gut Microbiota Chronic Disease Research Program)は、2010年以降に蓄積された腸内細菌群と関連する慢性疾患のコホートデータを収集・解析する研究プロジェクトです。糖尿病、非アルコール性脂肪肝炎、慢性炎症性腸疾患、関節リウマチ、冠動脈疾患、高血圧、心房細動、脳卒中など多岐にわたる疾患と腸内微生物の関連性を明らかにすることを目的としています。データベースの構築を通じて、疾患の予防や治療に資する知見の創出を目指しています。

腸内細菌群慢性疾患コホート研究
記事を読む
GoPie - 自然言語でデータ探索を可能にするAI対応データベースプラットフォーム

GoPie - 自然言語でデータ探索を可能にするAI対応データベースプラットフォーム

2025/8/22

GoPieは、技術的な専門知識がなくても利用できるオープンソースの自然言語データ探索プラットフォームです。ユーザーがデータセットを高速かつAI対応のデータベースに変換し、自動生成されたAPIを通じてデータ操作を可能にします。Docker Composeを利用したセットアップが可能で、PostgresやRedisなどのサービスと連携し効率的なデータ管理を実現します。

自然言語処理データベースAITypeScript
記事を読む
GoStore - Go言語で実装したシンプルなRedis互換キーバリューストア

GoStore - Go言語で実装したシンプルなRedis互換キーバリューストア

2025/8/28

GoStoreはGo言語でゼロから実装されたRedisライクなシンプルなインメモリキーバリューストアです。基本的なSETやGETなどのコマンドをTCP上で扱え、RESPプロトコルに対応。さらにAOF(Append Only File)による永続化も備えています。軽量かつスレッドセーフで、Redisの基本動作を学習・検証したい開発者に最適なリポジトリです。

GoキーバリューストアRedis互換
記事を読む
hentaivid:文化的コンプライアンスを重視した映像ストレージシステム

hentaivid:文化的コンプライアンスを重視した映像ストレージシステム

2025/6/8

hentaividは、文化的規制に準拠したビデオストレージシステムであり、映像データにテキストチャンクを埋め込むことで高速な意味検索を実現します。データベースを用いずに、メディアファイル自体に情報を内包させることで、プライバシー保護とコンプライアンスを最大化した設計が特徴です。Pythonで実装され、軽量かつ効率的な検索基盤を提供します。

ビデオ検索文化的コンプライアンスセマンティック検索
記事を読む
データベースインデックス最適化ガイド:インデックスを無効化する表現の回避法

データベースインデックス最適化ガイド:インデックスを無効化する表現の回避法

2025/8/24

本リポジトリは、SQLクエリのパフォーマンスを著しく低下させる「インデックスを無効化する表現(index defeating expressions)」に焦点を当てた包括的な最適化ガイドです。PostgreSQL、MySQL、SQL Serverなど主要データベースで発生しやすい20の代表的なアンチパターンを解説し、効率的なクエリ作成や機能的インデックスの活用法を実例付きで紹介します。これにより、開発者は実践的な知見を得て、データベースの高速化を図れます。

SQL最適化データベースインデックスパフォーマンスチューニング
記事を読む
世代間知恵運動の実装ロードマップ

世代間知恵運動の実装ロードマップ

2025/8/3

「Intergenerational Wisdom Movement」は、世代を超えた知恵を記録・共有し、未来の崩壊を防ぐためのデータ駆動型リポジトリ構築プロジェクトです。高齢者との対話を通じて得られた生きた知見を抽出し、分散型のレジリエンスを育むことを目指しています。Planetary Restoration Archiveの一部として、環境・社会の持続可能性に貢献する取り組みです。

世代間知恵持続可能性データ駆動レジリエンス
記事を読む
IRMV-Medical-Dataset:内視鏡手術向け三次元視覚データセット

IRMV-Medical-Dataset:内視鏡手術向け三次元視覚データセット

2025/7/3

IRMV-Medical-Datasetは、内視鏡手術シーンに特化した高品質な三次元視覚データセットです。点群、深度画像、カメラ姿勢、キャリブレーションパラメータなどの幾何情報を豊富に含み、視覚SLAM、構造光3D再構築、カメラキャリブレーション検証、幾何学学習、手術ナビゲーションアルゴリズムの評価など、多様な医療ロボット分野の研究開発を支援します。これにより、複雑な手術環境下でのロボットの自主感知・定位能力向上に貢献することを目的としています。

医療データセット内視鏡画像3Dビジョン
記事を読む
港株オプション大口取引監視システム

港株オプション大口取引監視システム

2025/9/5

本リポジトリはFutu OpenD APIを活用し、香港株のオプション大口取引をリアルタイムで監視・分析するシステムを提供します。大口取引の売買方向やオプション種類を自動判別し、取引量の変化を検知して通知。企業向けWeChatロボットやMac通知、Webインターフェースといった多様なチャネルで情報を配信し、効率的な投資判断を支援します。定期的なデータ更新や株価キャッシュ機能により、パフォーマンスも最適化されています。

株式市場オプション取引リアルタイム監視
記事を読む
LatticeDB-NextGen-DBMS:次世代の時間軸対応リレーショナルデータベース

LatticeDB-NextGen-DBMS:次世代の時間軸対応リレーショナルデータベース

2025/9/6

LatticeDB-NextGen-DBMSは、マージ可能なCRDTテーブル、タイムトラベルクエリ、ベクトル検索、差分プライバシーを標準搭載した次世代のリレーショナルデータベース管理システムです。C++17で書かれており、SQLエンジン、Write-Ahead Logging(WAL)ストレージ、そしてモダンなWebベースGUIを備え、マルチマスター環境での競合なしデータ管理やプライバシー保護分析を実現します。

リレーショナルデータベースCRDTタイムトラベルクエリ差分プライバシー
記事を読む
Medhansh_Medishettyのデータ分析ポートフォリオ

Medhansh_Medishettyのデータ分析ポートフォリオ

2025/7/28

本リポジトリは、NIT Warangalの最終学年生であるMedhansh Medishetty氏が、SQLやPower BI、Pythonなどを用いて実際のデータから洞察を得る能力を示したデータ分析およびダッシュボード作成のプロジェクト集です。販売分析や配達インサイトなど、多様な実務的課題に取り組んだ成果がまとめられており、データ分析の学習者や実務者にとって貴重な参考資料となっています。

データ分析Power BIPython
記事を読む
メディアデータベース - CS50 SQL最終プロジェクト

メディアデータベース - CS50 SQL最終プロジェクト

2025/9/3

本リポジトリは、CS50のSQL最終プロジェクトとして作成された正規化されたメディアデータベースです。映画、シリーズ、アニメ、ドキュメンタリーなどの多様なメディアコンテンツを管理し、ユーザーのコメントや視聴履歴、サブスクリプションタイプといったインタラクション情報も追跡します。メディアストリーミングプラットフォームやコンテンツ分析、レコメンデーションエンジンのバックエンド構築に適したスケーラブルな設計が特徴です。

SQLデータベース設計メディア管理
記事を読む
MeuSQL - SQL学習リポジトリ

MeuSQL - SQL学習リポジトリ

2025/8/22

「MeuSQL」は、SQLの学習を目的としたシンプルなリポジトリです。SQLの基本的なコマンドやクエリの使い方をファイルにまとめており、初心者がSQLの基礎を理解しやすい構成となっています。実践的なSQL文の例や解説を通じて、データベース操作の基本を身につけることができます。

SQL学習データベース
記事を読む
multigres - Postgres向けのVitess実装

multigres - Postgres向けのVitess実装

2025/6/10

multigresは、Googleが開発した大規模MySQLクラスタ管理システムであるVitessのPostgreSQL対応版を目指すオープンソースプロジェクトです。Postgresのスケーラビリティや高可用性を実現しつつ、Vitessの優れた分散データベース管理機能を活用できることを目的としています。現状はまだ発展途上ながら、Postgresの水平分割やクラスタリング構成に関心のある開発者に注目されています。

PostgreSQLVitess分散データベース
記事を読む
한입 기사 데이터 엔지니어링パイプライン

한입 기사 데이터 엔지니어링パイプライン

2025/8/12

한입 기사(OBA: One Bite Article) 데이터 엔지니어링 레포지토리는 사용자 뉴스 소비 및 퀴즈 풀이 데이터를 기반으로 Kafka, Spark, Airflow 등 최신 빅데이터 기술을 활용해 자동 수집, 정제, 저장, 분석이 가능한 실시간 데이터 파이프라인을 구축하는 프로젝트입니다。실시간 로그 수집부터 데이터 전처리, 저장, 시각화까지 전 과정을 자동화하여 효율적인 데이터 관리와 분석을 지원합니다。

[データパイプラインKafkaSparkAirflow]
記事を読む
Opensearch解析ケースの自動化ツール

Opensearch解析ケースの自動化ツール

2025/8/1

本リポジトリは、Opensearchを活用した解析ケースの自動化を目的としたPython製ツールです。スーパーでの食品選択をユーザーの食事制限と予算に応じて自動で最適化する機能を備えています。Docker環境でのセットアップが可能で、実際のデータパースから解析までの一連の流れを効率的に処理します。データ解析や検索エンジン技術を活用したプロジェクトに最適です。

Opensearchデータ解析Python自動化
記事を読む
Power BI プロジェクト集(DATA 320)

Power BI プロジェクト集(DATA 320)

2025/7/19

本リポジトリは、Power BIを用いて作成されたデータ分析プロジェクトのコレクションです。主にデータの品質レポート作成に焦点を当てており、学術的な課題や実務的な分析に役立つ資料が含まれています。初心者から中級者までPower BIの活用方法を学べる構成となっており、データ可視化やレポート作成の実践例が豊富です。

Power BIデータ分析データ品質
記事を読む
Practice-Pandas:Pandas練習コード集

Practice-Pandas:Pandas練習コード集

2025/6/25

「Practice-Pandas」は、Pythonのデータ分析ライブラリであるPandasの練習用コードを網羅的にまとめたリポジトリです。初心者から中級者まで、Pandasの基本操作から応用的なデータ処理まで幅広く学べるように設計されており、実践的なサンプルコードで理解を深められます。データ分析のスキルアップを目指す方に最適なリソースです。

PythonPandasデータ分析
記事を読む
前立腺がん解析ダッシュボード

前立腺がん解析ダッシュボード

2025/7/31

本リポジトリ「Prostate-Cancer-Analysis」は、前立腺がんのリスク評価と分析に特化したデータ駆動型プロジェクトです。Pythonのデータサイエンスツールを用いて、患者データの可視化や統計解析を行い、医療現場に役立つインサイトを提供します。Streamlitによるインタラクティブなダッシュボードを備え、専門知識がなくてもデータを直感的に理解可能です。教育や研究、臨床支援に適したツールとして活用できます。

前立腺がんデータ分析PythonStreamlit
記事を読む
PROYECTO-YT-TRENDS:メキシコYouTubeトレンド動画の探索的分析プロジェクト

PROYECTO-YT-TRENDS:メキシコYouTubeトレンド動画の探索的分析プロジェクト

2025/7/25

PROYECTO-YT-TRENDSは、PythonとYouTube Data API v3を活用し、メキシコのYouTubeトレンド動画を対象にした探索的データ分析プロジェクトです。動画の視聴傾向や人気カテゴリ、ユーザーエンゲージメントの指標を可視化し、トレンド動画の特徴や視聴者の行動パターンを明らかにします。統計的手法による分析とAPIを用いたデータ収集により、YouTubeの動向理解を深める実践的な内容となっています。

YouTubeデータ分析Python
記事を読む
Queryflare:安全でスケーラブルな従量課金型データベース

Queryflare:安全でスケーラブルな従量課金型データベース

2025/6/12

Queryflareは、TypeScriptで実装された安全かつスケーラブルな従量課金型データベースシステムです。ユーザーはクエリごとに課金される仕組みで、効率的なリソース管理とコスト最適化を実現。セキュリティと拡張性を重視し、クラウド環境に適した設計となっています。開発者が柔軟に利用できるよう設計されており、特に大規模データ処理やAPI経由のデータアクセスで威力を発揮します。

データベーススケーラビリティセキュリティ
記事を読む
RedisCache:高性能データ処理のための適応型キャッシュプラットフォーム

RedisCache:高性能データ処理のための適応型キャッシュプラットフォーム

2025/9/6

RedisCacheは、動的なRedisキャッシュノードを活用し、高性能かつ耐障害性のあるデータ処理を実現する適応型キャッシュプラットフォームです。リアルタイムのデータ生成と消費のギャップを効率的に埋め、低遅延でのデータアクセスを可能にします。Pythonで実装され、シンプルながら柔軟な設計により、幅広いアプリケーションでの高速キャッシュ戦略を支援します。

RedisキャッシュPython
記事を読む
SAR-SoMoist:SARと受動マイクロ波を用いた高解像度土壌水分推定ソフトウェア

SAR-SoMoist:SARと受動マイクロ波を用いた高解像度土壌水分推定ソフトウェア

2025/7/13

SAR-SoMoistは、合成開口レーダー(SAR)と受動マイクロ波リモートセンシングデータを活用した高解像度の土壌水分推定およびマッピングを目的とした統合ソフトウェアです。ユーザーフレンドリーなGUIを備え、データのインポート、疑似カラー表示、土壌水分の反演、時間変化解析などを簡便に実行可能。農業や水資源管理、環境モニタリングに貢献する先進的なツールとして注目されています。

土壌水分SARリモートセンシング
記事を読む
seq-db:高性能ログ管理データベース

seq-db:高性能ログ管理データベース

2025/7/18

seq-dbは、ログの保存と高速クエリに特化したスケーラブルで高性能なデータベースです。単一インスタンスからクラスタ構成まで柔軟に対応し、大量のログデータを効率的に扱えます。Go言語で実装されており、拡張性と可用性を重視した設計が特徴です。開発者向けにシンプルなクイックスタートガイドや詳細なアーキテクチャドキュメントも提供されています。

ログ管理データベースGo
記事を読む
SIVEA_scripts:気象データ自動処理スクリプト集

SIVEA_scripts:気象データ自動処理スクリプト集

2025/7/31

SIVEA_scriptsは、自動気象観測所から取得される生データのダウンロード、処理、保存を自動化するPythonスクリプト群です。本リポジトリは、気象データの可視化システムSIVEAへの統合を容易にすることを目的としており、データの取得からクリーニング、検証まで一連の作業を効率化します。データ処理の自動化により、気象研究や環境モニタリングの効率向上に寄与します。

気象データ自動化Python
記事を読む
スマートマーケットインサイト(Smart Market Insights)

スマートマーケットインサイト(Smart Market Insights)

2025/7/24

Smart Market Insights(SMI)は、モバイルデバイスを活用して地元のトレーダーが在庫管理や価格設定を賢く行えるよう支援するデータプロジェクトです。基本的なデータ分析やAIツールを用いて、販売動向の把握や効率的な意思決定を実現。Google SheetsやDatawrapper、ChatGPTなどのツールを組み合わせ、実用的かつアクセスしやすい形で市場インサイトを提供します。

データ分析AIマーケットインサイト
記事を読む
SolanaのTPS計測ツール

SolanaのTPS計測ツール

2025/7/18

本リポジトリはSolanaブロックチェーン上のトランザクション処理速度(TPS: Transactions Per Second)を計測するRust製のツールです。指定した過去の時間範囲内におけるブロックを取得し、平均TPSを算出します。Voteトランザクションは除外されるため、実際の取引処理能力を正確に把握できます。Solanaのパフォーマンス解析やブロックチェーン研究に有用なリソースです。

[SolanaTPS計測Rustブロックチェーン]
記事を読む
Solana開発者データ収集ツールの紹介

Solana開発者データ収集ツールの紹介

2025/7/10

本リポジトリは、Solanaエコシステムにおける開発者数を把握するためのGitHubクローラーのサンプル実装です。Solana関連のリポジトリや活動をGitHub上から収集し、PostgreSQLデータベースに保存。Solana開発者コミュニティの規模や動向を分析する基盤を提供します。JavaScriptで記述されており、実践的なデータ収集の例として活用可能です。

SolanaGitHubクローラー開発者データ
記事を読む
Sonar-rs:Solanaブロックチェーン向け高性能インデックス&解析プラットフォーム

Sonar-rs:Solanaブロックチェーン向け高性能インデックス&解析プラットフォーム

2025/8/7

Sonar-rsは、Solanaブロックチェーンのオンチェーン活動、特にトークンスワップや流動性プールに焦点を当てた高性能でモジュール化されたインデックス&解析プラットフォームです。SolanaのGeyserプラグインと直接連携し、低遅延でリアルタイムのデータ収集を実現。機能別に独立したクレート構成でスケーラブルな設計を採用し、APIやスケジューリングなど各サービスを柔軟に運用可能。Rustで実装され、安全かつ高速な処理を実現しています。

SolanaブロックチェーンRustインデックスデータ解析
記事を読む
S&P 500 ローリングリターンと収束分析ツール

S&P 500 ローリングリターンと収束分析ツール

2025/8/12

「sp500-convergence」は、Pythonで実装されたS&P 500の長期ローリングリターンと収束指標を分析するためのCLIツールです。自動でSlickChartsから年間トータルリターンデータを取得し、CSVファイルの柔軟な取り込みや多様な基準値設定が可能。投資分析や市場収束の理解に役立つ機能を備えています。

Python投資分析データ解析
記事を読む
spell-assetsのInkwell Spellsデータセット

spell-assetsのInkwell Spellsデータセット

2025/7/27

「spell-assets」は、1,179種類の魔法エフェクトを収録したInkwell Spellsデータセットです。Retro DiffusionというAI生成技術で作成されたスプライトシートやGIFアニメーション、プロンプト、テキスト埋め込み情報など、多様な素材を一括で提供。ゲーム開発やクリエイティブ制作に活用しやすい形で整理されており、オープンソースとして自由に利用可能です。

ゲーム開発AI生成画像素材
記事を読む
Google AnalyticsデータをBigQueryのSQLで解析するEコマース分析プロジェクト

Google AnalyticsデータをBigQueryのSQLで解析するEコマース分析プロジェクト

2025/8/17

本リポジトリは、Googleの公開しているGoogle Analytics 360のサンプルデータセットをBigQuery上でSQLにより解析し、マーケティングやプロダクト、成長チーム向けに実用的なインサイトを抽出する方法を示しています。技術的・非技術的ユーザー双方に理解しやすい解説を目指し、Eコマースデータのユーザーセッションやトランザクション解析を通じて、データドリブンな意思決定を支援します。

BigQuerySQLGoogle AnalyticsEコマースデータ分析
記事を読む
SQL Server MCPスクリプトの活用例

SQL Server MCPスクリプトの活用例

2025/7/29

本リポジトリは、コンテナ化されたSQL Serverデータベースサーバー上でMCP(Model-Driven Code Processor)を利用し、ブラジルの地域データをクエリする具体例を示しています。Visual Studio Codeの設定ファイルmcp.jsonを活用し、T-SQLを用いて効率的にデータ処理を行うスクリプト群を提供。SQL Serverの最新技術を活用した開発や運用の実践的な参考となります。

SQL ServerMCPコンテナ化T-SQL
記事を読む
SSIS・Power BI・Microsoft BIを活用したデータパイプラインデモ

SSIS・Power BI・Microsoft BIを活用したデータパイプラインデモ

2025/7/12

本リポジトリは、Microsoft BIスタックを活用したリテール向けBIソリューションのデモを提供します。Power BIのデータモデリング、SSIS・SSRSによるETL・レポーティング、T-SQLの最適化、CI/CDパイプラインの実装、データ品質チェックのフレームワークなど、エンドツーエンドのデータパイプライン構築に必要な技術要素を体系的に学べる内容となっています。Azure DevOpsを用いた自動デプロイ環境も含まれており、実践的なMicrosoft BIの活用例として有用です。

Power BISSISMicrosoft BIデータパイプラインCI/CD
記事を読む
Streamlitによる大規模アプリケーションインスタンス監視ダッシュボード

Streamlitによる大規模アプリケーションインスタンス監視ダッシュボード

2025/8/28

本リポジトリは、PythonとStreamlitを用いて構築された大規模アプリケーションインスタンスの監視・分析ダッシュボードです。SQLiteによるデータ管理とPandasによるデータ処理を組み合わせ、数千にも及ぶインスタンスの自動データ収集と高速な可視化を実現。シンプルなUIでリアルタイムの状況把握やトラブルシューティングを容易にします。

StreamlitPythonアプリケーション監視データ可視化
記事を読む
DuocUC 2025 データベース演習リポジトリ

DuocUC 2025 データベース演習リポジトリ

2025/8/20

本リポジトリは、チリのDuocUC Puerto Monttキャンパスの「Taller de Bases de Datos(データベース演習)」コース、2025年セクション1Vの学生による共同作業の成果物をまとめたものです。基本的なデータベース設計や管理を学びながら、チームでの実践的な取り組みを行うことを目的としています。READMEには学生たちの簡単な自己紹介も含まれており、今後の開発や学習の土台として活用されるリポジトリです。

データベース学習リポジトリDuocUC
記事を読む
Telegram-Scraper:Telegramチャンネルからのメッセージ&メディア収集ツール

Telegram-Scraper:Telegramチャンネルからのメッセージ&メディア収集ツール

2025/6/17

Telegram-Scraperは、Python製の強力なスクリプトで、Telethonライブラリを利用してTelegramチャンネルからメッセージやメディアをスクレイピングできます。リアルタイムでの連続収集、メディアの自動ダウンロード、そして収集データの多様な形式でのエクスポートを特徴とし、効率的かつ柔軟なデータ取得を実現します。

TelegramスクレイピングPython
記事を読む
TheLab-workspace:汎用アイデア創出とプロジェクト初期化のランチパッド

TheLab-workspace:汎用アイデア創出とプロジェクト初期化のランチパッド

2025/7/16

「TheLab-workspace」は、PowerShellをベースにした汎用的なアイデア発想およびプロジェクトの初期化支援ツール群を提供するリポジトリです。Azure Cosmos DBを利用したTypeScriptサンプルの統合や、開発環境のコンテナ化設定を含み、効率的な開発開始をサポートします。多彩な設定ファイルやスクリプトで構成されており、開発者のワークスペース構築を加速させることが可能です。

PowerShellAzureプロジェクト初期化
記事を読む
Xómデータ図書館 - 無料で公開されたデータ学習資料集

Xómデータ図書館 - 無料で公開されたデータ学習資料集

2025/7/25

「thu_vien_cua_xom_data」は、データサイエンスやデータ分析を学ぶ人々向けに、基礎から応用まで幅広い書籍や資料を無料で公開しているリポジトリです。学術資料からデータの可視化、問題解決力を養う教材まで多彩なコンテンツが揃っており、データ業界の初心者からプロフェッショナルまで活用できます。ベトナム語中心ながら、公開形式でコミュニティに貢献する貴重なリソースです。

データサイエンスデータ分析無料資料
記事を読む
TradeLens:グローバル貿易パターンと経済開発の可視化ダッシュボード

TradeLens:グローバル貿易パターンと経済開発の可視化ダッシュボード

2025/7/4

TradeLensは、200以上の国における国別の経済発展と購買行動の相関を分析・可視化するインタラクティブなダッシュボードです。DataCo GlobalのサプライチェーンデータセットやWorld GeoData 2023などの複数データを用い、コロプレスマップやパラレル座標プロットなど多彩なビジュアライゼーションでグローバルな貿易動向を直感的に把握できます。TypeScriptで開発され、拡張性とメンテナンス性に優れた設計が特徴です。

グローバル貿易データ可視化TypeScript
記事を読む
交通事故档案管理システム

交通事故档案管理システム

2025/6/15

「TrafficAccidentFileManagementSystem」は、交通事故に関する档案(ファイル)を効率的に管理するためのシステムであり、卒業設計のソースコードとして公開されています。事故データの整理、検索、編集などの基本機能を備え、交通事故関連の情報管理を簡便に行うことが可能です。管理業務の効率化とデータの一元管理を目指した設計となっています。

交通事故管理ファイル管理卒業設計
記事を読む
txwd_record:Tencent Docsオンライン表格解析ツール

txwd_record:Tencent Docsオンライン表格解析ツール

2025/7/17

txwd_recordは、APIを必要とせずにTencent Docs(腾讯文档)のオンライン表格をPythonで解析するツールです。前端のレンダリングデータを解析し、表格の内容をpandasのDataFrame形式に変換することで、データの取得・分析・加工を容易にします。複雑なAPI認証やスクレイピングの煩雑さを排除し、シンプルかつ高精度なデータ抽出を実現しています。

Pythonデータ解析Tencent Docs
記事を読む
NASA Mission Control for Unfolded Circleの日本語解説

NASA Mission Control for Unfolded Circleの日本語解説

2025/8/22

本リポジトリは、Unfolded Circle Remote 2/3デバイス向けにNASAの各種ライブデータフィードを統合するPythonベースのプロジェクトです。天文画像、国際宇宙ステーション(ISS)の位置情報、地球の衛星画像、宇宙天気情報などをリアルタイムで取得し、デバイス上で表示可能にします。NASAのミッションデータを手軽に活用できる点が特徴です。

NASA宇宙データPython
記事を読む
UKリテール合成データ生成デモ

UKリテール合成データ生成デモ

2025/8/11

本リポジトリは、英国の小売取引データセットを用いてリアルでプライバシー保護された合成データを生成するデモプロジェクトです。小売、EC、金融、サプライチェーンなどの業界で、実データの代替としてテストや分析、機械学習に活用できる合成データの作成手法を紹介しています。実世界のタブラー(表形式)データを基に、個人情報を保護しつつも統計的性質を維持したデータ生成を実現しており、データサイエンティストやエンジニアに有用なリソースとなっています。

合成データ小売データデータ生成
記事を読む
車両シルエットの教師なしクラスタリング解析

車両シルエットの教師なしクラスタリング解析

2025/8/28

本リポジトリは、車両の幾何学的シルエットデータに対して、正規化と主成分分析(PCA)を用い、K-MeansやDBSCANなどのクラスタリング手法でセグメンテーション解析を行うパイプラインを提供します。データのクリーニングから検証、クラスタリング、評価までを再現可能な形で実装し、性能評価やデータの妥当性確認に重点を置いています。Pythonの主要ライブラリを利用し、車両の形状分類に役立つ手法の検証を目的とした研究開発を支援します。

クラスタリングPCA車両解析
記事を読む
ベンダーパフォーマンス分析 – 小売在庫と販売の効率化

ベンダーパフォーマンス分析 – 小売在庫と販売の効率化

2025/9/7

本リポジトリは、SQL、Python、Power BIを活用してベンダー(仕入先)のパフォーマンスを分析し、戦略的な購買および在庫管理の意思決定を支援するプロジェクトです。販売データや在庫情報を統合的に解析し、ベンダーごとの効率・収益性を評価。データクレンジングから可視化までの一連の工程を通じて、業務改善に役立つインサイトを提供します。分析結果はPDFレポートやダッシュボードで分かりやすく提示されており、小売業の購買担当者やデータ分析者に有用なリソースです。

データ分析SQLPythonPower BIベンダーマネジメント
記事を読む
VictoriaTraces:高性能な分散トレース収集・分析システム

VictoriaTraces:高性能な分散トレース収集・分析システム

2025/7/7

VictoriaTracesは、高速かつスケーラブルな分散トレースの収集と分析を目的としたオープンソースのソフトウェアです。Go言語で実装されており、軽量で効率的なトレースデータの処理を実現。マイクロサービス環境におけるパフォーマンス監視や障害解析を支援するため、柔軟なデータ取り込みと高度なクエリ機能を備えています。VictoriaMetricsファミリーの一員として、他の監視ツールとの連携も強力です。

分散トレーシングパフォーマンス監視Go言語
記事を読む
Airflowとdbtを活用したデータパイプライン構築ワークショップ

Airflowとdbtを活用したデータパイプライン構築ワークショップ

2025/5/31

本リポジトリは、PythonベースのAirflowとdbt(data build tool)を組み合わせてデータパイプラインを構築するためのワークショップ用教材です。Airflowによるワークフロー管理とdbtによるデータ変換を連携させる実践的なサンプルが含まれており、モダンなデータエンジニアリングの基礎を学べます。小規模ながらも実用的な構成で、データ処理の自動化や品質管理に興味がある開発者に最適です。

Airflowdbtデータパイプライン
記事を読む
25FA_AI1904-ADY201m(AI/データサイエンス授業リポジトリ)

25FA_AI1904-ADY201m(AI/データサイエンス授業リポジトリ)

2025/9/9

学内コース用に作成された教材リポジトリ。ZoomやLMSの接続情報、シラバスや教材リストへのリンク、講義資料として想定される画像ファイルを収めており、授業運営・受講者向けのリソース参照を目的とした軽量なリポジトリです。ソースコードは含まれておらず、構成はREADMEと画像が中心のため、教材共有のトレーラー的役割を果たします(約300字)。

AIData-Science教材
記事を読む