한입 기사 데이터 엔지니어링パイプライン
2025/8/12
한입 기사(OBA: One Bite Article) 데이터 엔지니어링 레포지토리는 사용자 뉴스 소비 및 퀴즈 풀이 데이터를 기반으로 Kafka, Spark, Airflow 등 최신 빅데이터 기술을 활용해 자동 수집, 정제, 저장, 분석이 가능한 실시간 데이터 파이프라인을 구축하는 프로젝트입니다。실시간 로그 수집부터 데이터 전처리, 저장, 시각화까지 전 과정을 자동화하여 효율적인 데이터 관리와 분석을 지원합니다。