apo_test — 自動プロンプト最適化(APO)プロジェクト

AI/ML

概要

本リポジトリは、AgentLightningライブラリを使って韓国語の分類プロンプトを自動最適化するための実験用プロジェクトです。車関連の発話を5つのカテゴリに分類するタスクを対象に、プロンプト設計の自動探索と評価を行います。データ処理、セットアップスクリプト、エージェント定義のドキュメントが含まれ、OpenAIやGoogle Geminiなどの大規模言語モデルを用いた実験が可能です。

GitHub

リポジトリの統計情報

  • スター数: 2
  • フォーク数: 0
  • ウォッチャー数: 2
  • コミット数: 3
  • ファイル数: 10
  • メインの言語: Python

主な特徴

  • AgentLightningをベースにした自動プロンプト最適化ワークフロー
  • 車両関連発話を5カテゴリに分類するためのタスク定義とサンプルデータ
  • 環境変数でOpenAIやGoogle Geminiに接続する設定と簡易セットアップスクリプト
  • エージェント定義(AGENTS.md)やデータ処理スクリプトを同梱し再現性を重視

技術的なポイント

本プロジェクトは、プロンプト最適化(APO: Automatic Prompt Optimization)を実験的に実装するため、AgentLightningフレームワークを中心に設計されています。データは車関連の発話を分類するラベル付きセットで、dataset.pyで読み込みや前処理を行います。apo_ko_setup.pyは韓国語向けの初期設定やモデル接続のラッパーを提供し、.env経由でOpenAI/GeminiのAPIキーを読み取る構成です。AGENTS.mdには複数のエージェント設計(プロンプトテンプレート、温度や出力フォーマットなど)に関する説明があり、実験ごとに異なるプロンプトを生成・評価できます。評価指標やモデル呼び出しはAgentLightningのエコシステムと組み合わせることで、プロンプト候補の自動生成→評価→選択というループを実現します。依存関係にはagentlightning、openai、python-dotenv、pydantic、pandas等が含まれ、軽量な実験環境で迅速に試行可能です。拡張点としては、より大規模なプロンプト探索アルゴリズム(ベイズ最適化や強化学習ベースの探索)や、詳細な評価(混同行列やF1スコアの自動集計)を組み込むことで実務レベルの最適化が期待できます。

プロジェクトの構成

主要なファイルとディレクトリ:

  • .gitignore: file
  • AGENTS.md: file
  • README.md: file
  • apo_ko_setup.py: file
  • dataset.py: file

…他 5 ファイル

まとめ

韓国語車両発話のプロンプト最適化を試す軽量な実験基盤です。

リポジトリ情報:

READMEの抜粋:

APO Test - 자동 프롬프트 최적화

AgentLightning 라이브러리를 활용한 한국어 분류 프롬프트 자동 최적화 프로젝트입니다.

개요

차량 관련 사용자 발화를 5가지 카테고리로 분류하는 프롬프트를 자동으로 최적화합니다.

카테고리설명예시
주행내비게이션, 경로 안내”집까지 가장 빠른 길 안내해줘”
차량 상태점검, 진단 정보”타이어 압력 괜찮아?”
차량 제어창문, 에어컨 등 조작”에어컨 22도로 맞춰줘”
미디어음악, 라디오 제어”아이유 노래 틀어줘”
개인 비서전화, 문자, 일정”엄마한테 전화 걸어줘”

설치

1. 의존성 설치

# 기본 의존성
pip install agentlightning openai python-dotenv pydantic pandas

# Google Gemini...