prompt-review — プロンプトレビュー(生成AI対話履歴分析ツール)

AI/ML

概要

prompt-reviewは、生成AI(特にClaude)との対話ログを中心に、ユーザが使ったプロンプトを解析して「その人が何を理解しているか/していないか」を推定し、日本語のフィードバックレポートを生成するツールです。従来の成果物ベースの指導では見えにくい、プロンプトに埋め込まれた意図や認識のズレを可視化することを目的としています。実装はPythonで行われ、Claude Codeスキルとして動作する設計になっているため、既存のClaudeワークフローへ組み込みやすいプロトタイプです。

GitHub

リポジトリの統計情報

  • スター数: 39
  • フォーク数: 1
  • ウォッチャー数: 39
  • コミット数: 3
  • ファイル数: 4
  • メインの言語: Python

主な特徴

  • プロンプト(対話履歴)から技術理解度・プロンプティングパターン・AI依存度を自動推定する。
  • Claude Codeのスキルとして動作する前提で設計されているため、Claude環境との統合が想定されている。
  • 日本語で読みやすいレポートを生成し、指導や振り返りに活用可能。
  • 軽量プロトタイプであり、ログ形式の拡張やツール対応を柔軟に追加できる構造。

技術的なポイント

本プロジェクトは対話履歴を「プロンプトの集合」として捉え、そこからユーザの意図と認識の特徴を抽出することに主眼を置いています。設計上は以下の流れを想定しています:ログ収集 → プロンプトの正規化(タイムスタンプや役割の整備)→ 解析モジュールによる特徴抽出(キーワード、命令の粒度、期待値の明確さ、反復・修正パターンなど)→ スコアリング(技術理解度、プロンプト成熟度、AI依存度)→ 日本語の総合レポート生成。実装はPythonベースで、シンプルなルールベースの解析に機械学習的手法を組み合わせるハイブリッドアプローチが想定されます。プロンプト解析に際しては、トークン分解や命令構造の解析、ロール別応答の照合(ユーザ問いかけとAI応答の関係)を行うことで「意図の不一致」や「期待の曖昧さ」を検出します。またプライバシーとログ管理が重要なため、収集対象や保存形式の設計、匿名化/マスキング処理の導入が実運用での課題となります。現状のリポジトリはファイル数が少なくコミット履歴も浅いため、拡張性や多様なログ形式対応(他のチャットツールやAPIログ)の追加、より高度な自然言語処理(意図分類、要約、クラスタリング)の導入余地が大きいプロトタイプです。

プロジェクトの構成

主要なファイルとディレクトリ:

  • .claude: dir
  • .gitignore: file
  • README.md: file
  • image.png: file

まとめ

プロンプト中心の指導観点を示す実験的ツール。実運用への拡張が期待されるプロトタイプ。

リポジトリ情報:

READMEの抜粋:

prompt-review

Claude Code のスキルとして動作する、AIエージェント対話履歴の分析ツール。 過去のプロンプトから技術理解度・プロンプティングパターン・AI依存度を推定し、日本語レポートを生成する。

コンセプト図: 生成AIの成果物ではなくプロンプトを見ることで、裏側にある意図や認識を指導できるという考え方を示した図。従来の成果物指導との違いを対比している。

背景

生成AIの普及により、成果物の指導だけでは部下の意図や認識を正しく把握できなくなった。従来は成果物と意図・認識が不可分だったため、成果物を直すことが指導になっていたが、生成AIの出力をそのまま成果物として利用する場合、成果物を見ても裏側にある意図や認識は見えない。

プロンプトには意図が埋まっている。 プロンプトを分析することで、その人が何を理解し、何を理解していないのかを推定できる。本ツールはこの考え方に基づき、AIとの対話履歴を自動収集・分析してレポートを生成する。

対応ツール

| ツール | ログ形式 | |--------|----…