概要

本リポジトリは「学術論文の査読」に潜むバイアス（同一内容の指摘があってもスコアが異なる等）を、NLPと大規模言語モデルを活用して定量的に検出・可視化することを目的とした研究用コード群を提供します。READMEと構成から、レビューコメントの意味表現化（埋め込み）、レビュー間類似度の算出、スコア差の統計解析、そして解析結果の整理・可視化を通じて、査読結果のばらつき要因を明らかにしようとする設計が読み取れます。Pythonで実装され、実験データ（ICLR_2025_CLEAN 等）や解析ユーティリティを含むディレクトリ構成が整えられています。

リポジトリの統計情報

スター数: 2
フォーク数: 0
ウォッチャー数: 2
コミット数: 3
ファイル数: 4
メインの言語: Python

主な特徴

査読コメントを対象にしたNLPベースのバイアス解析フレームワーク。
大規模言語モデル（LLM）を活用した意味的類似度評価の想定。
実験データ整理（ICLR_2025_CLEAN）と解析ユーティリティを同梱。
Python実装による再現可能な解析パイプラインの雛形。

技術的なポイント

本プロジェクトは、自然言語表現の意味的類似性を中心に据え、査読コメントとスコアの関係を定量化する点が技術的な核です。具体的には（READMEの記載とディレクトリ構成から推察すると）以下の要素が重要です。まず、レビュー本文の前処理（トークン化、正規化）と埋め込み生成を行い、コメント間のコサイン類似度やクラスタリングで「同じ指摘」に相当する発言群を抽出します。次に、同一指摘群に対するレビュアーごとのスコア分布を比較し、分散分析（ANOVA）や混合効果モデル等によってスコア差の統計的有意性を検定します。LLMは単純な埋め込み生成だけでなく、コメントの論点抽出やポジティブ／ネガティブ判定、論点マッチングなどの高次機能にも使われ得ます。加えて、結果の可視化（ヒートマップ、箱ひげ図、分布プロット）やメタデータ（分野、審査歴、レビュー長）との相関解析により、バイアスの潜在要因を多角的に評価できます。Pythonを基盤としているため、pandas/NumPyによるデータ処理、scikit-learnやsentence-transformersによる埋め込み・クラスタリング、statsmodelsやscipyによる統計検定、matplotlib/Seabornによる可視化が想定されます。再現性の担保としてデータのクリーニングスクリプト（ICLR_2025_CLEAN）と解析フローが分離されており、異なるデータセットへの適用も容易です。

解析ワークフローと使い方（想定）

データ準備: ICLR_2025_CLEANディレクトリのデータを読み込み、メタ情報（論文ID、レビュアーID、スコア、コメント）を整形します。
前処理: テキストの正規化、不要記号除去、短文分割などを行います。
埋め込み生成: sentence-transformersやLLMの埋め込みAPIで各コメントのベクトルを作成。
類似度解析: コメント間のコサイン類似度を計算し、クラスタリング／トピックマッチングで同一指摘群を抽出。
スコア比較: 同一指摘群内でレビュアー別スコアを集計し、分散や平均差の検定（t検定、ANOVA、混合モデル）を適用。
可視化・レポート: 結果を図表化し、バイアス候補のレビュー事例を抽出してレポート化する。実行はPythonスクリプトを順に実行することで基本的な解析が行える設計になっていると推察されます。

プロジェクトの構成

主要なファイルとディレクトリ：

.gitignore: file
ICLR_2025_CLEAN: dir
README.md: file
bias: dir

まとめ

NLPとLLMを組み合わせた査読バイアス解析の雛形を示す実践的リポジトリです。

リポジトリ情報：

名前: Analysis-of-bias-in-paper-review
説明: 説明なし
スター数: 2
言語: Python
URL: https://github.com/wutaghost/Analysis-of-bias-in-paper-review
オーナー: wutaghost
アバター: https://avatars.githubusercontent.com/u/140826181?v=4

READMEの抜粋：

Analysis of Bias in Paper Review

项目简介 / Project Overview

本项目旨在通过自然语言处理和大语言模型技术，量化分析学术论文审稿过程中的偏差现象。核心假设：即使不同审稿人发现了相同的优缺点，给出的最终分数也可能存在显著差异。

This project aims to quantitatively analyze bias in academic paper reviews using natural language processing and large language models. Core hypothesis: Even when different reviewers identify the same strengths and weaknesses, their final scores may differ significantly.

仓库结构 / Repository Structure

bias/: 偏差分析框架和工具 / Bias analysis framework …

論文査読におけるバイアス解析（Analysis of Bias in Paper Review）