Solar vs GLM vs Phi の LayerNorm 比較
2026/1/1
Solar-Open-100B、GLM-4.5-Air、Phi-3.5-MoE-instruct の LayerNorm パラメータを比較し、LayerNorm のコサイン類似度だけではモデル間の派生関係を立証できないことを示すリポジトリです。層ごとの LayerNorm ベクトルを抽出してコサイン類似度を算出するスクリプト群(elementwise、confusions など)を提供し、簡潔な実験結果と考察をまとめています。(約300字)