ModernBERT(モダンBERT)PyTorch 実装
2026/1/2
ModernBERT の論文「ModernBERT: A Modernized Transformer for Efficient Long-Context Modeling」を目指して、ゼロからモジュール化されたPyTorch実装を行ったリポジトリです。アーキテクチャの忠実さ、数値的正確性、コードの可読性を重視し、PyTorch 2.9.1/Python 3.13 環境で動作することを想定しています。公開済みの事前学習モデルとロジットレベルでの等価性(parity)を達成することを目標にしており、研究再現や拡張・検証用途に適しています(約300字)。