ModernBERT（モダンBERT）PyTorch 実装

AI/ML
ModernBERT（モダンBERT）PyTorch 実装

ModernBERT（モダンBERT）PyTorch 実装

ModernBERT の論文「ModernBERT: A Modernized Transformer for Efficient Long-Context Modeling」を目指して、ゼロからモジュール化されたPyTorch実装を行ったリポジトリです。アーキテクチャの忠実さ、数値的正確性、コードの可読性を重視し、PyTorch 2.9.1／Python 3.13 環境で動作することを想定しています。公開済みの事前学習モデルとロジットレベルでの等価性（parity）を達成することを目標にしており、研究再現や拡張・検証用途に適しています（約300字）。

https://github.com/SaehwanPark/modern-bert

概要

このリポジトリは、論文「ModernBERT: A Modernized Transformer for Efficient Long-Context Modeling」で提示された ModernBERT アーキテクチャを、モジュール化かつ可読性を意識して PyTorch で再実装したものです。設計の忠実さと数値的な正確性（公式事前学習済みモデルとのロジットレベルでの一致）を重要視し、最新の Python／PyTorch 環境（Python 3.13、PyTorch 2.9.1）をターゲットにしています。コードは研究目的の再現や改良、実験プラットフォームとして使いやすいよう整理されています（約300字）。

GitHub

リポジトリの統計情報

  • スター数: 1
  • フォーク数: 0
  • ウォッチャー数: 1
  • コミット数: 3
  • ファイル数: 12
  • メインの言語: Python

主な特徴

  • ModernBERT アーキテクチャのモジュール化された PyTorch 再実装
  • 数値的・出力（ロジット）レベルで公式実装との一致を目指す設計
  • 最新の Python / PyTorch 環境に合わせたコード品質と可搬性
  • 小規模で読みやすいコードベース、研究・検証向けに最適

技術的なポイント

リポジトリは「アーキテクチャの忠実な再現」と「数値的な正確性（parity）」を軸に設計されています。具体的には、ModernBERT のコア構造を分割してモジュール化することで、各ブロック（エンコーダ層、注意機構、位置埋め込み、正規化やフィードフォワード等）を独立して検証・置換できるようにしている点が特徴です。これにより、実験的に新しい注意機構や最適化を挿入しやすく、論文と実装の差分検証が行いやすくなります。

数値的再現性については、初期化や数値演算の順序、活性化関数やスケーリング係数などの細部を厳密に合わせることで、学習後のロジット出力が公式の事前学習モデルと一致するように設計されている旨が README に明記されています。PyTorch 2.9.1 と Python 3.13 をターゲットにしているため、新しい API（例えば torch.compile や型注釈の利用など）に適合させた実装である可能性がありますが、主要目的は可読性と検証のしやすさにあります。

運用面では、デモ用スクリプト（demo.py）や軽量なコードベースにより、モデルのロード、推論、簡易的なテストをすぐに実行できる点が利点です。またライセンスファイルが含まれており、再利用・改変の際の法的扱いも明示されています。現状はファイル数・コミット数が少なく開発初期の段階に見えるため、フルスケールのトレーニングパイプラインや大規模データ処理の実装は限定的ですが、研究用途のスケッチやベース実装としては十分に有用です（約700字）。

プロジェクトの構成

主要なファイルとディレクトリ：

  • .gitignore: file
  • .python-version: file
  • LICENSE: file
  • README.md: file
  • demo.py: file

…他 7 ファイル

まとめ

研究再現と拡張に適した、読みやすく忠実な ModernBERT の PyTorch 実装です（50字）。

リポジトリ情報：

READMEの抜粋：

ModernBERT PyTorch Reimplementation

A modular, from-scratch PyTorch reimplementation of the ModernBERT architecture described in ModernBERT: A Modernized Transformer for Efficient Long-Context Modeling.

This project targets architectural fidelity, numerical correctness, and code clarity within a modern Python ecosystem (PyTorch 2.9.1, Python 3.13, and uv). The implementation achieves logit-level parity with the officially released pretraine…