概要

このリポジトリは、超長いトークン窓（100k〜200k token 等）を扱えるLLMの文脈で観察された新しい攻撃概念「認知ハイジャック（Cognitive Hijacking）」を紹介する研究を収めています。著者は高校生の独立研究者で、モデルの「内部状態を偽造することでプロンプト注入が可能になる」ことを指摘しています。研究は現象の定義、理論的背景、実験的検証、ならびに防御策の検討を含み、超長コンテキスト設計が持つ新たなリスクを明示的に議論しています。攻撃の具体的手順は詳細に開示されず、セキュリティ評価と対策提案を中心にまとめられています。

リポジトリの統計情報

• スター数: 9
• フォーク数: 2
• ウォッチャー数: 9
• コミット数: 8
• ファイル数: 3
• メインの言語: 未指定

主な特徴

• 超長コンテキスト環境における新たな脅威概念「認知ハイジャック」を提唱。
• 「内部状態の偽造」をキーとするプロンプト注入の可能性を理論と実験で検討。
• セキュリティリスク評価と防御方向（検出・緩和）の初期提案を含む。
• 研究は教育的かつ倫理的配慮を持ってまとめられている点が特徴。

技術的なポイント

本研究は、長大なコンテキスト領域がLLMに与える「認知的影響」に注目しています。具体的には、モデルが膨大な文脈を扱う過程で一部の命令・制約の重要度を相対的に低く扱ってしまう、いわゆる「認知過負荷（Cognitive Overload）」のような振る舞いを観測し、それが攻撃者によるプロンプト操作と組合わさると従来想定していなかった注入経路を生み出す可能性を指摘します。論点としては以下が挙げられます。

• 内部状態の概念的扱い: モデルが内部で保持・更新している表現や状態テンソルに対して「正当な」文脈と「偽造された」情報を区別することが難しくなる点を議論。これは長い履歴や多段のコンテキスト操作に起因する。
• 攻撃の脅威モデル: 攻撃者が長い文脈の一部に巧妙に混入することで、モデルの注意配分や命令順序の解釈を変調させる可能性を示唆。ただし実装や具体的クラフト手法の詳細な手順は公開せず、概念的な脆弱性の存在に焦点を当てています。
• 実験と観察: READMEには複数の実験的観察が示唆されており、超長文脈での命令順守率の低下や、中央付近に配置された安全指示の影響減衰等が議論されています（詳細はリポジトリ内の記述を参照）。これらは定量指標に基づく評価というよりは現象の検証と議論を主目的としています。
• 防御と緩和策: 長コンテキスト特有の問題に対して、コンテキスト管理（トークン優先度付けや重要度スコアリング）、内部状態の整合性検証、プロンプトソースの信頼性付与、モデル設計上の注意再配分メカニズムなどを検討。実装的・運用的な対策を推奨する方向でまとめられており、責任ある公開を意識した構成です。

全体として、具体的攻撃コードを公開せずにモデル設計と運用に関する示唆を提供し、超長コンテキスト時代のセキュリティ設計への注意喚起を行っている点が技術的な注目点です。

プロジェクトの構成

主要なファイルとディレクトリ：

• ETOS_Prompt.md: file
• LICENSE: file
• README.md: file

まとめ

超長コンテキストLLMに潜む新たな脆弱性を提起する先駆的な研究であり、防御設計の議論を促す有益な資料。

リポジトリ情報：

• 名前: Cognitive-Hijacking-in-Long-Context-LLMs
• 説明: A novel prompt injection method via forged internal states, discovered by a high school student.
• スター数: 9
• 言語: null
• URL: https://github.com/Eric-Terminal/Cognitive-Hijacking-in-Long-Context-LLMs
• オーナー: Eric-Terminal
• アバター: https://avatars.githubusercontent.com/u/121368508?v=4

READMEの抜粋：

中文 | English

---

长上下文语言模型认知劫持：一种通过伪造内部状态实现提示词注入的攻击方法

（以研究的要旨と倫理的配慮を示すイントロダクションが記載されています）