Token Enhancer — ウェブページを軽量テキスト化するローカルプロキシ

Toolプロキシトークン削減Python

Boof-Pack/token-enhancer

GitHub で見る

GitHub →

概要

Token Enhancerはローカルで動作するプロキシで、ウェブページをAIエージェントに渡す前に「読み取るべきテキスト」だけに精錬します。HTMLのナビゲーション、広告、スクリプト、インラインスタイルなどノイズを取り除き、本文・要約・メタデータだけを抽出して返すことで、エージェントが消費するトークンを大幅に削減します。セットアップはシンプルで、APIキーや外部LLMは不要。実運用でのコスト削減とレスポンスの安定化、プライバシー確保を同時に実現します。（約300字）

GitHub

リポジトリの統計情報

  • スター数: 6
  • フォーク数: 0
  • ウォッチャー数: 6
  • コミット数: 4
  • ファイル数: 10
  • メインの言語: Python

主な特徴

  • ローカルプロキシで動作：外部サービス不要でプライバシー保護。
  • 大幅なトークン削減：HTMLノイズを削ぎ落としコンテキストを圧縮。
  • シンプルな導入：Pythonベース、install.shでセットアップ可能。
  • LLM不要：前処理のみでエージェントの効率を改善。

技術的なポイント

Token Enhancerの核は「HTTPプロキシとしての介入」と「HTMLの意味的精錬」この二点にあります。動作の流れは概ね次のようになります：クライアントからのHTTPリクエストをローカルプロキシが受け取り、実際のターゲットサイトへアクセスしてHTMLを取得。取得したHTMLを解析し、スクリプトやスタイル、サイドバー、広告ブロック等のノイズ要素を除去します。本文抽出にはDOM構造とテキスト密度、見出しや段落の深さなどのヒューリスティクスを組み合わせ、メインコンテンツを特定します。抽出後は余計な属性や重複リンクを削ぎ落とし、必要に応じて簡易的な要約・メタデータ（タイトル、公開日時、著者など）を付与してクライアントに返します。

実装面ではPythonでHTTPクライアント／サーバの仕組みを使い、HTML解析はパーサベース（例：DOMツリー操作）で行う想定です。結果としてトークン数と転送データ量の両方が劇的に減少し、AIエージェントは「意味ある文書」だけを短時間で処理できます。一方で、クライアントサイドで生成されるコンテンツ（SPAや大量のJavaScriptレンダリング）は追加の対応（ヘッドレスブラウザでのレンダリングやJS実行済みHTMLの取得）が必要になる点や、画像やスタイル情報は意図的に除外されるため視覚的な文脈は失われる点に注意が必要です。キャッシュや並列フェッチ、コンテンツスコアリングの導入でパフォーマンスをさらに高める余地があります。（約700字）

プロジェクトの構成

主要なファイルとディレクトリ：

  • .gitignore: file
  • LICENSE: file
  • README.md: file
  • data_proxy.py: file
  • install.sh: file

…他 5 ファイル

（注：data_proxy.py がプロキシ本体、install.sh で環境セットアップ、README.md に usage や例がまとめられている想定）

まとめ

ローカルで動く実用的な前処理プロキシにより、AIエージェントのトークン消費を劇的に削減できるツールです。（約50字）

リポジトリ情報：

READMEの抜粋：

Token Enhancer

A local proxy that strips web pages down to clean text before they enter your AI agent’s context window.

One fetch of Yahoo Finance: 704,760 tokens → 2,625 tokens. 99.6% reduction.

No API key. No LLM. No GPU. Just Python.

The Problem

AI agents waste most of their token budget loading raw HTML pages into context. A single Yahoo Finance page is 704K tokens of navigation bars, ads, scripts, and junk. Your agent pays for all of it before any reasoning happens.

The So…

関連記事

Tool

google — 指紋ブラウザ管理ツール（AntigravityAds）

本リポジトリは、ソーシャルメディアマーケティング向けに設計された「指紋ブラウザ」管理ツールです。複数アカウントごとに独立した指紋を生成・管理し、navigator.webdriver 回避などのステルスパッチ、Chrome 内核バージョン選択（90〜146）、プロキシ／SOCKS5 対応、ウィンドウ間の操作同期などを備え、Windows 環境向けに実行ファイル化する仕組みも含みます。（約300字）

ブラウザ管理フィンガープリントプロキシ
Tool

EasyProxiesV2 — 軽量プロキシ管理ツール

EasyProxiesV2 は、sing-box を基盤にした軽量で高性能なプロキシプールおよび購読（サブスクリプション）管理ツールです。React/Vite/Tailwind を使った現代的な Web 管理画面を内蔵し、ノードのヘルスチェック、購読の自動更新、トラフィック監視、可視化ダッシュボードなど運用に必要な機能を備えています。フロントエンドの再構築と工程化の改善を中心に V2 として二次開発されています。初心者でも扱いやすい UI と Go 単一バイナリでの配布が特徴です。

プロキシGoWebUI
Tool

Cursor-Tap — Cursor gRPC 通信流量解析ツール

Cursor-Tap は Cursor IDE とバックエンド間の gRPC（Connect Protocol）通信を中間者（MITM）で傍受し、TLS を復号して protobuf バイナリを可読な JSON に変換、さらに streaming の各フレームをリアルタイムに表示する Go 製の解析ツールです。非公開の proto 定義を逆解析してデコードを実現し、AI 対話で発生する RPC リクエスト／レスポンスの中身を可視化できます（開発者向けのデバッグ／リバースエンジニアリング用途）。

gRPCプロキシGo
Tool

ProxyHive — 自動プロキシスクレイパー＆チェッカー

ProxyHiveはHTTP、SOCKS4、SOCKS5に対応した自動プロキシスクレイパー兼チェッカーです。定期的（READMEバッジから1時間ごと）にプロキシリストを更新し、checker.pyによる生存確認や性能チェックを行って出力ディレクトリに保存します。軽量なPython実装で簡単に導入でき、スクレイピングソースの追加や出力形式のカスタマイズが可能です。（約300字）

プロキシスクレイパーPython
Tool

claudeAnon — Claude Codeでメールを隠すローカルプロキシ

Anthropic公式APIを使ってClaude Codeを操作する際に、セッションヘッダーに含まれるメールアドレスをクライアント側で隠すことに特化した軽量ツールです。ローカルで動作するプロキシ（email-hiding-proxy.js）を経由してAnthropicのレスポンスからメール情報を削除しつつ、公式モデルや機能へのアクセスは維持します。セットアップ用のシェルスクリプトや簡易起動スクリプトが用意されており、手元の環境で手早くプライバシー保護を導入できます。（約300字）

プライバシープロキシAnthropic
Tool

Self-Configuration — 個人プロキシ設定コレクション

Self-Configuration は Clash と Surge 向けの個人プロキシ（プロファイル）設定ファイルをまとめたリポジトリです。Clash 用の YAML 設定と Surge 用の conf を含み、個人的な利用に合わせたルールやプロキシグループの定義が置かれています。MIT ライセンスの下で公開され、簡単に導入・カスタマイズして自分の環境に合わせやすい構成を提供します。

プロキシClashSurge