OpenLM AI Proxy
ユーザー単位およびモデル単位で AI トークンの使用量を追跡するには、大規模言語モデル (LLM) の API リクエストを OpenLM AI Proxy 経由でルーティングします。OpenLM AI Proxy は、ユーザーと LLM プロバイダーの間に位置するセルフホスト型のゲートウェイです。API リクエストをプロバイダーに転送し、各リクエストのトークン利用状況を記録するため、AI の支出をユーザーやモデルに割り当て、そのデータを OpenLM Platform に取り込むことができます。
AI Proxy はリクエストとレスポンスから利用状況のメタデータを読み取ります。プロンプトや補完の内容を検査したり保存したりすることはありません。
AI Proxy はまず API ゲートウェイとして設計されています。LLM API トラフィックをこのゲートウェイ経由でルーティングすると、利用状況が記録されます。AI Proxy を介したユーザー単位の監視は、実験的かつ副次的な機能です。まずは AI Proxy を設定する で説明する API インターセプトから始めてください。
AI Proxy の仕組み
クライアントは LLM API リクエストをプロバイダーに直接送る代わりに、AI Proxy に送信します。AI Proxy はリクエストをプロバイダーに転送し、レスポンスをクライアントに返したうえで、その呼び出しのトークン数を記録します。その後、利用レコードを保存し、利用データを OpenLM Platform に送信します。
AI Proxy 経由でルーティングできるクライアントには、Claude Code CLI、LLM API を呼び出す独自のアプリケーション、そして 1 つ以上のプロバイダーの前段に配置された LiteLLM ゲートウェイなどがあります。
アーキテクチャ
AI Proxy は一連の Docker コンテナーとして実行され、Docker Compose でまとめて導入されます。
| コンテナー | 役割 |
|---|---|
| API | コアプロキシ。LLM リクエストをルーティングし、トークンの利用状況を記録し、利用データを OpenLM Platform に同期します。API および OpenTelemetry (OTel) エンドポイントを公開します。 |
| UI | 設定を管理する Web インターフェイス。OpenLM Platform への接続、プロバイダー、API キーを管理します。 |
| MongoDB | 利用レコードと設定を保存します。 |
| Redis | バックグラウンドジョブとキャッシュを支えます。 |
API コンテナーは、Receivers Configuration でセットアップするレシーバーを通じて OpenLM Platform に接続し、利用イベント (ai-usage-events) とアセット情報 (ai-asset-info) を送出します。また、Grafana や Datadog などの外部コレクターに OpenTelemetry イベントをエクスポートすることもできます。
サポートされている AI プラットフォーム
| プラットフォーム | ステータス | 備考 |
|---|---|---|
| Anthropic (Claude Code) | サポート済み | 最も成熟した統合です。Claude Code CLI プロキシと、OpenTelemetry ベースの利用状況監視を含みます。 |
| OpenAI | プロトタイプ | マネージドモードとパススルーモード。 |
| Google Vertex AI (Gemini) | サポート済み | マネージドモードとパススルーモード。 |
| Cursor | AI Proxy 経由ではサポートされていません | 代わりに Cursor で Cursor の利用状況を追跡してください。 |
認証モード
AI Proxy は、LLM プロバイダーへのリクエストを認証する 2 つの方法をサポートしています。
- マネージド: AI Proxy が共有のプロバイダー API キーを保持し、送信リクエストに適用します。クライアントはプロバイダーではなく AI Proxy に対して認証します。
- パススルー: 各クライアントが自身のプロバイダー API キーをリクエストとともに送信し、AI Proxy はそれを変更せずに転送します。
各モードのサポート状況はプラットフォームによって異なります。AI Proxy を設定する を参照してください。
導入モデル
AI Proxy は、自社のネットワーク内に Docker Compose スタックとして導入します。これにより、API キーと利用データを自社のインフラストラクチャ内に保持できます。
このセクションの内容
各ページを順番に進めてください。
- システム要件: スタックに必要なホスト、ランタイム、ネットワーク。
- AI Proxy を導入する: 自社のネットワークで Docker Compose スタックを実行し、その後アップグレードまたは削除します。
- AI Proxy を設定する: OpenLM Platform に接続し、プロバイダーをセットアップし、クライアントをルーティングし、データが AI FinOps に届いていることを確認します。
- AI Proxy のトラブルシューティング: よくある問題を解決します。
関連リファレンス
- AI FinOps レポート: AI のコストとトークン消費に関するダッシュボード。
- Broker Hub: AI Proxy タブに AI Proxy エージェントが一覧表示されます。
- AI Proxy 変更履歴: バージョンごとの修正と改善。
導入する前にホストを確認するには、システム要件 に進んでください。
ドキュメントチームは、大規模言語モデルを使ってこのページを下書きすることがあります。公開前に、テクニカルライターがすべてのページをレビューし、製品と照らし合わせて検証します。最終的な判断は人間が行います。