OpenLM AI Proxy の設定

AI Proxy を導入したら、それを OpenLM Platform に接続し、計測したいプロバイダーをセットアップして、クライアントを AI Proxy 経由でルーティングします。これらの設定の大部分は AI Proxy UI で行います。

主要かつサポート対象のワークフローは API インターセプトです。クライアントが LLM API リクエストを AI Proxy に送信し、AI Proxy がそれらを計測します。まずこれを設定します。

はじめる前に

次のものを用意してください。

• OpenLM Platform のベースアドレス (例: https://example.com)。
• OpenLM Platform が保護されている場合は、AI Proxy 用の Client ID と Client Secret。これらは、Identity を管理する OpenLM Platform 管理者が作成します。使用するクライアントタイプが不明な場合は、確認してください。
• マネージドモードを使用する場合は、AI Proxy に保持させる各プロバイダーの API キー。

OpenLM Platform への接続

AI Proxy は、レシーバーを通じて利用データを OpenLM Platform に送信します。お使いの OpenLM Platform 用にレシーバーを 1 つ追加します。

1. http://<aiproxy-host>:<ui-port>/aiproxy/ で AI Proxy UI を開きます。
2. Receivers Configuration を開き、レシーバーを追加します。
3. Location に、OpenLM Platform のベースアドレス (例: https://example.com) を入力します。アドレスのみを入力してください。パスの残りの部分は AI Proxy が追加します。
4. OpenLM Platform が保護されている場合は、Client ID と Client Secret を入力します。サインインが不要な OpenLM Platform の場合にのみ、空のままにしてください。
5. 必要に応じて、Request Timeout を変更します。既定値は 30 秒、指定できる範囲は 1 から 300 です。
6. Check Connection を選択し、保存します。

AI Proxy は Client Secret を暗号化して保存します。

接続が機能すると、レシーバーの Status に Ok と表示されます。これにより AI Proxy は利用イベントと AI 資産情報をプラットフォームに配信し、それらが AI FinOps レポートのデータソースとなります。

注意

以前のバージョンのドキュメントでは、この設定を Open Platform Connection または Broker Hub Receivers と呼んでいました。この設定は OpenLM Platform への同じ接続を指します。

プロバイダーのセットアップ

AI Proxy 経由でルーティングする LLM プロバイダーごとに、認証モードを選択します。

• マネージド: AI Proxy が共有のプロバイダー API キーを保持し、送信リクエストに適用します。クライアントは AI Proxy に対して認証します。
• パススルー: 各クライアントが自身のプロバイダー API キーを送信し、AI Proxy はそれを変更せずに転送します。

プロバイダーを追加するには、次の手順を実行します。

1. AI Proxy UI で LLM Configuration を開き、Add Provider を選択します。

2. Provider Type を選択します。

3. Operating Mode で Managed または Passthrough を選択します。既定値は Passthrough です。

4. Enable スイッチでプロバイダーを有効にします。クライアントから OpenTelemetry で利用状況を収集する場合は、OTel をオンにします。

5. プロバイダーのフィールドを入力し、Save を選択します。

   プロバイダー	フィールド
   Anthropic	API Key (マネージドモードでは必須)、および任意の Admin API Key。
   OpenAI	API Key。
   Vertex AI	Location (既定値は us-central1) と Service Account JSON。

UI で保存した変更は、再起動なしで適用されます。

次の表にプラットフォーム別のサポート状況を示します。

プラットフォーム	マネージド	パススルー	備考
Anthropic (Claude Code)	対応	対応	Claude Code CLI プロキシを含みます。
OpenAI	対応	対応	プロトタイプ。
Google Vertex AI (Gemini)	対応	対応	なし。

Cursor と GitHub Copilot は AI Proxy 経由で計測できません。これらを追跡するには、Cursor と GitHub Copilot を参照してください。

マネージドモードのクライアントにキーを発行する

マネージドモードでは、クライアントはプロバイダーのキーを使用しません。AI Proxy が発行するキーを使用します。

1. AI Proxy UI で Api Keys Configuration を開き、Add API Key を選択します。
2. Description を入力し、キーの Allowed Providers を選択します。
3. 保存し、キーをクライアントに渡します。キーは lm-sk- で始まります。

クライアントは、キーを Authorization: Bearer <key> として、または x-api-key ヘッダーとして送信します。

Claude Code CLI を AI Proxy 経由でルーティングする

Claude Code CLI を AI Proxy に向けるには、ANTHROPIC_BASE_URL 環境変数をプロキシの Anthropic エンドポイントに設定します。

1. Claude Code CLI をインストールします。

2. Claude Code にサインインします。

3. ANTHROPIC_BASE_URL を AI Proxy の Anthropic エンドポイントに設定します。

   Windows

   setx ANTHROPIC_BASE_URL "http://<aiproxy-host>:<api-port>/api/v1/llm/anthropic"

   macOS と Linux

   export ANTHROPIC_BASE_URL="http://<aiproxy-host>:<api-port>/api/v1/llm/anthropic"

   設定を保持するには、同じ行をシェルのプロファイルに追加します。macOS の既定のシェルは zsh のため、~/.zshrc を使用します。bash を使用する Linux では、~/.bashrc を使用します。

   echo 'export ANTHROPIC_BASE_URL="http://<aiproxy-host>:<api-port>/api/v1/llm/anthropic"' >> ~/.zshrc

   <aiproxy-host> を AI Proxy のホストに、<api-port> を導入時にマッピングした API ポートに置き換えます。

4. 環境変数を有効にするため、ターミナルを再起動します。

5. Claude Code セッションを実行し、任意の質問をします。

6. データが OpenLM Platform に届いていることを確認します。AI FinOps にデータが届いていることを確認するを参照してください。

再び Anthropic へ直接トラフィックを送信するには、変数を https://api.anthropic.com にリセットしてターミナルを再起動します。

カバレッジ

一部の Claude Code のアクティビティでは、トークン利用状況が常に報告されるとは限りません。すべてのトラフィックを捕捉するには、すべてのクライアントを AI Proxy 経由でルーティングしてください。ネットワーク管理者は、ファイアウォールで LLM プロバイダーへの直接アクセスをブロックすることでこれを強制でき、すべてのリクエストがプロキシ経由で流れるようにできます。

OpenTelemetry による利用状況のエクスポート

AI Proxy は利用状況を監視するために OpenTelemetry (OTel) を使用し、イベントを外部コレクターにエクスポートできます。3 つのパターンをサポートしています。

• Claude Code 直接報告: Claude Code が、リクエストパスにインターセプトプロキシを介さずに、OpenTelemetry 環境変数を通じて利用イベントを AI Proxy の OTel エンドポイントに直接報告します。
• LiteLLM: クライアントと LLM プロバイダーの間に LiteLLM ゲートウェイが置かれます。LiteLLM が利用状況を集約し、OpenTelemetry 経由で AI Proxy にエクスポートします。
• OTel エクスポート: AI Proxy は、OpenLM Platform への利用データ送信と並行して、OpenTelemetry イベントを Grafana や Datadog などの外部コレクターに転送します。

Claude Code 直接報告では、AI Proxy がセットアップスクリプトを生成します。

1. AI Proxy UI で LLM Configuration を開き、プロバイダーを選択します。OTel がオンになっていることを確認します。
2. Download for Windows (.bat) または Download for Linux / macOS (.sh) を選択します。
3. 各開発者のマシンでスクリプトを実行し、ターミナルを再起動します。

OpenAI と Vertex AI のクライアントをルーティングする

他のプロバイダーのクライアントも、Claude Code と同様に、プロバイダーの代わりに AI Proxy にリクエストを送信します。マネージドモードでは、クライアントは AI Proxy のキーを使用します。パススルーモードでは、自身のプロバイダーキーを送信します。クライアントのベースアドレスは、導入時にマッピングした AI Proxy の API アドレスに設定してください。

AI Proxy がユーザーを識別する仕組み

AI Proxy は、レポートで利用状況をユーザー別に分類できるよう、各呼び出しを消費者に帰属させます。

• リクエストにユーザー名が含まれていない場合、AI Proxy は認証キーを消費者 ID として使用します。
• API または Identity インテグレーションを通じてユーザー名を提供できます。
• Claude Code の場合、AI Proxy は利用レコード用にユーザーのメールアドレスを解決できます。

AI FinOps にデータが届いていることを確認する

クライアントをルーティングした後、スタックからレポートまでの各段階を確認します。

1. AI Proxy UI で Receivers Configuration を開きます。レシーバーの Status が Ok です。
2. OpenLM Platform で Broker Hub を開き、AI Proxy タブを選択します。お使いのエージェントが、その Status と Last Update とともに一覧に表示されます。
3. クライアント (例: Claude Code の質問) から AI Proxy 経由でリクエストを送信します。
4. 少なくとも 5 分待ちます。AI Proxy は 5 分ごとに利用状況を OpenLM Platform に送信します。
5. AI FinOps レポートを開きます。まず詳細レポートから確認してください。お使いの利用状況がレポートに表示されます。

いずれかの段階で失敗する場合は、AI Proxy のトラブルシューティングを参照してください。

ユーザー監視 (実験的)

API インターセプトに加えて、AI Proxy には、高コストモデルへのアクセス制限など、OpenLM Platform でのライセンス最適化をサポートするユーザーレベルの監視機能が含まれています。この機能は実験的です。主要かつサポート対象のワークフローとしては API インターセプトを使用してください。

次のステップ

結果を AI FinOps レポートで確認してください。後で AI Proxy をアップグレードまたは削除するには、AI Proxy を導入するを参照してください。