OpenLM AI Proxy のシステム要件

AI Proxy は、ネットワーク内の単一の Linux ホスト上で Docker Compose スタックとして実行されます。導入する前に、以下の要件を確認してください。

ホスト要件

• 64 ビットの Linux ホスト。AI Proxy は Ubuntu 24.04 LTS でテストされています。
• Docker Compose v2 プラグイン (docker compose) を備えた Docker Engine。
• AI Proxy 経由でルーティングする LLM プロバイダーおよび OpenLM Platform エンドポイントへのアウトバウンドインターネットアクセス。

ハードウェア要件

このスタックは、API、UI、UI プロキシ、MongoDB、Redis を実行します。以下を出発点として使用し、リクエスト量に基づいてスケールしてください。

リソース	最小	推奨
CPU	2 vCPU	4 vCPU
メモリ	4 GB	8 GB
ディスク	20 GB	50 GB 以上

MongoDB のストレージは、ルーティングするリクエストの数に応じて増加します。AI Proxy は利用レコードを短い固定期間だけ保持し、保持期間の設定はないため、リクエスト量に合わせてディスク容量を見積もってください。

ネットワーク要件

以下の接続性を確保してください。

• プロバイダーへのアウトバウンド。 AI Proxy 経由でルーティングする各 LLM プロバイダー (例: Anthropic、OpenAI、Google Vertex AI) への HTTPS (ポート 443)。
• OpenLM Platform へのアウトバウンド。 利用データを配信するレシーバー用に、OpenLM Platform エンドポイントへの HTTPS (ポート 443)。
• クライアントからのインバウンド。 クライアントは、既定ではポート 8088 で AI Proxy の API に、ポート 8092 で UI に到達します。ホストポートは Docker Compose ファイルで変更できます。これらのポートは、必要とするネットワークのみに制限してください。

他のインバウンドポートは開けないでください。MongoDB (27017) と Redis (6379) はコンテナー専用です。独自のパスワードとキーを設定するで説明するとおり、Compose ファイルから両方の ports エントリを削除してください。

TLS

API イメージも UI プロキシも TLS を終端しません。ポート 8088 と 8092 でプレーン HTTP を提供します。プロバイダーの API キーが AI Proxy を通過する場合があるため、両方のポートの前段に TLS を終端するリバースプロキシを配置し、クライアントには HTTPS アドレスを伝えてください。このガイドの例で http:// を使用しているのは、最初のテストのためだけです。

サポートされる AI プラットフォーム

各プラットフォームのステータスと認証モードについては、OpenLM AI Proxy を参照してください。

次のステップ

スタックを実行するには、AI Proxy を導入する に進んでください。