メインコンテンツまでスキップ

AI Proxy

LLM の使用状況を追跡し、AI FinOps レポートにデータを供給するための OpenLM AI Proxy の導入と設定。

AI ProxyOpenLM AI Proxy は、LLM API リクエストをルーティングし、AI FinOps 向けにトークンの利用状況を追跡するセルフホスト型ゲートウェイです。
システム要件OpenLM AI Proxy を導入するためのホスト、ランタイム、ネットワークの要件。1mo ago2 分
AI Proxy を導入するOpenLM AI Proxy を自社ネットワーク内に Docker Compose スタックとして導入します。yesterday3 分
AI Proxy の設定AI Proxy を OpenLM Platform に接続し、LLM プロバイダーをセットアップして、クライアントをプロキシ経由でルーティングします。yesterday4 分