メインコンテンツまでスキップ

AI Proxy を導入する

AI Proxy を、ネットワーク内の Linux ホスト上に Docker Compose スタックとして導入します。スタックが稼働したら、それを OpenLM Platform に接続し、AI Proxy を設定する でプロバイダーをセットアップします。

はじめる前に​

次の前提条件を確認してください。

  • システム要件を満たす Linux ホスト。
  • Docker Engine と Docker Compose v2 プラグインがインストールされていること。docker compose version で確認してください。
  • OpenLM が提供する AI Proxy コンテナーイメージへのアクセス。イメージがプライベートレジストリにある場合は、まず docker login でサインインしてください。
  • システム要件に記載されているネットワークアクセス。

スタックを導入する​

ホスト上の作業ディレクトリ（例: ~/aiproxy/）に、次の内容で docker-compose.yml という名前のファイルを作成します。

services:
  mongodb:
    image: mongo:7
    ports:
      - "27017:27017"
    volumes:
      - mongodb_data:/data/db
    environment:
      - MONGO_INITDB_ROOT_USERNAME=admin
      - MONGO_INITDB_ROOT_PASSWORD=admin
    restart: unless-stopped
    healthcheck:
      test: ["CMD", "mongosh", "--eval", "db.adminCommand('ping')"]
      interval: 10s
      timeout: 5s
      retries: 5

  redis:
    image: redis:7-alpine
    command: redis-server --save 60 1 --loglevel warning --requirepass openlm
    ports:
      - "6379:6379"
    volumes:
      - redis_data:/data
    restart: unless-stopped
    healthcheck:
      test: ["CMD", "redis-cli", "-a", "openlm", "ping"]
      interval: 10s
      timeout: 5s
      retries: 5

  aiproxyapi:
    image: public.ecr.aws/r3q3q2f4/olm-aiproxyapi:1.260217.1514
    ports:
      - "8088:8088"
    depends_on:
      mongodb:
        condition: service_healthy
      redis:
        condition: service_healthy
    environment:
      - MONGODB_CONNECTION=mongodb://admin:admin@mongodb:27017
      - REDIS__CONNECTIONSTRING=redis,password=openlm
      - CLOUD_MODE=false
      - ENCRYPTION_KEY=default-dev-key
    restart: unless-stopped

  aiproxyui:
    image: public.ecr.aws/r3q3q2f4/olm-aiproxyui:1.260630.1443
    ports:
      - "8092:8092"
    depends_on:
      - aiproxyapi
    environment:
      - LB_FQDN=localhost
    restart: unless-stopped

volumes:
  mongodb_data:
  redis_data:

スタックを起動する前に、各値を確認してください。特に、データベースの認証情報、暗号化キー、API と UI のホストポートを確認します。お使いの環境に合わせて、デフォルト値を必要に応じて変更してください。OpenLM Platform の接続とプロバイダーは、後で UI で設定します。

スタックをバックグラウンドで起動します。初回実行時には Compose がイメージをプルします。

docker compose up -d

すべてのコンテナーが実行中の状態であることを確認します。

docker compose ps

導入を検証する​

導入を更新する​

新しい AI Proxy バージョンに移行するには、次の手順を実行します。

  1. docker-compose.yml のイメージタグを新しいバージョンに更新します。

  2. 更新されたイメージをプルし、コンテナーを再作成します。Compose は変更があった部分のみを再作成します。

    docker compose pull
    docker compose up -d

利用データと設定は、更新をまたいで MongoDB ボリュームに保持されます。

トラブルシューティング​

コンテナーが起動しない​

ステータスとログを確認し、その後スタックを再起動します。

docker compose ps
docker compose logs <service>
docker compose down
docker compose up -d

<service> は、コンテナー名（例: API サービスや UI サービス）に置き換えてください。

MongoDB が起動しない​

起動時に MongoDB が終了する場合、保存されているデータが実行中の MongoDB バージョンと互換性がないのが通常の原因です。データボリュームを再作成してください。

これは保存されている利用データを削除します

次のコマンドは MongoDB ボリュームを削除し、すべての利用レコードを消去します。データが必要な場合は、先にボリュームをバックアップしてください。

docker compose down -v
docker compose up -d

UI が 500 エラーを返す​

API コンテナーが準備できていない場合や、誤って設定されている場合、UI は 500 エラーを返します。API が正常な状態になるまで数秒待ってから、再読み込みしてください。エラーが解消されない場合は、UI コンテナーのログを確認してください。

docker compose logs <ui-service>

UI または API に到達できない​

docker-compose.yml でマッピングしたポートをホストのファイアウォールが許可していること、および URL でそれらのポートを使用していることを確認してください。docker compose ps でコンテナーが実行中であることを確認してください。

にMaria Gilcaが最終更新