AIインフラ
The Load Balancer
モデルとアカウントをつなぎ、推論リクエストを分配する三つのプロジェクト。
プライベート複数のモデルプロバイダーのアカウントを接続し、リクエストを分配するAIゲートウェイ。
接続・設定
- 接続方法
- OpenAI・Anthropic互換APIで既存のモデルクライアントと接続します。
- 設定・運用
- アカウント接続とクライアントキーを管理し、モデル別のルーティング状態を確認します。
kiro-gatewayベースの複数アカウントルーター。OpenAI・Anthropic互換APIを提供します。
接続・設定
- 接続方法
- 単体バイナリまたはDockerで起動し、互換クライアントのAPI接続先を設定します。
- 設定・運用
- ログイン、APIキー、負荷分散方式と同時処理数をダッシュボードで管理します。
提供者の余った推論クォータを集め、共通APIで利用できる推論取引所。
接続・設定
- 接続方法
- 提供者は対応アカウントを接続し、利用者はAPIキーでモデルを呼び出します。
- 設定・運用
- プロバイダー接続とAPIキーを管理し、使用量・クレジット・提供収益を確認します。
