AI 인프라
더 로드밸런서
모델과 계정을 연결하고, 추론 요청을 나누는 세 가지 프로젝트.
프라이빗여러 모델 제공자의 계정을 연결하고 요청을 분배하는 AI 게이트웨이.
연결·설정
- 연결 방식
- OpenAI·Anthropic 호환 API로 기존 모델 클라이언트와 연결합니다.
- 설정·운영
- 계정 연결과 클라이언트 키를 관리하고, 모델별 라우팅 상태를 확인합니다.
kiro-gateway 기반의 다중 계정 게이트웨이. OpenAI·Anthropic 호환 API를 제공합니다.
연결·설정
- 연결 방식
- 단독 실행 파일이나 Docker로 구동하고, 호환 클라이언트의 API 주소를 연결합니다.
- 설정·운영
- 계정 로그인, API 키, 요청 분배 방식과 동시 처리 수를 대시보드에서 관리합니다.
제공자의 남는 추론 할당량을 모아 API로 연결하는 추론 거래소.
연결·설정
- 연결 방식
- 공급자는 지원하는 계정을 연결하고, 사용자는 API 키로 모델을 호출합니다.
- 설정·운영
- 제공자 연결과 API 키를 관리하고, 사용량·크레딧·공급 수익을 확인합니다.
