Маркетплейс
Обслуживайте открытые модели за плату
Запустите открытую модель на своем железе, назовите цену, и шлюз будет отправлять вам запросы, когда вы выгоднее. За каждый обслуженный токен вам платят столько, сколько указано в вашей цене.
Как это работает
- 1Подайте заявку с вашим эндпоинтом, моделями, которые он обслуживает, ценой за 1M токенов на входе и на выходе и кошельком, на который хотите получать выплаты. Оператор рассматривает каждую заявку.
- 2Прежде чем к вам дойдет хоть один запрос клиента, шлюз измеряет ваш эндпоинт: как быстро он отвечает, работают ли заявленные вызовы инструментов и вывод JSON, несколько проверок на задачах, ответы на фиксированные вопросы в сравнении с эталонной моделью и совпадают ли сообщаемые вами количества токенов с подсчетом самого шлюза. Эндпоинт, не прошедший проверку, приостанавливается с указанием причины и позже проверяется снова.
- 3Проверенный эндпоинт конкурирует с собственным маршрутом по цене, измеренной скорости и измеренному качеству. Клиенты платят вашу цену плюс наценку шлюза и никогда не узнают, какой провайдер их обслужил.
- 4Каждый обслуженный вами запрос добавляет к сумме, которую вам должны, столько, сколько ваша цена говорит за его токены. Оператор отправляет выплаты на ваш кошелек вручную и записывает здесь каждую транзакцию.
- 5Укажите, что вы храните. Пока оператор не проверил ваше заявление, считается, что вы храните промпты, и политика по умолчанию не отправляет трафик провайдеру, который может их хранить.