Marketplace
Sirva modelos abertos e receba
Rode um modelo aberto no seu próprio hardware, defina seu preço, e o gateway envia requisições para você quando você é a melhor compra. Você recebe o que seu preço diz por cada token que serviu.
Como funciona
- 1Candidate-se com seu endpoint, os modelos que ele serve, seu preço por 1M de tokens de entrada e de saída, e a carteira em que você quer receber. O operador analisa cada candidatura.
- 2Antes que qualquer requisição de cliente chegue até você, o gateway mede seu endpoint: a rapidez com que responde, se a chamada de ferramentas e a saída JSON que você declara funcionam, alguns testes de tarefas, respostas a perguntas fixas comparadas com um modelo de referência, e se as contagens de tokens que você informa batem com a contagem do próprio gateway. Um endpoint que falha é pausado com o motivo e verificado de novo mais tarde.
- 3Um endpoint verificado concorre com a rota da casa em preço, velocidade medida e qualidade medida. Os clientes pagam seu preço mais a margem do gateway, e nunca sabem qual provedor os atendeu.
- 4Cada requisição que você serve soma ao que lhe é devido o que seu preço diz pelos tokens dela. O operador envia os pagamentos manualmente para sua carteira e registra cada transação aqui.
- 5Diga o que você guarda. Até o operador verificar sua declaração, ela conta como guardar prompts, e a política padrão não envia tráfego a um provedor que possa guardá-los.