Mercado
Sirve modelos abiertos y cobra
Ejecuta un modelo abierto en tu propio hardware, pon tu precio, y el gateway te envía solicitudes cuando eres la mejor opción. Se te paga lo que dice tu precio por cada token que sirves.
Cómo funciona
- 1Envía tu solicitud con tu endpoint, los modelos que sirve, tu precio por 1M de tokens de entrada y de salida, y la billetera en la que quieres cobrar. El operador revisa cada solicitud.
- 2Antes de que te llegue cualquier solicitud de un cliente, el gateway mide tu endpoint: qué tan rápido responde, si funcionan las llamadas a herramientas y la salida JSON que declaras, algunas pruebas de tareas, respuestas a preguntas fijas comparadas con un modelo de referencia, y si los recuentos de tokens que reportas coinciden con el recuento del propio gateway. Un endpoint que falla se pausa con el motivo y se vuelve a revisar más tarde.
- 3Un endpoint verificado compite con la ruta de la casa en precio, velocidad medida y calidad medida. Los clientes pagan tu precio más el margen del gateway, y nunca saben qué proveedor los atendió.
- 4Cada solicitud que sirves suma a lo que se te debe lo que dice tu precio por sus tokens. El operador envía los pagos a mano a tu billetera y registra aquí cada transacción.
- 5Indica qué conservas. Hasta que el operador verifique tu declaración, cuenta como que conservas los prompts, y la política por defecto no envía tráfico a un proveedor que pueda conservarlos.