Marktplatz

Offene Modelle bereitstellen gegen Bezahlung

Betreibe ein offenes Modell auf deiner eigenen Hardware, nenne deinen Preis, und das Gateway schickt dir Anfragen, wenn du das bessere Angebot bist. Du bekommst für jeden bedienten Token, was dein Preis sagt.

So funktioniert es

  1. 1Bewirb dich mit deinem Endpoint, den Modellen, die er bereitstellt, deinem Preis pro 1M Token Eingabe und Ausgabe und der Wallet, auf die du bezahlt werden willst. Der Betreiber prüft jede Bewerbung.
  2. 2Bevor dich irgendeine Kundenanfrage erreicht, misst das Gateway deinen Endpoint: wie schnell er antwortet, ob Tool-Aufrufe und JSON-Ausgabe funktionieren, die du angibst, einige Aufgabentests, Antworten auf feste Fragen im Vergleich mit einem Referenzmodell und ob die gemeldeten Tokenzahlen mit der eigenen Zählung des Gateways übereinstimmen. Ein Endpoint, der durchfällt, wird mit Begründung pausiert und später erneut geprüft.
  3. 3Ein geprüfter Endpoint konkurriert mit der hauseigenen Route bei Preis, gemessener Geschwindigkeit und gemessener Qualität. Kunden zahlen deinen Preis plus den Aufschlag des Gateways und erfahren nie, welcher Anbieter sie bedient hat.
  4. 4Jede Anfrage, die du bedienst, erhöht das, was dir zusteht, um das, was dein Preis für ihre Tokens sagt. Der Betreiber sendet Auszahlungen von Hand an deine Wallet und erfasst jede Transaktion hier.
  5. 5Gib an, was du speicherst. Bis der Betreiber deine Angabe geprüft hat, gilt sie als Speichern von Prompts, und die Standardrichtlinie schickt keinen Traffic an einen Anbieter, der sie speichern könnte.
Antimatter