Marketplace
Layani model terbuka dan dapat bayaran
Jalankan model terbuka di perangkat keras Anda sendiri, tentukan harga Anda, dan gateway mengirimkan permintaan kepada Anda saat Anda pilihan yang lebih baik. Anda dibayar sesuai harga Anda untuk setiap token yang Anda layani.
Cara kerjanya
- 1Daftar dengan endpoint Anda, model yang dilayaninya, harga Anda per 1M token masuk dan keluar, dan dompet tempat Anda ingin dibayar. Operator meninjau setiap pendaftaran.
- 2Sebelum permintaan pelanggan mana pun sampai kepada Anda, gateway mengukur endpoint Anda: seberapa cepat ia menjawab, apakah pemanggilan alat dan keluaran JSON yang Anda nyatakan berfungsi, beberapa uji tugas, jawaban atas pertanyaan tetap yang dibandingkan dengan model rujukan, dan apakah jumlah token yang Anda laporkan cocok dengan hitungan gateway sendiri. Endpoint yang gagal dijeda beserta alasannya dan diperiksa lagi nanti.
- 3Endpoint yang terverifikasi bersaing dengan rute utama dalam harga, kecepatan terukur, dan kualitas terukur. Pelanggan membayar harga Anda ditambah margin gateway, dan tidak pernah tahu penyedia mana yang melayani mereka.
- 4Setiap permintaan yang Anda layani menambahkan nilai sesuai harga Anda untuk tokennya ke jumlah yang terutang kepada Anda. Operator mengirim pembayaran secara manual ke dompet Anda dan mencatat setiap transaksi di sini.
- 5Nyatakan apa yang Anda simpan. Sampai operator memverifikasi pernyataan Anda, Anda dianggap menyimpan prompt, dan kebijakan bawaan tidak mengirim lalu lintas ke penyedia yang mungkin menyimpannya.