Chợ
Phục vụ mô hình mở để kiếm tiền
Chạy một mô hình mở trên phần cứng của bạn, đặt giá của bạn, và gateway gửi yêu cầu cho bạn khi bạn là lựa chọn tốt hơn. Bạn được trả đúng theo giá của bạn cho mỗi token bạn phục vụ.
Cách hoạt động
- 1Đăng ký với endpoint của bạn, các mô hình nó phục vụ, giá của bạn cho mỗi 1M token đầu vào và đầu ra, và ví bạn muốn nhận tiền. Nhà vận hành xem xét mọi đơn đăng ký.
- 2Trước khi bất kỳ yêu cầu nào của khách hàng đến với bạn, gateway đo endpoint của bạn: nó trả lời nhanh đến đâu, gọi công cụ và đầu ra JSON bạn khai báo có hoạt động không, một vài bài kiểm tra tác vụ, câu trả lời cho các câu hỏi cố định so với một mô hình tham chiếu, và số token bạn báo có khớp với số đếm của chính gateway không. Một endpoint không đạt sẽ bị tạm dừng kèm lý do và được kiểm tra lại sau.
- 3Một endpoint đã xác minh cạnh tranh với tuyến của nhà về giá, tốc độ đo được và chất lượng đo được. Khách hàng trả giá của bạn cộng với biên của gateway, và không bao giờ biết nhà cung cấp nào đã phục vụ họ.
- 4Mỗi yêu cầu bạn phục vụ cộng thêm vào số tiền bạn được nợ đúng theo giá của bạn cho số token của nó. Nhà vận hành gửi tiền thủ công vào ví của bạn và ghi lại từng giao dịch tại đây.
- 5Hãy cho biết bạn giữ lại những gì. Cho đến khi nhà vận hành xác minh khai báo của bạn, nó được tính là có giữ prompt, và chính sách mặc định không gửi lưu lượng đến nhà cung cấp có thể giữ chúng.