市场
提供开放模型 按量获酬
在你自己的硬件上运行开放模型,定下你的价格,当你是更划算的选择时,网关就把请求发给你。你提供的每个 token 都按你的价格付给你。
运作方式
- 1提交你的端点、它提供的模型、你每 1M 输入和输出 token 的价格,以及你希望收款的钱包。运营者会审核每一份申请。
- 2在任何客户请求到达你之前,网关会测量你的端点:响应有多快,你声明的工具调用和 JSON 输出是否可用,几项任务测试,对固定问题的回答与参考模型的比较,以及你报告的 token 数是否与网关自己的计数一致。未通过的端点会附上原因被暂停,稍后再次检查。
- 3通过验证的端点在价格、实测速度和实测质量上与平台自有路由竞争。客户支付你的价格加上网关的加价,且永远不会知道是哪个服务商为他们提供了服务。
- 4你提供的每个请求,都会按你的价格把其 token 的费用计入应付给你的金额。运营者手动把款项发到你的钱包,并在这里记录每笔交易。
- 5说明你会保留什么。在运营者核实你的声明之前,视为会保留提示词,默认策略不会把流量发给可能保留提示词的服务商。