Trên thiết bị này
Mô hình chạy ngay trên thiết bị của bạn
Các mô hình mở nhỏ được tải một lần vào trình duyệt này và trả lời trên GPU của bạn. Không cần khóa, không cần đăng nhập, và không điều gì bạn gõ rời khỏi thiết bị. Chúng miễn phí vì thiết bị của bạn làm việc đó.
- Không khóa, không đăng nhập
- Lời bạn gõ ở lại trên thiết bị này
- Miễn phí, vì GPU của bạn làm việc đó
Thiết bị này
Đang hỏi trình duyệt này về GPU của nó
6 mô hình, từ nhỏ đến lớn
Mỗi mô hình là một lần tải bạn tự chọn. Nó ở lại trong trình duyệt này cho đến khi bạn xóa.
SmolLM2 360M
của Hugging Face
tải 212 MB · ngữ cảnh 4k
cần khoảng 376 MB bộ nhớ GPU
Qwen3.5 0.8B
của Qwen
tải 443 MB · ngữ cảnh 4k
cần khoảng 1,6 GB bộ nhớ GPU
một mô hình suy luận, được yêu cầu trả lời thẳng
Gemma 3 1B
của Google
tải 602 MB · ngữ cảnh 4k
cần khoảng 711 MB bộ nhớ GPU
Llama 3.2 1B
của Meta
tải 710 MB · ngữ cảnh 4k
cần khoảng 879 MB bộ nhớ GPU
Qwen3 1.7B
của Qwen
tải 985 MB · ngữ cảnh 4k
cần khoảng 2 GB bộ nhớ GPU
một mô hình suy luận, được yêu cầu trả lời thẳng
Llama 3.2 3B
của Meta
tải 1,8 GB · ngữ cảnh 4k
cần khoảng 2,3 GB bộ nhớ GPU
Cách hoạt động
Bộ máy là WebLLM của MLC (Apache 2.0), phiên bản 0.2.85. Mỗi mô hình được biên dịch sẵn thành các chương trình WebGPU và chạy trong một worker bên cạnh trang này.
Trọng số đến từ Hugging Face và mô hình đã biên dịch đến từ GitHub, chỉ một lần. Trình duyệt này giữ chúng trong Cache Storage cho đến khi bạn xóa ở đây hoặc xóa dữ liệu của trang.
GPU của bạn viết mọi câu trả lời. Không lời nhắc và không câu trả lời nào đi đến Antimatter hay bất kỳ nhà cung cấp mô hình nào. Trong trò chuyện, một hội thoại được lưu như các hội thoại khác của bạn.
Các mô hình lớn hơn ở trên đám mây, sau một khóa duy nhất. Mở trò chuyện