GPU của bạn nhàn rỗi phần lớn thời gian trong ngày. Hãy trỏ nó tới gateway.
Hãy chạy Edge agent mã nguồn mở trên một máy có GPU đang rảnh. Máy của bạn chủ động kết nối ra EveryAPI và trả lời các yêu cầu từ chợ bằng một bản Ollama chạy ngay trên máy đó — không phải mở cổng, không cần địa chỉ công khai, không cần tên miền, không phải đụng tới tường lửa. Người bán được duyệt sẽ thêm một node từ bảng điều khiển và nhận một mã cài đặt dùng một lần.
Đường hầm đi ra ngoài, và đó chính là điểm mấu chốt.
Máy ở nhà và ở văn phòng gần như không bao giờ có địa chỉ công cộng, và chúng tôi cũng không muốn bắt bạn đi kiếm một cái. Thay vào đó, máy của bạn tự mở một kết nối tới chúng tôi rồi giữ nguyên kết nối đó, giống như cách một ứng dụng chat lúc nào cũng đang kết nối.
- 01Người muaGửi một yêu cầu bình thường, theo đúng định dạng mà công cụ của họ vốn đã dùng.
- 02GatewayDọn lại yêu cầu cho gọn, rồi chọn một node đang có sẵn model mà họ hỏi tới.
- 03Agent của bạnNhận việc trên chính đường kết nối mà nó đã mở, rồi kiểm tra xem đây có phải một trong số ít kiểu yêu cầu mà nó được phép chuyển tiếp hay không.
- 04Ollama cục bộChạy trên GPU của bạn. Câu trả lời đi ngược về theo đúng con đường lúc nãy nó đến.
Mũi tên chỉ vào máy bạn thật ra là kết nối do chính máy bạn tạo ra. Chúng tôi không với vào được mạng của bạn — node chỉ cần vào được api.everyapi.ai là đủ, y như vào một trang web bất kỳ.
GPU của bạn viết được chữ nào là gửi đi chữ đó, nên người mua thấy câu trả lời hiện dần ra chứ không phải ngồi chờ cho xong cả đoạn. Nếu kết nối đứt giữa chừng, yêu cầu đó bị tính là hỏng — chứ không tính tiền như thể nó đã chạy xong.
Những tin nhắn tiếp theo trong cùng một cuộc trò chuyện sẽ quay lại đúng node cũ, nhờ vậy mà nhanh, vì máy của bạn vẫn còn giữ phần nội dung trước đó. Có node vào hay ra thì cũng chỉ ảnh hưởng tới những cuộc trò chuyện vốn nằm trên các node đó.
Bạn muốn gắn bao nhiêu máy vào cùng một kênh cũng được. Kênh đó đưa ra tất cả những gì mấy máy của bạn cộng lại đang có, nên không phải máy nào cũng cần cài đúng những model như nhau.
Node của bạn cứ một lúc lại báo về một lần. Nếu nó im — mất điện, khởi động lại, rớt mạng — chúng tôi nhận ra, đánh dấu là offline, và ngừng giao việc cho tới khi nó quay lại. Không ai phải làm gì cả.
Một câu lệnh trên máy có GPU.
Thêm node trong bảng điều khiển để lấy một mã cài đặt dùng một lần, rồi chạy trình cài đặt ngay trên máy đó. Nó tự tìm hiểu bạn có phần cứng gì, dựng mọi thứ cho khớp, rồi khởi chạy nó.
Tạo node
Người bán được duyệt thêm một node edge trong bảng điều khiển và nhận một mã cài đặt, chỉ hiện đúng một lần. Bên chúng tôi chỉ giữ lại một bản đã xáo trộn của mã đó, và ngay cả bản ấy cũng bị xóa khi máy của bạn kết nối được.
Chạy trình cài đặt
Nó xem GPU của bạn có bao nhiêu bộ nhớ và đĩa còn trống bao nhiêu, chọn một model nằm vừa mà vẫn dư chỗ, tải về, rồi thật sự chạy thử một câu hỏi qua model đó trước khi báo với bạn là đã chạy được. Thêm --model nếu bạn muốn tự chọn.
Xem nó lên trực tuyến
Máy của bạn tự tạo một khóa bí mật của riêng nó, chứng minh nó đúng là nó, rồi cho chúng tôi biết nó đang có những model nào. Chỗ bạn rao trên chợ vẫn tắt cho tới khi có một máy kết nối vào kèm ít nhất một model bán được.
# Các giá trị này lấy từ bảng điều khiển khi bạn tạo nodecurl -fsSL https://dl.everyapi.ai/edge/install.sh | bash -s -- \ --node-id 42 --token edgert_... # Tự chọn model thay vì để nó tự quyếtcurl -fsSL https://dl.everyapi.ai/edge/install.sh | bash -s -- \ --node-id 42 --token edgert_... --model qwen2.5:7bTrình cài đặt làm vài việc để lần thử đầu tiên không khiến bạn mắc kẹt: nó sẽ không chạy bên trong thư mục mà bạn để code, nhờ vậy mã cài đặt của bạn không rơi vào chỗ mà bạn có thể lỡ tay chia sẻ đi; nó giữ mã đó cho tới khi chúng tôi thật sự xác nhận là đã kết nối, nên lần đầu hỏng thì thử lại được, chứ không phải ôm một node chết; và chạy lại về sau cũng không sao.
Ba nhánh GPU, tự động nhận diện
Trình cài đặt tự xem máy bạn có gì — NVIDIA trước, rồi AMD, rồi Apple Silicon, cuối cùng là CPU — và tự sắp đặt theo đó. Thiếu thứ gì thì nó nói cho bạn biết rồi dừng lại; nó không bao giờ tự ý cài thứ gì lên máy bạn mà không hỏi.
Cách hay gặp nhất, cũng là cách mặc định. Bạn cần có sẵn driver card màn hình tương đối mới và bộ container toolkit của NVIDIA trước đã.
Dùng được với card AMD, miễn là trước đó bạn đã cài ROCm của AMD lên máy.
Máy Mac không chia được con chip đồ họa cho Docker, nên trên Mac chúng tôi cho model chạy thẳng trên máy, chỉ có agent là chạy trong container.
Nó vẫn chạy được và vẫn trả lời, chỉ là dùng CPU thay cho card màn hình. Đem ra thử thì ổn, và có một loại việc nó làm được thật (biến chữ thành những con số dễ tìm kiếm), nhưng để bán chat thì chậm quá mức, không đáng.
Bạn cần cài sẵn Docker, kèm một bản Docker Compose đời mới — cả trình cài đặt lẫn CLI đều chỉ kiểm tra rồi đưa bạn một đường dẫn nếu thiếu, chứ tự chúng không cài gì hết. Edge agent chạy được trên Linux và macOS.
Sau khi cài xong, mọi thứ đều gói gọn trong một câu lệnh
Một node đang chạy cần những gì thì một câu lệnh lo hết, và bảng điều khiển cũng hiện đúng những thứ đó. Mỗi node giữ riêng một chỗ của mình trên máy, nên bạn chạy vài node cùng lúc cũng được.
everyapi edge statusCho bạn thấy trên máy bạn đang có chuyện gì, đặt cạnh những gì chúng tôi nhìn thấy — trực tuyến hay ngoại tuyến, lần cuối nó báo về là lúc nào, và đang cài sẵn những model nào.
everyapi edge modelsThêm, bỏ và xem danh sách model trên một node. Không cần mở terminal cũng chạy được, nên bạn viết nó vào script được.
everyapi edge pauseViệc mới sẽ không vào nữa, và khởi động lại rồi thì vẫn giữ nguyên như vậy — không có gì lặng lẽ đẩy nó quay lại làm việc. Nếu bạn chạy nhiều máy, tạm dừng một máy thì những máy còn lại vẫn chạy.
everyapi edge logs -fXem node của bạn đang làm gì, ngay lúc đó. Nếu bạn không muốn dùng terminal thì bảng điều khiển cũng hiện đúng những thứ đó cho từng node.
everyapi edge updateTải bản mới nhất về rồi khởi động lại. Không có gì tự cập nhật — phần mềm trên máy bạn chỉ thay đổi khi chính bạn chạy lệnh này.
everyapi edge removeTắt hết mọi thứ, dọn sạch những tệp nó đã tạo ra, rồi xóa node đi — trừ khi bạn muốn giữ node lại trong danh sách. Việc nào nó cũng hỏi bạn trước khi làm.
Đây chính xác là những gì nó làm được và không làm được.
Không điều nào ở đây là lời hứa mà chúng tôi bảo bạn cứ tin — mỗi điều đều là cách phần mềm này được viết ra, và code thì bạn tự đọc được.
Lần đầu chạy, agent tạo một khóa riêng tư rồi khóa nó lại để chỉ mình bạn đọc được. Nếu có lúc nào tệp đó thành ra người khác cũng đọc được, agent sẽ từ chối khởi động chứ không chạy tiếp. Thứ chúng tôi nhìn thấy, trước sau cũng chỉ là nửa công khai.
Agent chỉ chuyển tiếp mấy loại yêu cầu mà một model cần để trả lời, và giới hạn đó nằm sẵn trong chính agent chứ không phải thứ chúng tôi chỉnh được. Kể cả khi phía chúng tôi bị chiếm quyền, cũng không thể bắt máy của bạn làm việc gì khác.
Trong agent không có chỗ nào để đặt nó — bản ghi mà nó giữ không chừa ô nào cho câu hỏi hay câu trả lời. Nó ghi lại đã dùng model nào, mất bao lâu, xử lý hết bao nhiêu, và một nhãn khách hàng chẳng có ý nghĩa gì. Không câu hỏi, không câu trả lời, không khóa, không địa chỉ email.
Nó chỉ hiện ra một lần, chúng tôi chỉ giữ một bản đã bị xáo trộn, và ngay cả bản đó cũng bị xóa sau khi máy bạn kết nối lần đầu — nên không ai dùng lại nó được nữa. Từ đó về sau, mỗi lần máy bạn tự cho biết mình là ai bằng chính khóa của nó.
Phiên bản mới chỉ về khi chính bạn đi lấy. Còn nếu bạn xóa một node khỏi bảng điều khiển, agent sẽ được báo là dừng hẳn — nó tắt đi kèm một lý do rõ ràng, thay vì cứ thử lại mãi không thôi.
Tiền chỉ cộng cho bạn sau khi một yêu cầu thật sự đã được trả tiền, và mỗi yêu cầu chỉ tính một lần. Nếu lúc đó máy bạn đang offline thì lần kết nối sau nó sẽ nhận lại phần bị bỏ lỡ. Thu nhập vào số dư người bán, còn chuyển sang số dư chính là một bước riêng.
Agent là mã nguồn mở theo giấy phép Apache 2.0, và toàn bộ nó nằm ở github.com/everyapi-ai/everyapi-edge — gồm cả mọi điều đã nói ở trên.
Những câu hỏi nên hỏi trước
Còn thắc mắc nào khác, hãy gửi email tới support@everyapi.ai — có người thật trả lời.
Không. Node Edge là một phần của chợ, và quyền người bán phải qua xét duyệt. Trước tiên bạn nộp hồ sơ, rồi chúng tôi xét duyệt — nhìn những thứ như bạn có tài khoản bao lâu rồi và lâu nay dùng nó thế nào, mấy điều kiện đó bên vận hành còn chỉnh được. Qua rồi bạn mới thêm được node.
Năng lực GPU nhàn rỗi, trỏ đến nơi có ích.
Đăng ký quyền người bán, tạo một node, rồi chạy một lệnh trên máy đó. Quyền người bán được cấp sau khi chúng tôi xét duyệt hồ sơ.