GPU ของคุณ ว่างอยู่เกือบทั้งวัน. ชี้มันไปที่เกตเวย์
รันเอเจนต์ Edge แบบโอเพนซอร์สบนเครื่องที่มี GPU ว่างอยู่ เครื่องของคุณจะเป็นฝ่ายเชื่อมออกไปหา EveryAPI แล้วตอบคำขอจากมาร์เก็ตเพลสด้วย Ollama ที่รันอยู่ในเครื่อง — ไม่ต้องเปิดพอร์ต ไม่ต้องมีที่อยู่สาธารณะ ไม่ต้องมีโดเมน ไม่ต้องแก้ไฟร์วอลล์ ผู้ขายที่ได้รับอนุมัติจะเพิ่มโหนดจากแดชบอร์ด แล้วได้รหัสติดตั้งแบบใช้ครั้งเดียว
อุโมงค์เปิดออกไปข้างนอก และนั่นคือหัวใจสำคัญทั้งหมด
เครื่องที่บ้านและที่ออฟฟิศแทบจะไม่มีเครื่องไหนมีที่อยู่สาธารณะบนอินเทอร์เน็ต และเราก็ไม่อยากขอให้คุณไปหามา จึงทำอีกแบบ: เครื่องของคุณเป็นฝ่ายเปิดการเชื่อมต่อมาหาเรา แล้วค้างไว้อย่างนั้น เหมือนที่แอปแชทเชื่อมต่อค้างไว้ตลอด
- 01ผู้ซื้อส่งคำขอธรรมดา ๆ มา ในรูปแบบที่เครื่องมือของเขาใช้อยู่แล้ว
- 02เกตเวย์จัดคำขอให้เรียบร้อย แล้วเลือกโหนดที่มีโมเดลตามที่เขาขอมา
- 03เอเจนต์ของคุณรับงานผ่านการเชื่อมต่อที่ตัวเองเปิดไว้ แล้วเช็กว่างานนี้เป็นคำขอชนิดที่มันได้รับอนุญาตให้ส่งต่อ ซึ่งมีอยู่ไม่กี่ชนิด
- 04Ollama ในเครื่องทำงานบน GPU ของคุณ คำตอบไหลกลับไปตามทางเดิมที่มันมา
ลูกศรที่ชี้เข้าเครื่องของคุณ จริง ๆ แล้วคือการเชื่อมต่อที่เครื่องของคุณเปิดออกมาเอง เราเอื้อมเข้าไปในเครือข่ายของคุณไม่ได้ — โหนดแค่ต้องต่อไปถึง api.everyapi.ai ได้ก็พอ เหมือนกับการเปิดเว็บไซต์ทั่วไป
GPU ของคุณผลิตคำออกมาได้เท่าไรก็ส่งออกไปเท่านั้น ผู้ซื้อจึงเห็นคำตอบค่อย ๆ โผล่ขึ้นมา ไม่ต้องรอจนครบทั้งก้อน ถ้าการเชื่อมต่อหลุดไปกลางคัน คำขอนั้นจะนับเป็นล้มเหลว — ไม่คิดเงินเหมือนว่ามันทำจนจบ
ข้อความที่คุยต่อในบทสนทนาเดียวกันจะกลับมาที่โหนดเดิม แบบนี้เร็วกว่า เพราะเครื่องของคุณยังมีเรื่องที่คุยกันไว้ก่อนหน้าค้างอยู่ เวลามีโหนดเข้ามาหรือหลุดออกไป จะกระทบเฉพาะบทสนทนาที่อยู่บนโหนดพวกนั้นเท่านั้น
คุณจะเอากี่เครื่องมาผูกกับช่องเดียวก็ได้ ช่องนั้นจะเปิดให้บริการทุกโมเดลที่เครื่องของคุณมีรวมกัน แต่ละเครื่องจึงไม่จำเป็นต้องลงโมเดลชุดเดียวกัน
โหนดของคุณจะส่งสัญญาณบอกว่ายังอยู่เป็นระยะ ถ้ามันหยุดส่ง — ไฟดับ รีสตาร์ท เน็ตหลุด — เราจะรู้ แล้วทำเครื่องหมายว่าออฟไลน์ และหยุดส่งงานไปให้จนกว่ามันจะกลับมา ไม่มีใครต้องลงมือทำอะไรเลย
คำสั่งเดียวบนเครื่องที่มี GPU
เพิ่มโหนดในแดชบอร์ดเพื่อรับรหัสติดตั้งแบบใช้ได้ครั้งเดียว จากนั้นรันตัวติดตั้งบนเครื่องนั้น ตัวติดตั้งจะดูว่าคุณมีฮาร์ดแวร์อะไร ตั้งค่าทุกอย่างให้ตรงกับที่มี แล้วเปิดใช้งานให้
สร้างโหนด
ผู้ขายที่ได้รับอนุมัติเพิ่มโหนด edge ในแดชบอร์ด แล้วจะได้รหัสติดตั้งมาหนึ่งชุด แสดงให้ดูแค่ครั้งเดียว ฝั่งเราเก็บไว้แค่ฉบับที่สลับจนอ่านกลับไม่ได้ และพอเครื่องของคุณเชื่อมต่อเข้ามาแล้ว เราก็ลบแม้แต่ฉบับนั้นทิ้ง
รันตัวติดตั้ง
ตัวติดตั้งจะดูว่า GPU ของคุณมีหน่วยความจำเท่าไร และดิสก์เหลือว่างเท่าไร แล้วเลือกโมเดลที่ใส่ลงไปแล้วยังเหลือที่สบาย ๆ ดาวน์โหลดลงมา จากนั้นลองยิงคำถามทดสอบเข้าไปจริง ๆ ผ่านแล้วถึงจะบอกคุณว่าใช้ได้ ถ้าอยากเลือกโมเดลเอง ให้ใส่ --model
ดูโหนดขึ้นออนไลน์
เครื่องของคุณจะสร้างคีย์ส่วนตัวของตัวเองขึ้นมา ยืนยันว่าตัวเองเป็นใคร แล้วบอกเราว่ามีโมเดลอะไรอยู่บ้าง ช่องของคุณในมาร์เก็ตเพลสจะยังปิดอยู่ จนกว่าจะมีเครื่องเชื่อมต่อเข้ามาพร้อมโมเดลที่ขายได้อย่างน้อยหนึ่งตัว
# ค่าเหล่านี้ได้จากแดชบอร์ดตอนที่คุณสร้างโหนดcurl -fsSL https://dl.everyapi.ai/edge/install.sh | bash -s -- \ --node-id 42 --token edgert_... # เลือกโมเดลเองแทนที่จะปล่อยให้ตัวติดตั้งเลือกcurl -fsSL https://dl.everyapi.ai/edge/install.sh | bash -s -- \ --node-id 42 --token edgert_... --model qwen2.5:7bตัวติดตั้งทำไว้สองสามอย่าง เพื่อไม่ให้การลองครั้งแรกจบลงตรงที่คุณติดค้างอยู่: มันจะไม่ยอมรันในโฟลเดอร์ที่คุณเก็บโค้ดไว้ รหัสติดตั้งของคุณจะได้ไม่ไปตกอยู่ในที่ที่คุณอาจเผลอแชร์ออกไป อีกอย่างคือมันจะเก็บรหัสนั้นไว้จนกว่าเราจะยืนยันจริง ๆ ว่าเชื่อมต่อแล้ว ครั้งแรกที่พลาดจึงลองใหม่ได้ แทนที่จะเหลือโหนดที่ใช้ไม่ได้ทิ้งไว้ และถ้าจะรันอีกรอบทีหลังก็ไม่มีปัญหา
สามเส้นทาง GPU ตรวจจับให้อัตโนมัติ
ตัวติดตั้งจะดูเองว่าเครื่องคุณมีอะไรอยู่ — NVIDIA ก่อน แล้ว AMD แล้ว Apple Silicon แล้วก็ CPU — จากนั้นตั้งค่าตัวเองให้ตรงกับที่เจอ ถ้าขาดอะไรไป มันจะบอกคุณแล้วหยุด ไม่มีการลงอะไรลงเครื่องของคุณโดยไม่ถามก่อน
เป็นแบบที่ใช้กันมากที่สุด และเป็นค่าเริ่มต้น คุณต้องลงไดรเวอร์การ์ดจอที่ใหม่พอสมควร กับ NVIDIA Container Toolkit ไว้ก่อน
ใช้กับการ์ด AMD ได้ ขอแค่คุณลง ROCm ของ AMD ไว้ในเครื่องก่อน
Mac ยกชิปกราฟิกให้ Docker ใช้ไม่ได้ บน Mac เราจึงรันโมเดลบนเครื่องตรง ๆ และมีแค่เอเจนต์เท่านั้นที่รันอยู่ในคอนเทนเนอร์
มันจะรันได้ และใช้ CPU ตอบแทนที่จะใช้การ์ดจอ เอาไว้ลองใช้ดูก็พอไหว และมีงานอยู่ประเภทหนึ่งที่มันทำได้ดีจริง ๆ (แปลงข้อความให้เป็นตัวเลขที่ค้นหาง่าย) แต่ถ้าจะขายแชท มันช้าเกินไปมากจนไม่คุ้ม
คุณต้องมี Docker ติดตั้งไว้ พร้อมกับ Docker Compose รุ่นปัจจุบัน — ทั้งตัวติดตั้งและ CLI จะแค่ตรวจดูให้ ถ้าไม่มีก็ยื่นลิงก์ให้ ไม่ได้ลงอะไรให้เอง เอเจนต์ edge ทำงานบน Linux และ macOS
หลังติดตั้งเสร็จ ทุกอย่างเหลือแค่คำสั่งเดียว
คำสั่งเดียวครอบคลุมทุกอย่างที่โหนดที่รันอยู่ต้องใช้ และแดชบอร์ดก็แสดงสิ่งเดียวกัน แต่ละโหนดอยู่ในพื้นที่ของตัวเองบนเครื่อง คุณจึงรันพร้อมกันหลายโหนดได้
everyapi edge statusแสดงสิ่งที่เกิดขึ้นบนเครื่องของคุณวางคู่กับสิ่งที่เราเห็น — ออนไลน์หรือออฟไลน์ รายงานตัวครั้งล่าสุดเมื่อไร และมีโมเดลอะไรติดตั้งอยู่บ้าง
everyapi edge modelsเพิ่ม ลบ และดูรายชื่อโมเดลบนโหนด ใช้ได้แม้ไม่มีเทอร์มินัลเปิดอยู่ คุณจึงเขียนเป็นสคริปต์ได้
everyapi edge pauseหยุดไม่ให้งานใหม่เข้ามา และคงอยู่แบบนั้นแม้จะรีสตาร์ท — ไม่มีอะไรแอบเอามันกลับไปทำงาน ถ้าคุณรันอยู่หลายเครื่อง หยุดไปเครื่องหนึ่ง เครื่องที่เหลือก็ยังทำงานต่อ
everyapi edge logs -fดูว่าโหนดของคุณกำลังทำอะไรอยู่แบบเรียลไทม์ ถ้าไม่อยากใช้เทอร์มินัล แดชบอร์ดก็แสดงสิ่งเดียวกันแยกตามโหนด
everyapi edge updateดึงเวอร์ชันล่าสุดมาแล้วรีสตาร์ท ไม่มีอะไรอัปเดตเองทั้งนั้น — ซอฟต์แวร์บนเครื่องของคุณจะเปลี่ยนก็ต่อเมื่อคุณรันคำสั่งนี้เท่านั้น
everyapi edge removeปิดทุกอย่าง เก็บกวาดไฟล์ที่มันสร้างไว้ แล้วลบโหนดออก เว้นแต่คุณอยากให้มันอยู่ในรายการต่อ ทุกอย่างนี้มันจะถามคุณก่อนลงมือ
เราจึงบอกให้ชัดว่ามันทำอะไรได้ และทำอะไรไม่ได้
ทั้งหมดนี้ไม่ใช่คำสัญญาที่เราขอให้คุณเชื่อไปก่อน — แต่ละข้อคือวิธีที่ซอฟต์แวร์ตัวนี้ถูกสร้างขึ้นมา และคุณอ่านโค้ดเองได้
ครั้งแรกที่รัน เอเจนต์จะสร้างกุญแจส่วนตัวขึ้นมาหนึ่งดอก แล้วล็อกไว้ให้มีแต่คุณที่อ่านได้ ถ้าวันไหนไฟล์นั้นกลายเป็นว่าคนอื่นก็อ่านได้ เอเจนต์จะไม่ยอมเริ่มทำงาน แทนที่จะรันต่อไปเฉย ๆ ส่วนที่เรามองเห็นมีแค่ครึ่งที่เปิดเผยได้เท่านั้น
เอเจนต์จะส่งต่อเฉพาะคำขอไม่กี่แบบที่โมเดลต้องใช้ตอบเท่านั้น และข้อจำกัดนี้ฝังอยู่ในตัวเอเจนต์เอง ไม่ใช่สิ่งที่เราตั้งค่าได้ ต่อให้ฝั่งเราถูกเจาะ ก็สั่งให้เครื่องของคุณไปทำอย่างอื่นไม่ได้อยู่ดี
ในตัวเอเจนต์ไม่มีที่ให้เก็บมันตั้งแต่แรก — บันทึกที่มันเก็บไว้ไม่มีช่องสำหรับคำถามหรือคำตอบเลย สิ่งที่มันจดไว้คือใช้โมเดลไหน ใช้เวลานานแค่ไหน ประมวลผลไปมากเท่าไร และป้ายกำกับลูกค้าที่ไม่สื่อความหมายอะไร ไม่มีคำถาม ไม่มีคำตอบ ไม่มีคีย์ ไม่มีอีเมล
รหัสนี้จะแสดงให้เห็นแค่ครั้งเดียว เราเก็บไว้แค่ฉบับที่ถูกสลับจนอ่านไม่ออก และพอเครื่องของคุณต่อเข้ามาครั้งแรก เราก็ลบแม้แต่ฉบับนั้นทิ้ง — ใครก็เอาไปใช้ซ้ำไม่ได้อีก หลังจากนั้นเครื่องของคุณจะใช้กุญแจของตัวเองบอกว่าเป็นใครทุกครั้ง
เวอร์ชันใหม่จะลงมาก็ต่อเมื่อคุณไปเอามันเองเท่านั้น และถ้าคุณลบโหนดออกจากแดชบอร์ด เอเจนต์จะถูกบอกให้หยุดถาวร — มันจะปิดตัวลงพร้อมเหตุผลที่ชัดเจน แทนที่จะลองใหม่ไปเรื่อย ๆ ไม่จบสักที
จะนับเป็นรายได้ของคุณก็ต่อเมื่อคำขอนั้นมีคนจ่ายเงินจริงแล้วเท่านั้น และแต่ละคำขอนับแค่ครั้งเดียว ถ้าตอนนั้นเครื่องของคุณออฟไลน์อยู่ ครั้งต่อไปที่เชื่อมต่อเข้ามา มันจะรับส่วนที่ตกหล่นไปคืน รายได้จะเข้าไปที่ยอดคงเหลือของผู้ขาย ส่วนการย้ายไปยอดคงเหลือหลักเป็นอีกขั้นตอนหนึ่งต่างหาก
เอเจนต์เป็นโอเพนซอร์สภายใต้ Apache 2.0 และโค้ดทั้งหมดอยู่ที่ github.com/everyapi-ai/everyapi-edge — รวมถึงทุกอย่างที่เล่ามาข้างบนนี้ด้วย
คำถามที่ควรถามก่อนลงมือ
หากมีคำถามอื่น ส่งอีเมลถึง support@everyapi.ai — มีคนจริง ๆ ตอบกลับ
ไม่ได้ โหนด edge เป็นส่วนหนึ่งของมาร์เก็ตเพลส และสิทธิ์ผู้ขายต้องผ่านการตรวจสอบ คุณต้องยื่นคำขอก่อน แล้วเราจะตรวจดูรอบหนึ่ง — ดูอย่างเช่นว่าเปิดบัญชีมานานแค่ไหน ที่ผ่านมาใช้งานแบบไหน ซึ่งเงื่อนไขพวกนี้ผู้ดำเนินการแพลตฟอร์มปรับได้ ผ่านแล้วถึงจะเพิ่มโหนดได้
กำลังประมวลผล GPU ที่ว่างอยู่ ชี้ไปยังงานที่มีประโยชน์
สมัครขอสิทธิ์ผู้ขาย ลงทะเบียนโหนด แล้วรันคำสั่งเดียวบนเครื่องนั้น สิทธิ์ผู้ขายจะเปิดให้หลังเราตรวจสอบคำขอของคุณ