Chạy gateway EveryAPI trong LlamaIndex
LlamaIndex có thể dùng một instance LLM tương thích OpenAI cho các ứng dụng RAG và agent. Hãy cấu hình phần tích hợp OpenAI của nó với base URL, khóa của EveryAPI và một ID model từ danh mục tài khoản của bạn, rồi kiểm thử những tính năng LlamaIndex mà ứng dụng của bạn thực sự dùng.
Một dòng base URL trỏ LlamaIndex sang EveryAPI
Base URL toàn cầu mặc định / Base URL ưu tiên Trung Quốc: https://api.everyapi.ai/v1 / https://api-cn.everyapi.ai/v1
from llama_index.llms.openai import OpenAI llm = OpenAI( model="claude-sonnet-5", # dùng một ID khả dụng trong tài khoản của bạn api_base="https://api.everyapi.ai/v1", api_key="sk-everyapi-...",) response = llm.complete("Explain RAG in three sentences")print(response)Từ số không đến lệnh gọi đầu tiên
- Cài đặt LlamaIndex
Cài LlamaIndex và phần tích hợp OpenAI LLM của nó: pip install llama-index llama-index-llms-openai.
- Đặt api_base + api_key cho instance LLM
Dùng OpenAI(api_base="https://api.everyapi.ai/v1", api_key="sk-everyapi-...", model="...") thay cho instance OpenAI() mặc định.
- Muốn một mặc định toàn cục? Đặt Settings.llm
Sau khi Settings.llm = everyapi_llm, mọi query engine / chat engine / agent đều tự động dùng nó — không cần truyền tham số llm mỗi lần.
Về LlamaIndex × EveryAPI
Vì sao không dùng llama-index-llms-anthropic / llama-index-llms-gemini?
Bạn có thể, nhưng mỗi nhà cung cấp upstream thêm vào là thêm một phụ thuộc nữa. Đi thống nhất qua llama-index-llms-openai + base URL của EveryAPI nghĩa là chỉ một khóa, một phụ thuộc.