Chạy gateway EveryAPI trong LangSmith
LangSmith là nền tảng khả năng quan sát và đánh giá dành cho ứng dụng LangChain cùng các client đã gắn instrumentation. Hãy truy vết một client OpenAI đang trỏ tới EveryAPI, và kiểm soát riêng những đầu vào, đầu ra nào của ứng dụng được gửi tới LangSmith.
Một dòng base URL trỏ LangSmith sang EveryAPI
Base URL toàn cầu mặc định / Base URL ưu tiên Trung Quốc: https://api.everyapi.ai/v1 / https://api-cn.everyapi.ai/v1
Từ số không đến lệnh gọi đầu tiên
- Đăng ký LangSmith
Hãy tạo một dự án LangSmith hoặc dùng một bản tự host đã được phê duyệt, rồi lấy thông tin xác thực theo tài liệu LangSmith hiện hành.
smith.langchain.com
- Cài đặt SDK
Hãy cài phiên bản LangSmith SDK tương thích với các gói OpenAI hoặc LangChain của bạn.
- Cấu hình env vars
Hãy cấu hình phần truy vết và thiết lập dự án của LangSmith qua các biến môi trường hoặc tùy chọn client hiện hành. Lưu cả khóa LangSmith lẫn khóa EveryAPI dưới dạng secret.
- Trỏ client OpenAI tới EveryAPI + wrap_openai
Hãy gắn instrumentation cho client OpenAI có base URL là https://api.everyapi.ai/v1 bằng wrapper hoặc phần tích hợp LangChain mà SDK bạn đã cài hỗ trợ.
- Xem trace
Hãy gửi một yêu cầu thử và xác nhận đúng dữ liệu telemetry mong muốn được thu lại. Với mức sử dụng và tính phí của EveryAPI, hãy lấy bảng điều khiển EveryAPI làm căn cứ.
Về LangSmith × EveryAPI
Số liệu chi phí trong LangSmith không khớp với bảng điều khiển EveryAPI?
LangSmith ước tính chi phí dựa trên giá công khai của các model upstream; EveryAPI dùng giá thống nhất + ghép nối, và khoản bạn thực sự bị tính với tư cách người mua là con số hiển thị trên bảng điều khiển EveryAPI. Tình huống này giống với Langfuse / Helicone.
wrap_openai và decorator traceable khác nhau thế nào?
wrap_openai thêm truy vết cho một instance client OpenAI duy nhất; @traceable thêm một span cho bất kỳ hàm nào (không chỉ LLM). Bạn có thể dùng cả hai cùng lúc: wrap_openai bắt lượt gọi LLM, còn @traceable bọc hàm nghiệp vụ của bạn quanh nó để tạo thành cây trace.