다음 환경에서 EveryAPI 게이트웨이를 실행하세요: Langfuse
Langfuse는 오픈 소스 LLM observability 플랫폼입니다(자체 호스팅 + SaaS). EveryAPI를 보완하는 관계로—EveryAPI는 LLM 추론 게이트웨이, Langfuse는 추적 / 비용 / eval 플랫폼입니다. 한 줄의 SDK 데코레이터로 OpenAI 클라이언트를 감싸면, EveryAPI를 거치는 모든 요청이 자동으로 Langfuse 추적에 기록됩니다.
base URL 한 줄로 Langfuse을(를) EveryAPI로 연결합니다
기본 글로벌 Base URL / 중국 우선 Base URL: https://api.everyapi.ai/v1 / https://api-cn.everyapi.ai/v1
처음부터 첫 호출까지
- Langfuse 가입
cloud.langfuse.com(SaaS)에서 가입하거나 docker compose로 셀프 호스팅하세요. public 키 + secret 키를 받으세요.
cloud.langfuse.com
- Langfuse SDK 설치
pip install langfuse openai 또는 npm i langfuse openai. Langfuse는 wrapper이지 대체재가 아닙니다.
- OpenAI 클라이언트를 EveryAPI로 향하게 하기
base_url을 https://api.everyapi.ai/v1로, api_key를 sk-everyapi-... 로 설정합니다——일반적인 EveryAPI 설정과 동일합니다.
- Langfuse가 client를 감싸도록 하기
Python에서는 from langfuse.openai import openai(기존 import openai 대체), TS에서는 observeOpenAI(new OpenAI(...)). Langfuse가 모든 호출을 자동으로 trace합니다.
- 트레이스 확인
Langfuse 대시보드에서 각 호출의 입력 / 출력 / 지연 시간 / 비용 / tokens를 확인할 수 있습니다. 비용은 Langfuse가 모델을 기준으로 추정한 값으로, EveryAPI의 실제 청구와 다릅니다(EveryAPI는 통합 가격을 사용하고 Langfuse는 업스트림 정가로 추정함) —— 권위 있는 수치는 EveryAPI 대시보드입니다.