EveryAPI ゲートウェイを次の環境で動かす: Langfuse
Langfuse はオープンソースの LLM observability プラットフォームです(自己ホスト + SaaS)。EveryAPI を補完する関係で——EveryAPI は LLM 推論ゲートウェイ、Langfuse は トレース / コスト / eval プラットフォームです。1行の SDK デコレーターで OpenAI クライアントをラップすれば、EveryAPI を経由するすべてのリクエストが自動的に Langfuse トレースに記録されます。
base URL を 1 行書くだけで Langfuse を EveryAPI に向けられます
デフォルトのグローバル Base URL / 中国向け優先 Base URL: https://api.everyapi.ai/v1 / https://api-cn.everyapi.ai/v1
ゼロから最初の呼び出しまで
- Langfuse に登録
cloud.langfuse.com(SaaS)でサインアップするか、docker compose でセルフホストします。public キー + secret キーを取得してください。
cloud.langfuse.com
- Langfuse SDK をインストール
pip install langfuse openai または npm i langfuse openai。Langfuse は wrapper であり、置き換えではありません。
- OpenAI クライアントを EveryAPI に向ける
base_url を https://api.everyapi.ai/v1 に、api_key を sk-everyapi-... に設定します——通常の EveryAPI のセットアップと同じです。
- Langfuse に クライアントをラップさせる
Python では from langfuse.openai import openai(元の import openai を置き換え)、TS では observeOpenAI(new OpenAI(...))。Langfuse がすべての呼び出しを自動的に トレース します。
- トレースを確認
Langfuse のダッシュボードで、各呼び出しの 入力 / 出力 / レイテンシ / コスト / tokens を確認できます。コストは Langfuse がモデルに基づいて推定したもので、EveryAPI の実際の課金とは異なります(EveryAPI は統一価格を使い、Langfuse は上流のリスト価格から推定します) —— 正式な数値は EveryAPI のダッシュボードです。