# LLM Gateway

OpenAI / Anthropic 互換の LLM 呼び出しです（SaaS 版のみ）。リクエスト / レスポンスは各社のネイティブ形式に準拠するため、**既存の OpenAI SDK / Anthropic SDK の base URL を差し替えるだけ**で使えます。

差し替えたあとは、モデルの選定・コストの上限・アクセス制限・利用状況の把握を Gateway 側に任せられます。モデルを変えても増やしても、アプリケーションのコードはそのままです。

## 経由すると何が変わるか

|                          | LLM Gateway が引き受けること                                                                             |
| ------------------------ | ------------------------------------------------------------------------------------------------ |
| **SDK はそのまま**            | OpenAI / Anthropic のネイティブ形式に準拠。コードの変更は base URL と API キーだけ                                       |
| **キーは 1 本だけ**            | アプリが持つのは `agtstr_...` の 1 本。各プロバイダの認証キーは Gateway 側の接続設定が保持します                                    |
| **モデルの差し替えにアプリ改修が要らない**  | アプリは管理者が決めた**公開モデル名**で呼びます。実際の接続先（OpenAI / Azure / 自前ホストなど）は管理コンソールのモデル定義で決まるため、乗り換えてもコードは変わりません |
| **複数の接続先を 1 つの名前で束ねられる** | 同じ公開モデル名に複数の接続先を登録し、優先度の順に使います。同じ優先度の中では、重みの大きいものが先に使われます（配分の比率ではありません）                          |
| **難易度に応じた自動ルーティング**      | 同じモデル名に 高 / 中 / 低 のティアを登録しておくと、プロンプトの難易度に応じて自動で振り分けます。開発者はモデル名を指定するだけです                          |
| **コストに上限を掛けられる**         | モデルごとに日次予算を設定できます。超えたリクエストは `429` で止まります                                                         |
| **アクセス元を絞れる**            | 許可 IP を登録して有効にすると、許可外のネットワークからは `403` になります                                                      |
| **利用状況が 1 か所に集まる**       | モデル・プロバイダ・トークン数・コスト・レイテンシを、管理コンソールとシステム連携 API で確認できます                                            |

設定はすべて[セットアップガイド](https://developers.fd.agenticstar.tm.softbank.jp/docs/saas/api/llm-gateway/guide/setup.md)にあります。

> **モデル ID はハードコードしない**
>
> 利用できるモデルはテナントごとに管理者が定義するため、環境によって異なります。`GET /llm/v1/models` で動的に取得してください。

> **サーバーサイドからの利用を前提としています**
>
> ブラウザからの直接呼び出し（クロスオリジン）は既定で許可されていません。詳しくは[リファレンス](https://developers.fd.agenticstar.tm.softbank.jp/docs/saas/api/llm-gateway/reference/api-reference.md)を参照してください。

ツール実行・成果物・会話履歴などエージェントの機能が必要な場合は、[API](https://developers.fd.agenticstar.tm.softbank.jp/docs/saas/api.md) を使ってください。

## 始め方

[SDK から呼び出す](https://developers.fd.agenticstar.tm.softbank.jp/docs/saas/api/llm-gateway/quickstart/call-from-sdk.md) の手順で、base URL を差し替えて最初のリクエストを送ってみてください。

## ガイド / リファレンス

- [セットアップガイド](https://developers.fd.agenticstar.tm.softbank.jp/docs/saas/api/llm-gateway/guide/setup.md) — 管理者（モデル定義・自動ルーティング・日次予算・IP 制限・利用ログ）と開発者（クライアント作成・API キー発行）の準備
- [API リファレンス](https://developers.fd.agenticstar.tm.softbank.jp/docs/saas/api/llm-gateway/reference/api-reference.md) — 全エンドポイント（OpenAI / Anthropic 互換）・認証・エラー・制限の仕様
