JA ▾
API キーを取得

LLM API エラー429:原因と解決方法

LLM API エラー429は、サーバーが一時的にリクエストを拒否していることを意味し、永久に拒否されているわけではありません。このAPIでは3つの明確な原因があり、それぞれにわずかに異なる解決策が必要です。

更新日:

8レーンのゲートで待機する光のパケット、APIのレート制限を視覚化したイラスト

主要ポイント

3 種類の 429

HTTP 429は標準的な「リクエストが多すぎます」ステータスです。ここでは3つの状況がカバーされ、JSONエラーボディがどの状況に該当するかを示します。

エラーコード意味典型的な修正方法
rate_limited1分あたりのリクエスト数が多すぎる速度を落とし、1分を通してリクエストを分散させる
concurrency同時に実行中のリクエストが多すぎる並列度を下げて、スロットが空くまで待つ
過負荷の場合、Retry-After: 5サービスの一時負荷であり、あなたのせいではありませんヘッダーの秒数待ち、その後再試行する

まずコードをお読みください。ある原因に対する修正が別の原因には無意味だからです。実際の問題が20人のワーカーが同時にリクエストを送っている場合、1分あたりのリクエスト数を半減しても効果はありません。

制限を知ろう

制限はキーの種類によって異なります:

  • フルキー: 8つの同時リクエストと1分あたり300リクエスト。
  • トライアルキー: 2つの同時リクエストと1分あたり60リクエスト。

すべてのレスポンスにはX-RateLimit-Limit-RequestsとX-RateLimit-Limit-Concurrencyが含まれるため、クライアントはハードコーディングせずに上限値を確認できます。新規ユーザーでよく問題になるのはトライアルキーです。1リクエストずつなら正常に動作するスクリプトも、4つのスレッドプールを追加すると失敗し始めます。トライアルはテスト用であり、$20以上のチャージでフルキーが利用可能になります(金額とボーナスは料金ページをご覧ください)。

上記の数字はキーごとです。1つのキーがWebアプリ、cronジョブ、チームメイトのノートパソコンで共有されている場合、それらはすべて同じプールから消費するため、3つのワークロードを合計するまで429エラーはランダムに見えるでしょう。

ストリーミングが同時実行エラーをより起こしやすくする理由

通常のリクエストは1〜2秒間、同時実行数のスロットを保持します。ストリーミングリクエスト(stream: true)は、最後のトークンが届きストリームが終了するまでスロットを保持します。長い回答ではスロットが数十秒間占有されるため、アクティブなユーザーが複数いるチャットアプリでは8つのスロットがすぐに不足します。

ここで問題の大半を引き起こす2つのミスがあります。1つ目はストリームを閉じずに放棄することです。クライアントが読み取りを停止しても接続を開いたままにすると、接続が終了するまでスロットが占有されたままになります。必ずfinallyブロックでレスポンスを閉じるか、SDKのコンテキストマネージャーを使用してください。2つ目は、最初のストリームがまだ生存している間に2つ目のストリームを開いて再試行することです。これにより、スロットが不足しているまさにその瞬間に、スロットの使用量が2倍になります。

アプリがキーで許可されるよりも多くの同時長時間ストリームを必要とする場合は、新しいチャットを自前のキューにキューイングし、短い待機状態を表示してください。これは、ユーザーが生のエラーを見るよりも優れています。

バックオフ付きのPythonリトライコード

パターンは単純です:429をキャッチし、コードを読み取り、待機し、増加する遅延とランダム性で再試行し、数回の試行で諦めます。このバージョンは公式openaiパッケージをサービスのBase URLに対して使用します:

import random
import time
from openai import OpenAI, RateLimitError

client = OpenAI(
    base_url="https://api.onekeyllmapi.com/v1",
    api_key="YOUR_KEY",
    max_retries=0,  # we handle retries ourselves
)

def chat(messages, attempts=5):
    for i in range(attempts):
        try:
            r = client.chat.completions.create(
                model="uncensored",
                messages=messages,
            )
            return r.choices[0].message.content
        except RateLimitError as e:
            headers = e.response.headers
            wait = float(headers.get("Retry-After", 0))
            if not wait:
                wait = min(30, 2 ** i)  # 1, 2, 4, 8, 16 seconds
            wait += random.uniform(0, 1)  # jitter
            time.sleep(wait)
    raise RuntimeError("still rate limited after retries")

print(chat([{"role": "user", "content": "Reply with the word ok."}]))

ヘッダーが存在する場合は、それを最小待機時間として使用してください。ヘッダーがない場合、指数関数的な遅延は1分ごとのウィンドウが更新されるためrate_limitedに対して機能します。ジッターにより、多くのワーカーが同時に再試行するのを防ぎます。

並列呼び出しを制限して429をほぼ見なくする

再試行は対症療法に過ぎません。セマフォは、スロット数を超えてリクエストを送らないことで大半を防ぎます。再試行や逸脱したリクエストにも余裕を持たせるため、制限値より少し低い値に設定してください:

import asyncio
from openai import AsyncOpenAI

client = AsyncOpenAI(
    base_url="https://api.onekeyllmapi.com/v1",
    api_key="YOUR_KEY",
)
sem = asyncio.Semaphore(6)  # full key allows 8; use 1 on a trial key

async def ask(prompt):
    async with sem:
        r = await client.chat.completions.create(
            model="uncensored",
            messages=[{"role": "user", "content": prompt}],
        )
        return r.choices[0].message.content

async def main():
    prompts = [f"Give one fact about the number {n}." for n in range(50)]
    results = await asyncio.gather(*(ask(p) for p in prompts))
    print(len(results))

asyncio.run(main())

1分あたりの制限では、1分間に300リクエストは平均で1秒間に5リクエストです。数千の短いジョブをバッチ処理する場合は、セマフォの前に小さなスリープまたはトークンバケットを追加してください。SDKはデフォルトで自動的に再試行するため、max_retriesを明示的に設定し、独自のロジックとSDKの処理が積み重なり、待機時間が倍増しないようにしてください。

curlで429を再現・調査する

コードを変更する前に、生レスポンスを確認してください。curlに-iを追加してヘッダーを出力し、意図的にエラーを発生させるために並列で数リクエストを実行します:

for i in 1 2 3 4; do
  curl -i -s https://api.onekeyllmapi.com/v1/chat/completions     -H "Authorization: Bearer $API_KEY"     -H "Content-Type: application/json"     -d '{"model":"uncensored","messages":[{"role":"user","content":"Count to 200 slowly."}]}' &
done
wait

同時に2リクエストを許可する試用キーでは、3回目と4回目の呼び出しはステータス429とエラーコードconcurrencyを返すはずです。フルキーでは同時に8以上が必要です。各応答で確認すべき3点は、ステータス行、存在する場合はRetry-Afterヘッダー、およびJSON本文のerror.codeフィールドです。この小さな実験は1時間の推測よりも有用で、問題がある場合にサポートに示せる再現可能なケースになります。

それに対して設計する、それを取り巻くように設計するのではなく

429をタイムアウトのような通常のイベントとして扱ってください。モデル呼び出しを1つの関数の背後に配置し、理由を付けてすべての再試行をログに記録し、カウンターを公開して再試行が上昇していることに気づけるようにしてください。上昇する再試行率は、ユーザーが苦情を言うずっと前に、トラフィックが単一のキーの制限を超えたことを示す初期サインです。チャット製品の場合、ユーザーごとの小さなインメモリキューにより、1人のアクティブなアカウントが他のすべてのユーザーから8つのスロットを奪うのを防げます。

短いデバッグチェックリスト

  1. 各429の完全なエラー本文とX-Request-Idヘッダーをログに記録します。codeフィールドはrate_limitedとconcurrencyを区別します。
  2. キーがトライアルキーかどうか確認してください。その場合、期待される同時リクエストは2で、1分あたり60リクエストです。
  3. 失敗したものだけでなく、キーを使用するすべてのプログラムをカウントしてください。
  4. 閉じられていないストリームと、遅延なしで即座に再試行するループを探してください。即時再試行ループは、1つの429を100個に増やします。
  5. X-Balance-USDまたはGET /v1/balanceで残高を確認します。残高ゼロは429とは異なる問題ですが、確認には数秒かかります。

失敗したリクエストは課金されません。拒否された試行に対してトークンを消費することはありません。ステータスコードとヘッダーの完全な一覧はドキュメントをご覧ください。試用よりも高い制限値を持つキーが必要な場合は、APIキーを取得してチャージしてください。

質問と回答

429エラーは自分のせいでしょうか、それともプロバイダーのせいでしょうか?

両方の可能性があります。rate_limitedとconcurrencyというコードは、キーが制限を超えたことを意味します。Retry-Afterヘッダーを伴う429は、一時的な過負荷によるものでも発生し、指定された時間を待ってから再試行するのが適切な対応です。

再試行する前にどのくらい待てばよいですか?

レスポンスにRetry-Afterヘッダーが含まれている場合は、少なくともその秒数待ちます。それ以外の場合は、1秒から始めて、毎回遅延を2倍にし、わずかなランダムなジッターを加えてください。

拒否されたリクエストには料金がかかりますか?

いいえ。失敗または拒否されたリクエストは課金されません。

制限を引き上げることができますか?

フルキーでは8つの同時リクエストと1分あたり300リクエストが可能ですが、トライアルキーではそれぞれ2と60です。それを超える場合は、自前のキューで処理を分散してください。

キーはフォーム 1 つで手に入ります

アカウントを作成し、キーをコピーし、ベースURLを変更します。これでセットアップは完了です。