3 種類の 429
HTTP 429は標準的な「リクエストが多すぎます」ステータスです。ここでは3つの状況がカバーされ、JSONエラーボディがどの状況に該当するかを示します。
| エラーコード | 意味 | 典型的な修正方法 |
|---|---|---|
rate_limited | 1分あたりのリクエスト数が多すぎる | 速度を落とし、1分を通してリクエストを分散させる |
concurrency | 同時に実行中のリクエストが多すぎる | 並列度を下げて、スロットが空くまで待つ |
過負荷の場合、Retry-After: 5 | サービスの一時負荷であり、あなたのせいではありません | ヘッダーの秒数待ち、その後再試行する |
まずコードをお読みください。ある原因に対する修正が別の原因には無意味だからです。実際の問題が20人のワーカーが同時にリクエストを送っている場合、1分あたりのリクエスト数を半減しても効果はありません。
制限を知ろう
制限はキーの種類によって異なります:
- フルキー: 8つの同時リクエストと1分あたり300リクエスト。
- トライアルキー: 2つの同時リクエストと1分あたり60リクエスト。
すべてのレスポンスにはX-RateLimit-Limit-RequestsとX-RateLimit-Limit-Concurrencyが含まれるため、クライアントはハードコーディングせずに上限値を確認できます。新規ユーザーでよく問題になるのはトライアルキーです。1リクエストずつなら正常に動作するスクリプトも、4つのスレッドプールを追加すると失敗し始めます。トライアルはテスト用であり、$20以上のチャージでフルキーが利用可能になります(金額とボーナスは料金ページをご覧ください)。
上記の数字はキーごとです。1つのキーがWebアプリ、cronジョブ、チームメイトのノートパソコンで共有されている場合、それらはすべて同じプールから消費するため、3つのワークロードを合計するまで429エラーはランダムに見えるでしょう。
ストリーミングが同時実行エラーをより起こしやすくする理由
通常のリクエストは1〜2秒間、同時実行数のスロットを保持します。ストリーミングリクエスト(stream: true)は、最後のトークンが届きストリームが終了するまでスロットを保持します。長い回答ではスロットが数十秒間占有されるため、アクティブなユーザーが複数いるチャットアプリでは8つのスロットがすぐに不足します。
ここで問題の大半を引き起こす2つのミスがあります。1つ目はストリームを閉じずに放棄することです。クライアントが読み取りを停止しても接続を開いたままにすると、接続が終了するまでスロットが占有されたままになります。必ずfinallyブロックでレスポンスを閉じるか、SDKのコンテキストマネージャーを使用してください。2つ目は、最初のストリームがまだ生存している間に2つ目のストリームを開いて再試行することです。これにより、スロットが不足しているまさにその瞬間に、スロットの使用量が2倍になります。
アプリがキーで許可されるよりも多くの同時長時間ストリームを必要とする場合は、新しいチャットを自前のキューにキューイングし、短い待機状態を表示してください。これは、ユーザーが生のエラーを見るよりも優れています。
バックオフ付きのPythonリトライコード
パターンは単純です:429をキャッチし、コードを読み取り、待機し、増加する遅延とランダム性で再試行し、数回の試行で諦めます。このバージョンは公式openaiパッケージをサービスのBase URLに対して使用します:
import random
import time
from openai import OpenAI, RateLimitError
client = OpenAI(
base_url="https://api.onekeyllmapi.com/v1",
api_key="YOUR_KEY",
max_retries=0, # we handle retries ourselves
)
def chat(messages, attempts=5):
for i in range(attempts):
try:
r = client.chat.completions.create(
model="uncensored",
messages=messages,
)
return r.choices[0].message.content
except RateLimitError as e:
headers = e.response.headers
wait = float(headers.get("Retry-After", 0))
if not wait:
wait = min(30, 2 ** i) # 1, 2, 4, 8, 16 seconds
wait += random.uniform(0, 1) # jitter
time.sleep(wait)
raise RuntimeError("still rate limited after retries")
print(chat([{"role": "user", "content": "Reply with the word ok."}]))
ヘッダーが存在する場合は、それを最小待機時間として使用してください。ヘッダーがない場合、指数関数的な遅延は1分ごとのウィンドウが更新されるためrate_limitedに対して機能します。ジッターにより、多くのワーカーが同時に再試行するのを防ぎます。
並列呼び出しを制限して429をほぼ見なくする
再試行は対症療法に過ぎません。セマフォは、スロット数を超えてリクエストを送らないことで大半を防ぎます。再試行や逸脱したリクエストにも余裕を持たせるため、制限値より少し低い値に設定してください:
import asyncio
from openai import AsyncOpenAI
client = AsyncOpenAI(
base_url="https://api.onekeyllmapi.com/v1",
api_key="YOUR_KEY",
)
sem = asyncio.Semaphore(6) # full key allows 8; use 1 on a trial key
async def ask(prompt):
async with sem:
r = await client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": prompt}],
)
return r.choices[0].message.content
async def main():
prompts = [f"Give one fact about the number {n}." for n in range(50)]
results = await asyncio.gather(*(ask(p) for p in prompts))
print(len(results))
asyncio.run(main())
1分あたりの制限では、1分間に300リクエストは平均で1秒間に5リクエストです。数千の短いジョブをバッチ処理する場合は、セマフォの前に小さなスリープまたはトークンバケットを追加してください。SDKはデフォルトで自動的に再試行するため、max_retriesを明示的に設定し、独自のロジックとSDKの処理が積み重なり、待機時間が倍増しないようにしてください。
curlで429を再現・調査する
コードを変更する前に、生レスポンスを確認してください。curlに-iを追加してヘッダーを出力し、意図的にエラーを発生させるために並列で数リクエストを実行します:
for i in 1 2 3 4; do
curl -i -s https://api.onekeyllmapi.com/v1/chat/completions -H "Authorization: Bearer $API_KEY" -H "Content-Type: application/json" -d '{"model":"uncensored","messages":[{"role":"user","content":"Count to 200 slowly."}]}' &
done
wait
同時に2リクエストを許可する試用キーでは、3回目と4回目の呼び出しはステータス429とエラーコードconcurrencyを返すはずです。フルキーでは同時に8以上が必要です。各応答で確認すべき3点は、ステータス行、存在する場合はRetry-Afterヘッダー、およびJSON本文のerror.codeフィールドです。この小さな実験は1時間の推測よりも有用で、問題がある場合にサポートに示せる再現可能なケースになります。
それに対して設計する、それを取り巻くように設計するのではなく
429をタイムアウトのような通常のイベントとして扱ってください。モデル呼び出しを1つの関数の背後に配置し、理由を付けてすべての再試行をログに記録し、カウンターを公開して再試行が上昇していることに気づけるようにしてください。上昇する再試行率は、ユーザーが苦情を言うずっと前に、トラフィックが単一のキーの制限を超えたことを示す初期サインです。チャット製品の場合、ユーザーごとの小さなインメモリキューにより、1人のアクティブなアカウントが他のすべてのユーザーから8つのスロットを奪うのを防げます。
短いデバッグチェックリスト
- 各429の完全なエラー本文と
X-Request-Idヘッダーをログに記録します。codeフィールドはrate_limitedとconcurrencyを区別します。 - キーがトライアルキーかどうか確認してください。その場合、期待される同時リクエストは2で、1分あたり60リクエストです。
- 失敗したものだけでなく、キーを使用するすべてのプログラムをカウントしてください。
- 閉じられていないストリームと、遅延なしで即座に再試行するループを探してください。即時再試行ループは、1つの429を100個に増やします。
X-Balance-USDまたはGET /v1/balanceで残高を確認します。残高ゼロは429とは異なる問題ですが、確認には数秒かかります。
失敗したリクエストは課金されません。拒否された試行に対してトークンを消費することはありません。ステータスコードとヘッダーの完全な一覧はドキュメントをご覧ください。試用よりも高い制限値を持つキーが必要な場合は、APIキーを取得してチャージしてください。
