Tiga jenis 429
HTTP 429 adalah status standar "terlalu banyak permintaan". Di sini hal ini mencakup tiga situasi, dan badan error JSON memberi tahu Anda situasi mana yang Anda alami.
| Kode kesalahan | Apa artinya | Perbaikan tipikal |
|---|---|---|
rate_limited | Terlalu banyak permintaan per menit | Perlambat, sebar permintaan selama menit tersebut |
concurrency | Terlalu banyak permintaan berjalan pada waktu yang sama | Turunkan paralelisme, tunggu hingga slot kosong |
Overload, dengan Retry-After: 5 | Beban sementara pada layanan, bukan kesalahan Anda | Tunggu jumlah detik dalam header, lalu lakukan retry |
Baca kode terlebih dahulu, karena perbaikan untuk satu penyebab tidak berpengaruh sama sekali pada penyebab lain. Mengurangi setengah permintaan per menit tidak akan membantu jika masalah sebenarnya adalah 20 pekerja yang memancarkan permintaan sekaligus.
Kenali batas Anda
Batas-batas tersebut bergantung pada jenis kunci:
- Kunci penuh: 8 permintaan konkuren dan 300 permintaan per menit.
- Kunci uji coba: 2 permintaan konkuren dan 60 permintaan per menit.
Setiap respons membawa X-RateLimit-Limit-Requests dan X-RateLimit-Limit-Concurrency, sehingga klien Anda dapat membaca batas atasnya tanpa mengkodekan secara statis. Kunci uji coba sering menjadi penyebab masalah bagi pengguna baru: skrip yang berjalan lancar dengan 1 permintaan pada satu waktu mulai gagal ketika Anda menambahkan thread pool berukuran 4. Kunci uji coba dimaksudkan untuk pengujian, dan kunci penuh disertakan dengan setiap pengisian saldo mulai dari $20 (lihat halaman harga untuk jumlah dan bonus).
Angka di atas adalah per kunci. Jika satu kunci dibagikan oleh aplikasi web, tugas cron, dan notebook rekan tim, mereka semua menarik dari pool yang sama, dan kesalahan 429 akan terlihat acak hingga Anda menggabungkan ketiga beban kerja tersebut.
Mengapa streaming membuat kesalahan permintaan paralel lebih mungkin terjadi
Permintaan normal menahan slot permintaan paralel selama satu atau dua detik. Permintaan streaming (stream: true) menahannya hingga token terakhir tiba dan streaming ditutup. Jawaban panjang dapat membuat slot sibuk selama puluhan detik, sehingga 8 slot hilang dengan cepat di aplikasi obrolan dengan beberapa pengguna aktif.
Dua kesalahan menyebabkan sebagian besar masalah di sini. Yang pertama adalah meninggalkan streaming tanpa menutupnya: jika klien berhenti membaca tetapi meninggalkan koneksi terbuka, slot tetap ditempati hingga koneksi berakhir. Selalu tutup respons dalam blok finally, atau gunakan pengelola konteks SDK. Yang kedua adalah melakukan percobaan ulang streaming dengan membuka streaming kedua sementara streaming pertama masih aktif, yang menggandakan penggunaan slot tepat saat Anda kekurangan slot.
Jika aplikasi Anda membutuhkan lebih banyak streaming panjang simultan daripada yang diizinkan kunci Anda, antrekan obrolan baru di sisi Anda dan tampilkan status menunggu singkat. Itu lebih baik daripada membiarkan pengguna melihat kesalahan mentah.
Kode retry Python dengan backoff
Polanya sederhana: tangkap 429, baca kodenya, tunggu, coba lagi dengan penundaan yang meningkat dan beberapa keacakan, dan menyerah setelah beberapa upaya. Versi ini menggunakan paket openai resmi terhadap URL dasar layanan:
import random
import time
from openai import OpenAI, RateLimitError
client = OpenAI(
base_url="https://api.onekeyllmapi.com/v1",
api_key="YOUR_KEY",
max_retries=0, # we handle retries ourselves
)
def chat(messages, attempts=5):
for i in range(attempts):
try:
r = client.chat.completions.create(
model="uncensored",
messages=messages,
)
return r.choices[0].message.content
except RateLimitError as e:
headers = e.response.headers
wait = float(headers.get("Retry-After", 0))
if not wait:
wait = min(30, 2 ** i) # 1, 2, 4, 8, 16 seconds
wait += random.uniform(0, 1) # jitter
time.sleep(wait)
raise RuntimeError("still rate limited after retries")
print(chat([{"role": "user", "content": "Reply with the word ok."}]))
Saat header ada, gunakan sebagai penundaan minimum. Saat tidak ada, penundaan eksponensial bekerja untuk rate_limited karena jendela per menit bergerak. Jitter menjaga banyak pekerja agar tidak melakukan retry pada saat yang sama persis.
Batasi panggilan paralel agar Anda jarang melihat 429
Percobaan ulang menangani gejala. Semafor mencegah sebagian besar masalah dengan tidak mengirim lebih dari jumlah slot Anda. Atur sedikit di bawah batas sehingga percobaan ulang atau permintaan liar masih memiliki ruang:
import asyncio
from openai import AsyncOpenAI
client = AsyncOpenAI(
base_url="https://api.onekeyllmapi.com/v1",
api_key="YOUR_KEY",
)
sem = asyncio.Semaphore(6) # full key allows 8; use 1 on a trial key
async def ask(prompt):
async with sem:
r = await client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": prompt}],
)
return r.choices[0].message.content
async def main():
prompts = [f"Give one fact about the number {n}." for n in range(50)]
results = await asyncio.gather(*(ask(p) for p in prompts))
print(len(results))
asyncio.run(main())
Untuk batas per menit, 300 permintaan per menit adalah rata-rata 5 per detik. Jika Anda mengelompokkan ribuan pekerjaan singkat, tambahkan jeda kecil atau ember token di depan semafor. Karena SDK juga melakukan percobaan ulang secara otomatis, atur max_retries secara eksplisit agar logika Anda sendiri dan SDK tidak menumpuk dan mengalikan waktu tunggu.
Reproduksi dan periksa 429 dengan curl
Sebelum mengubah kode, lihat respons mentah. Tambahkan -i ke curl agar header dicetak, dan lepaskan beberapa permintaan secara paralel untuk memprovokasi kesalahan secara sengaja:
for i in 1 2 3 4; do
curl -i -s https://api.onekeyllmapi.com/v1/chat/completions -H "Authorization: Bearer $API_KEY" -H "Content-Type: application/json" -d '{"model":"uncensored","messages":[{"role":"user","content":"Count to 200 slowly."}]}' &
done
wait
Pada kunci uji coba, yang mengizinkan 2 permintaan sekaligus, panggilan ketiga dan keempat harus kembali dengan status 429 dan kode error concurrency. Pada kunci penuh Anda membutuhkan lebih dari 8 sekaligus. Lihat tiga hal dalam setiap balasan: baris status, header Retry-After jika ada, dan bidang error.code dalam tubuh JSON. Eksperimen kecil ini memberi tahu Anda lebih banyak daripada satu jam menebak-nebak, dan itu memberi Anda kasus yang dapat direproduksi untuk ditunjukkan kepada dukungan jika ada yang terlihat salah.
Desain untuk itu, bukan di sekitarnya
Perlakukan 429 sebagai peristiwa normal, seperti timeout. Letakkan panggilan model di balik satu fungsi, log setiap percobaan ulang dengan alasannya, dan paparkan penghitung agar Anda menyadari ketika percobaan ulang meningkat. Tingkat percobaan ulang yang meningkat adalah tanda awal bahwa lalu lintas Anda telah melebihi batas kunci tunggal, jauh sebelum pengguna mengeluh. Untuk produk obrolan, antrean kecil dalam memori per pengguna menjaga satu akun sibuk dari mengambil semua 8 slot dari pengguna lain.
Daftar periksa debugging singkat
- Log tubuh error lengkap dan header
X-Request-Iduntuk setiap 429. Bidang kode memisahkanrate_limiteddariconcurrency. - Periksa apakah kunci Anda adalah kunci uji coba. Jika ya, harapkan 2 permintaan paralel dan 60 per menit.
- Hitung setiap program yang menggunakan kunci, bukan hanya yang gagal.
- Cari streaming yang tidak ditutup, dan loop yang melakukan percobaan ulang segera tanpa penundaan. Loop percobaan ulang segera mengubah satu 429 menjadi seratus.
- Konfirmasi saldo dengan
X-Balance-USDatauGET /v1/balance. Saldo kosong adalah masalah berbeda dari 429, tetapi memeriksanya membutuhkan waktu beberapa detik.
Permintaan yang gagal tidak dibebankan biaya, sehingga melakukan percobaan ulang tidak menghabiskan token Anda untuk upaya yang ditolak. Untuk daftar lengkap kode status dan header, lihat dokumentasi. Jika Anda membutuhkan kunci dengan batas lebih tinggi daripada uji coba, dapatkan kunci API dan isi saldo.
