ID ▾
Dapatkan kunci API

Kesalahan LLM API 429: Penyebab dan Cara Memperbaikinya

Kesalahan 429 API LLM berarti pelayan menolak permintaan untuk saat ini, bukan selamanya. Pada API ini terdapat tiga penyebab berbeda, dan setiap penyebab memerlukan perbaikan yang sedikit berbeda.

Diperbarui

Paket cahaya yang mengantri di gerbang dengan delapan lajur, mengilustrasikan batas laju API

Poin utama

Tiga jenis 429

HTTP 429 adalah status standar "terlalu banyak permintaan". Di sini hal ini mencakup tiga situasi, dan badan error JSON memberi tahu Anda situasi mana yang Anda alami.

Kode kesalahanApa artinyaPerbaikan tipikal
rate_limitedTerlalu banyak permintaan per menitPerlambat, sebar permintaan selama menit tersebut
concurrencyTerlalu banyak permintaan berjalan pada waktu yang samaTurunkan paralelisme, tunggu hingga slot kosong
Overload, dengan Retry-After: 5Beban sementara pada layanan, bukan kesalahan AndaTunggu jumlah detik dalam header, lalu lakukan retry

Baca kode terlebih dahulu, karena perbaikan untuk satu penyebab tidak berpengaruh sama sekali pada penyebab lain. Mengurangi setengah permintaan per menit tidak akan membantu jika masalah sebenarnya adalah 20 pekerja yang memancarkan permintaan sekaligus.

Kenali batas Anda

Batas-batas tersebut bergantung pada jenis kunci:

  • Kunci penuh: 8 permintaan konkuren dan 300 permintaan per menit.
  • Kunci uji coba: 2 permintaan konkuren dan 60 permintaan per menit.

Setiap respons membawa X-RateLimit-Limit-Requests dan X-RateLimit-Limit-Concurrency, sehingga klien Anda dapat membaca batas atasnya tanpa mengkodekan secara statis. Kunci uji coba sering menjadi penyebab masalah bagi pengguna baru: skrip yang berjalan lancar dengan 1 permintaan pada satu waktu mulai gagal ketika Anda menambahkan thread pool berukuran 4. Kunci uji coba dimaksudkan untuk pengujian, dan kunci penuh disertakan dengan setiap pengisian saldo mulai dari $20 (lihat halaman harga untuk jumlah dan bonus).

Angka di atas adalah per kunci. Jika satu kunci dibagikan oleh aplikasi web, tugas cron, dan notebook rekan tim, mereka semua menarik dari pool yang sama, dan kesalahan 429 akan terlihat acak hingga Anda menggabungkan ketiga beban kerja tersebut.

Mengapa streaming membuat kesalahan permintaan paralel lebih mungkin terjadi

Permintaan normal menahan slot permintaan paralel selama satu atau dua detik. Permintaan streaming (stream: true) menahannya hingga token terakhir tiba dan streaming ditutup. Jawaban panjang dapat membuat slot sibuk selama puluhan detik, sehingga 8 slot hilang dengan cepat di aplikasi obrolan dengan beberapa pengguna aktif.

Dua kesalahan menyebabkan sebagian besar masalah di sini. Yang pertama adalah meninggalkan streaming tanpa menutupnya: jika klien berhenti membaca tetapi meninggalkan koneksi terbuka, slot tetap ditempati hingga koneksi berakhir. Selalu tutup respons dalam blok finally, atau gunakan pengelola konteks SDK. Yang kedua adalah melakukan percobaan ulang streaming dengan membuka streaming kedua sementara streaming pertama masih aktif, yang menggandakan penggunaan slot tepat saat Anda kekurangan slot.

Jika aplikasi Anda membutuhkan lebih banyak streaming panjang simultan daripada yang diizinkan kunci Anda, antrekan obrolan baru di sisi Anda dan tampilkan status menunggu singkat. Itu lebih baik daripada membiarkan pengguna melihat kesalahan mentah.

Kode retry Python dengan backoff

Polanya sederhana: tangkap 429, baca kodenya, tunggu, coba lagi dengan penundaan yang meningkat dan beberapa keacakan, dan menyerah setelah beberapa upaya. Versi ini menggunakan paket openai resmi terhadap URL dasar layanan:

import random
import time
from openai import OpenAI, RateLimitError

client = OpenAI(
    base_url="https://api.onekeyllmapi.com/v1",
    api_key="YOUR_KEY",
    max_retries=0,  # we handle retries ourselves
)

def chat(messages, attempts=5):
    for i in range(attempts):
        try:
            r = client.chat.completions.create(
                model="uncensored",
                messages=messages,
            )
            return r.choices[0].message.content
        except RateLimitError as e:
            headers = e.response.headers
            wait = float(headers.get("Retry-After", 0))
            if not wait:
                wait = min(30, 2 ** i)  # 1, 2, 4, 8, 16 seconds
            wait += random.uniform(0, 1)  # jitter
            time.sleep(wait)
    raise RuntimeError("still rate limited after retries")

print(chat([{"role": "user", "content": "Reply with the word ok."}]))

Saat header ada, gunakan sebagai penundaan minimum. Saat tidak ada, penundaan eksponensial bekerja untuk rate_limited karena jendela per menit bergerak. Jitter menjaga banyak pekerja agar tidak melakukan retry pada saat yang sama persis.

Batasi panggilan paralel agar Anda jarang melihat 429

Percobaan ulang menangani gejala. Semafor mencegah sebagian besar masalah dengan tidak mengirim lebih dari jumlah slot Anda. Atur sedikit di bawah batas sehingga percobaan ulang atau permintaan liar masih memiliki ruang:

import asyncio
from openai import AsyncOpenAI

client = AsyncOpenAI(
    base_url="https://api.onekeyllmapi.com/v1",
    api_key="YOUR_KEY",
)
sem = asyncio.Semaphore(6)  # full key allows 8; use 1 on a trial key

async def ask(prompt):
    async with sem:
        r = await client.chat.completions.create(
            model="uncensored",
            messages=[{"role": "user", "content": prompt}],
        )
        return r.choices[0].message.content

async def main():
    prompts = [f"Give one fact about the number {n}." for n in range(50)]
    results = await asyncio.gather(*(ask(p) for p in prompts))
    print(len(results))

asyncio.run(main())

Untuk batas per menit, 300 permintaan per menit adalah rata-rata 5 per detik. Jika Anda mengelompokkan ribuan pekerjaan singkat, tambahkan jeda kecil atau ember token di depan semafor. Karena SDK juga melakukan percobaan ulang secara otomatis, atur max_retries secara eksplisit agar logika Anda sendiri dan SDK tidak menumpuk dan mengalikan waktu tunggu.

Reproduksi dan periksa 429 dengan curl

Sebelum mengubah kode, lihat respons mentah. Tambahkan -i ke curl agar header dicetak, dan lepaskan beberapa permintaan secara paralel untuk memprovokasi kesalahan secara sengaja:

for i in 1 2 3 4; do
  curl -i -s https://api.onekeyllmapi.com/v1/chat/completions     -H "Authorization: Bearer $API_KEY"     -H "Content-Type: application/json"     -d '{"model":"uncensored","messages":[{"role":"user","content":"Count to 200 slowly."}]}' &
done
wait

Pada kunci uji coba, yang mengizinkan 2 permintaan sekaligus, panggilan ketiga dan keempat harus kembali dengan status 429 dan kode error concurrency. Pada kunci penuh Anda membutuhkan lebih dari 8 sekaligus. Lihat tiga hal dalam setiap balasan: baris status, header Retry-After jika ada, dan bidang error.code dalam tubuh JSON. Eksperimen kecil ini memberi tahu Anda lebih banyak daripada satu jam menebak-nebak, dan itu memberi Anda kasus yang dapat direproduksi untuk ditunjukkan kepada dukungan jika ada yang terlihat salah.

Desain untuk itu, bukan di sekitarnya

Perlakukan 429 sebagai peristiwa normal, seperti timeout. Letakkan panggilan model di balik satu fungsi, log setiap percobaan ulang dengan alasannya, dan paparkan penghitung agar Anda menyadari ketika percobaan ulang meningkat. Tingkat percobaan ulang yang meningkat adalah tanda awal bahwa lalu lintas Anda telah melebihi batas kunci tunggal, jauh sebelum pengguna mengeluh. Untuk produk obrolan, antrean kecil dalam memori per pengguna menjaga satu akun sibuk dari mengambil semua 8 slot dari pengguna lain.

Daftar periksa debugging singkat

  1. Log tubuh error lengkap dan header X-Request-Id untuk setiap 429. Bidang kode memisahkan rate_limited dari concurrency.
  2. Periksa apakah kunci Anda adalah kunci uji coba. Jika ya, harapkan 2 permintaan paralel dan 60 per menit.
  3. Hitung setiap program yang menggunakan kunci, bukan hanya yang gagal.
  4. Cari streaming yang tidak ditutup, dan loop yang melakukan percobaan ulang segera tanpa penundaan. Loop percobaan ulang segera mengubah satu 429 menjadi seratus.
  5. Konfirmasi saldo dengan X-Balance-USD atau GET /v1/balance. Saldo kosong adalah masalah berbeda dari 429, tetapi memeriksanya membutuhkan waktu beberapa detik.

Permintaan yang gagal tidak dibebankan biaya, sehingga melakukan percobaan ulang tidak menghabiskan token Anda untuk upaya yang ditolak. Untuk daftar lengkap kode status dan header, lihat dokumentasi. Jika Anda membutuhkan kunci dengan batas lebih tinggi daripada uji coba, dapatkan kunci API dan isi saldo.

Tanya jawab

Apakah kesalahan 429 menjadi tanggung jawab Anda atau penyedia?

Keduanya mungkin. Kode rate_limited dan concurrency berarti kunci Anda telah melewati batas. 429 dengan header Retry-After juga bisa berasal dari overload sementara, dan menunggu waktu yang ditentukan lalu melakukan percobaan ulang adalah respons yang tepat.

Berapa lama saya harus menunggu sebelum mencoba lagi?

Jika respons memiliki header Retry-After, tunggu setidaknya sejumlah detik tersebut. Jika tidak, mulailah dengan satu detik dan gandakan penundaan setiap kali, dengan sedikit jitter acak.

Apakah permintaan yang ditolak memakan biaya?

Tidak. Permintaan yang gagal atau ditolak tidak dikenakan biaya.

Bisakah saya menaikkan batas saya?

Kunci penuh mengizinkan 8 permintaan konkuren dan 300 per menit, dibandingkan dengan 2 dan 60 untuk kunci uji coba. Di luar itu, sebar pekerjaan ke antrean di sisi Anda.

Kunci Anda hanya perlu mengisi satu formulir lagi

Buat akun, salin kunci, ubah URL dasar. Itu saja seluruh proses pengaturannya.