TR ▾
API anahtarı al

LLM API 429 Hatası: Nedenleri ve Çözümü

Bir LLM API 429 hatası sunucunun isteği şu an reddettiğini, kalıcı olmadığını gösterir. Bu API'de üç farklı neden vardır ve her biri için biraz farklı bir çözüm gerekir.

güncellendi

Sekiz şeridi olan bir kapıda kuyrukta bekleyen ışık paketleri, API hız limitlerini gösterir

Temel noktalar

Üç 429 türü

HTTP 429 standart "çok fazla istek" durum kodudur. Burada üç durumu kapsar ve JSON hata gövdesi size hangi türde olduğunuzu bildirir.

Hata koduNe anlama geldiğiTipik çözüm
rate_limitedDakika başına çok fazla istekYavaşlayın, istekleri dakika boyunca dağıtın
concurrencyAynı anda çalışan çok fazla istekEşzamanlılığı azaltın, slotların boşalmasını bekleyin
Aşırı yük, Retry-After: 5 ileServiste geçici yük, sizin hatanız değilBaşlıktaki saniye sayısını bekleyin, sonra yeniden deneyin

Önce kodu okuyun, çünkü bir neden için çözüm diğerine işe yaramaz. Dakikada istek sayınızı yarıya indirmek, gerçek sorun 20 işçinin aynı anda çalışmasıysa yardımcı olmaz.

Limitlerinizi bilin

Limitler anahtar türüne bağlıdır:

  • Tam anahtar: 8 eşzamanlı istek ve dakika başına 300 istek.
  • Deneme anahtarı: 2 eşzamanlı istek ve dakika başına 60 istek.

Her yanıt X-RateLimit-Limit-Requests ve X-RateLimit-Limit-Concurrency taşır, böylece istemciniz sabit kodlamak yerine üst sınırı okuyabilir. Deneme anahtarı yeni kullanıcılar için genellikle suçludur: bir seferde 1 istekle sorunsuz çalışan bir betik, 4 iş parçacıklı havuzu eklediğinizde başarısız olmaya başlar. Deneme test içindir ve tam anahtar, 20 $'dan başlayan herhangi bir bakiye yükleme ile gelir (tutarlar ve bonuslar için fiyatlandırma sayfasına bakın).

Yukarıdaki sayılar anahtar başınadır. Bir anahtar bir web uygulaması, bir cron işi ve bir takım arkadaşının dizüstü bilgisayarı tarafından paylaşılırsa, hepsi aynı havuzdan kullanır ve 429'lar üç iş yükünü toplamadan önce rastgele görünür.

Neden akış, eşzamanlılık hatalarını daha olası kılar

Normal bir istek bir eşzamanlılık slotunu bir veya iki saniye tutar. Akışlı bir istek (stream: true), son token gelip akış kapanana kadar slotu tutar. Uzun bir yanıt, slotu onlarca saniye meşgul tutabilir, bu nedenle birkaç aktif kullanıcılı bir sohbet uygulamasında 8 slot hızla kaybolur.

Sorunların çoğuna iki hata neden olur. Birincisi, bir akışı kapatmadan terk etmek: İstemci okumayı bırakır ama bağlantıyı açık bırakırsa, slot bağlantı sonlanana kadar meşgul kalır. Yanıtı her zaman bir finally bloğunda kapatın veya SDK'nın bağlam yöneticisini kullanın. İkincisi, birincisi hala canlıyken ikinci bir akış açarak bir akışı yeniden denemek, slot azken slot kullanımını tam olarak iki katına çıkarır.

Uygulamanız anahtarınızın izin verdiğinden daha fazla eşzamanlı uzun akış gerektiriyorsa, yeni sohbetleri kendi tarafınızda kuyruğa alın ve kısa bir bekleme durumu gösterin. Bu, kullanıcılara ham hatalar göstermekten daha iyidir.

Geri çekilme ile Python yeniden deneme kodu

Desen basittir: 429'ı yakalayın, kodu okuyun, bekleyin, artan bir gecikme ve biraz rastgelelik ile yeniden deneyin ve birkaç denemeden sonra bırakın. Bu sürüm, servisin base URL'sine karşı resmi openai paketini kullanır:

import random
import time
from openai import OpenAI, RateLimitError

client = OpenAI(
    base_url="https://api.onekeyllmapi.com/v1",
    api_key="YOUR_KEY",
    max_retries=0,  # we handle retries ourselves
)

def chat(messages, attempts=5):
    for i in range(attempts):
        try:
            r = client.chat.completions.create(
                model="uncensored",
                messages=messages,
            )
            return r.choices[0].message.content
        except RateLimitError as e:
            headers = e.response.headers
            wait = float(headers.get("Retry-After", 0))
            if not wait:
                wait = min(30, 2 ** i)  # 1, 2, 4, 8, 16 seconds
            wait += random.uniform(0, 1)  # jitter
            time.sleep(wait)
    raise RuntimeError("still rate limited after retries")

print(chat([{"role": "user", "content": "Reply with the word ok."}]))

Başlık mevcut olduğunda, minimum bekleme süresi olarak kullanın. Eksik olduğunda, üstel gecikme rate_limited için dakikalık pencere ilerledikçe işe yarar. Rastgele dalgalanma, birçok işçinin aynı anda yeniden denemesini engeller.

Nadiren 429 görmek için paralel çağrıları sınırlandırın

Yeniden denemeler semptomu tedavi eder. Bir semafor, slot sayınızdan fazla istek göndermeyerek çoğunu önler. Limitin biraz altına ayarlayın, böylece bir yeniden deneme veya kayıp bir istek için hala yer olsun:

import asyncio
from openai import AsyncOpenAI

client = AsyncOpenAI(
    base_url="https://api.onekeyllmapi.com/v1",
    api_key="YOUR_KEY",
)
sem = asyncio.Semaphore(6)  # full key allows 8; use 1 on a trial key

async def ask(prompt):
    async with sem:
        r = await client.chat.completions.create(
            model="uncensored",
            messages=[{"role": "user", "content": prompt}],
        )
        return r.choices[0].message.content

async def main():
    prompts = [f"Give one fact about the number {n}." for n in range(50)]
    results = await asyncio.gather(*(ask(p) for p in prompts))
    print(len(results))

asyncio.run(main())

Dakika başına limit için, dakikada 300 istek ortalama olarak saniyede 5 istek anlamına gelir. Binlerce kısa işi toplu olarak gönderiyorsanız, semafor önüne küçük bir bekleme süresi veya token kovası ekleyin. SDK varsayılan olarak kendi kendisine yeniden deneme yaptığından, kendi mantığınız ile SDK'nın bekleme sürelerini üst üste bindirmemesi ve çarpmaması için max_retries değerini açıkça ayarlayın.

curl ile 429'u yeniden üretin ve inceleyin

Kod değiştirmeden önce ham yanıtı inceleyin. Başlıkların yazdırılması için curl'a -i ekleyin ve hatayı kasıtlı olarak tetiklemek için birkaç isteği eşzamanlı olarak gönderin:

for i in 1 2 3 4; do
  curl -i -s https://api.onekeyllmapi.com/v1/chat/completions     -H "Authorization: Bearer $API_KEY"     -H "Content-Type: application/json"     -d '{"model":"uncensored","messages":[{"role":"user","content":"Count to 200 slowly."}]}' &
done
wait

Aynı anda 2 istek izin veren bir deneme anahtarında, üçüncü ve dördüncü çağrılar 429 durum kodu ve concurrency hata kodu ile dönmelidir. Tam bir anahtarda aynı anda 8'den fazla istek yapmanız gerekir. Her yanıtta üç şeye bakın: durum satırı, varsa Retry-After başlığı ve JSON gövdesindeki error.code alanı. Bu küçük deney, bir saatlik tahminden daha fazlasını söyler ve bir şeyler yanlış görünürse destek ekibine gösterebileceğiniz tekrarlanabilir bir durum sağlar.

Limitler etrafında değil, limitler için tasarlayın

429'ı bir zaman aşımı gibi normal bir olay olarak kabul edin. Model çağrılarını bir işlevin arkasına koyun, her yeniden denemeyi nedeni ile birlikte günlüğe kaydedin ve yeniden denemeler arttığında fark edebilmeniz için bir sayaç sunun. Artan bir yeniden deneme oranı, kullanıcılar şikayet etmeden uzun süre önce, trafiğinizin tek bir anahtarın limitlerini aştığının erken bir işaretidir. Sohbet ürünleri için, kullanıcı başına küçük bir bellek içi kuyruk, bir meşgul hesabın diğer herkesin 8 slotunu almasını engeller.

Kısa bir hata ayıklama kontrol listesi

  1. Her 429 için tam hata gövdesini ve X-Request-Id başlığını günlüğe kaydedin. Kod alanı rate_limited ile concurrency'i ayırır.
  2. Anahtarınızın bir deneme anahtarı olup olmadığını kontrol edin. Evet ise, 2 eşzamanlı istek ve dakikada 60 istek bekleyin.
  3. Anahtarı kullanan her programı sayın, sadece başarısız olanı değil.
  4. Kapatılmamış akışları ve gecikme olmadan anında yeniden deneme döngülerini arayın. Anında yeniden deneme döngüsü, bir 429'u yüze dönüştürür.
  5. X-Balance-USD veya GET /v1/balance ile bakiyeyi onaylayın. Boş bir bakiye, 429'dan farklı bir sorundur, ancak kontrol etmek saniyeler sürer.

Başarısız istekler ücretlendirilmez, bu nedenle yeniden deneme, reddedilen denemeler için size token maliyeti getirmez. Durum kodlarının ve başlıkların tam listesi için belgelere bakın. Deneme anahtarından daha yüksek limitlere sahip bir anahtara ihtiyacınız varsa, bir API anahtarı edinin ve bakiye yükleyin.

Sorular ve cevaplar

429 hatası benim mi yoksa sağlayıcının mı suçu?

Her ikisi de mümkündür. rate_limited ve concurrency kodları, anahtarınızın limitini aştığını gösterir. Retry-After başlığı içeren bir 429 yanıtı geçici aşırı yükten de kaynaklanabilir; belirtilen süreyi bekleyip yeniden denemek doğru bir yanıttır.

Yeniden denemeden önce ne kadar beklemeliyim?

Yanıtta bir Retry-After başlığı varsa, en az o kadar saniye bekleyin. Aksi takdirde bir saniyeden başlayın ve her seferinde gecikmeyi iki katına çıkarın, biraz rastgele dalgalanma ekleyin.

Reddedilen istekler para mı tutar?

Hayır. Başarısız veya reddedilen istekler için ücret alınmaz.

Limitlerimi artırabilir miyim?

Tam bir anahtar 8 eşzamanlı istek ve dakikada 300 istek izni verir; deneme anahtarı için bu sayılar 2 ve 60'tır. Bunun ötesinde, iş yükünüzü kendi tarafınızdaki bir kuyrukta dağıtın.

Anahtarınız tek bir formun uzağında

Bir hesap oluşturun, anahtarı kopyalayın ve base URL'yi değiştirin. Kurulum bu kadar basit.