Üç 429 türü
HTTP 429 standart "çok fazla istek" durum kodudur. Burada üç durumu kapsar ve JSON hata gövdesi size hangi türde olduğunuzu bildirir.
| Hata kodu | Ne anlama geldiği | Tipik çözüm |
|---|---|---|
rate_limited | Dakika başına çok fazla istek | Yavaşlayın, istekleri dakika boyunca dağıtın |
concurrency | Aynı anda çalışan çok fazla istek | Eşzamanlılığı azaltın, slotların boşalmasını bekleyin |
Aşırı yük, Retry-After: 5 ile | Serviste geçici yük, sizin hatanız değil | Başlıktaki saniye sayısını bekleyin, sonra yeniden deneyin |
Önce kodu okuyun, çünkü bir neden için çözüm diğerine işe yaramaz. Dakikada istek sayınızı yarıya indirmek, gerçek sorun 20 işçinin aynı anda çalışmasıysa yardımcı olmaz.
Limitlerinizi bilin
Limitler anahtar türüne bağlıdır:
- Tam anahtar: 8 eşzamanlı istek ve dakika başına 300 istek.
- Deneme anahtarı: 2 eşzamanlı istek ve dakika başına 60 istek.
Her yanıt X-RateLimit-Limit-Requests ve X-RateLimit-Limit-Concurrency taşır, böylece istemciniz sabit kodlamak yerine üst sınırı okuyabilir. Deneme anahtarı yeni kullanıcılar için genellikle suçludur: bir seferde 1 istekle sorunsuz çalışan bir betik, 4 iş parçacıklı havuzu eklediğinizde başarısız olmaya başlar. Deneme test içindir ve tam anahtar, 20 $'dan başlayan herhangi bir bakiye yükleme ile gelir (tutarlar ve bonuslar için fiyatlandırma sayfasına bakın).
Yukarıdaki sayılar anahtar başınadır. Bir anahtar bir web uygulaması, bir cron işi ve bir takım arkadaşının dizüstü bilgisayarı tarafından paylaşılırsa, hepsi aynı havuzdan kullanır ve 429'lar üç iş yükünü toplamadan önce rastgele görünür.
Neden akış, eşzamanlılık hatalarını daha olası kılar
Normal bir istek bir eşzamanlılık slotunu bir veya iki saniye tutar. Akışlı bir istek (stream: true), son token gelip akış kapanana kadar slotu tutar. Uzun bir yanıt, slotu onlarca saniye meşgul tutabilir, bu nedenle birkaç aktif kullanıcılı bir sohbet uygulamasında 8 slot hızla kaybolur.
Sorunların çoğuna iki hata neden olur. Birincisi, bir akışı kapatmadan terk etmek: İstemci okumayı bırakır ama bağlantıyı açık bırakırsa, slot bağlantı sonlanana kadar meşgul kalır. Yanıtı her zaman bir finally bloğunda kapatın veya SDK'nın bağlam yöneticisini kullanın. İkincisi, birincisi hala canlıyken ikinci bir akış açarak bir akışı yeniden denemek, slot azken slot kullanımını tam olarak iki katına çıkarır.
Uygulamanız anahtarınızın izin verdiğinden daha fazla eşzamanlı uzun akış gerektiriyorsa, yeni sohbetleri kendi tarafınızda kuyruğa alın ve kısa bir bekleme durumu gösterin. Bu, kullanıcılara ham hatalar göstermekten daha iyidir.
Geri çekilme ile Python yeniden deneme kodu
Desen basittir: 429'ı yakalayın, kodu okuyun, bekleyin, artan bir gecikme ve biraz rastgelelik ile yeniden deneyin ve birkaç denemeden sonra bırakın. Bu sürüm, servisin base URL'sine karşı resmi openai paketini kullanır:
import random
import time
from openai import OpenAI, RateLimitError
client = OpenAI(
base_url="https://api.onekeyllmapi.com/v1",
api_key="YOUR_KEY",
max_retries=0, # we handle retries ourselves
)
def chat(messages, attempts=5):
for i in range(attempts):
try:
r = client.chat.completions.create(
model="uncensored",
messages=messages,
)
return r.choices[0].message.content
except RateLimitError as e:
headers = e.response.headers
wait = float(headers.get("Retry-After", 0))
if not wait:
wait = min(30, 2 ** i) # 1, 2, 4, 8, 16 seconds
wait += random.uniform(0, 1) # jitter
time.sleep(wait)
raise RuntimeError("still rate limited after retries")
print(chat([{"role": "user", "content": "Reply with the word ok."}]))
Başlık mevcut olduğunda, minimum bekleme süresi olarak kullanın. Eksik olduğunda, üstel gecikme rate_limited için dakikalık pencere ilerledikçe işe yarar. Rastgele dalgalanma, birçok işçinin aynı anda yeniden denemesini engeller.
Nadiren 429 görmek için paralel çağrıları sınırlandırın
Yeniden denemeler semptomu tedavi eder. Bir semafor, slot sayınızdan fazla istek göndermeyerek çoğunu önler. Limitin biraz altına ayarlayın, böylece bir yeniden deneme veya kayıp bir istek için hala yer olsun:
import asyncio
from openai import AsyncOpenAI
client = AsyncOpenAI(
base_url="https://api.onekeyllmapi.com/v1",
api_key="YOUR_KEY",
)
sem = asyncio.Semaphore(6) # full key allows 8; use 1 on a trial key
async def ask(prompt):
async with sem:
r = await client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": prompt}],
)
return r.choices[0].message.content
async def main():
prompts = [f"Give one fact about the number {n}." for n in range(50)]
results = await asyncio.gather(*(ask(p) for p in prompts))
print(len(results))
asyncio.run(main())
Dakika başına limit için, dakikada 300 istek ortalama olarak saniyede 5 istek anlamına gelir. Binlerce kısa işi toplu olarak gönderiyorsanız, semafor önüne küçük bir bekleme süresi veya token kovası ekleyin. SDK varsayılan olarak kendi kendisine yeniden deneme yaptığından, kendi mantığınız ile SDK'nın bekleme sürelerini üst üste bindirmemesi ve çarpmaması için max_retries değerini açıkça ayarlayın.
curl ile 429'u yeniden üretin ve inceleyin
Kod değiştirmeden önce ham yanıtı inceleyin. Başlıkların yazdırılması için curl'a -i ekleyin ve hatayı kasıtlı olarak tetiklemek için birkaç isteği eşzamanlı olarak gönderin:
for i in 1 2 3 4; do
curl -i -s https://api.onekeyllmapi.com/v1/chat/completions -H "Authorization: Bearer $API_KEY" -H "Content-Type: application/json" -d '{"model":"uncensored","messages":[{"role":"user","content":"Count to 200 slowly."}]}' &
done
wait
Aynı anda 2 istek izin veren bir deneme anahtarında, üçüncü ve dördüncü çağrılar 429 durum kodu ve concurrency hata kodu ile dönmelidir. Tam bir anahtarda aynı anda 8'den fazla istek yapmanız gerekir. Her yanıtta üç şeye bakın: durum satırı, varsa Retry-After başlığı ve JSON gövdesindeki error.code alanı. Bu küçük deney, bir saatlik tahminden daha fazlasını söyler ve bir şeyler yanlış görünürse destek ekibine gösterebileceğiniz tekrarlanabilir bir durum sağlar.
Limitler etrafında değil, limitler için tasarlayın
429'ı bir zaman aşımı gibi normal bir olay olarak kabul edin. Model çağrılarını bir işlevin arkasına koyun, her yeniden denemeyi nedeni ile birlikte günlüğe kaydedin ve yeniden denemeler arttığında fark edebilmeniz için bir sayaç sunun. Artan bir yeniden deneme oranı, kullanıcılar şikayet etmeden uzun süre önce, trafiğinizin tek bir anahtarın limitlerini aştığının erken bir işaretidir. Sohbet ürünleri için, kullanıcı başına küçük bir bellek içi kuyruk, bir meşgul hesabın diğer herkesin 8 slotunu almasını engeller.
Kısa bir hata ayıklama kontrol listesi
- Her 429 için tam hata gövdesini ve
X-Request-Idbaşlığını günlüğe kaydedin. Kod alanırate_limitedileconcurrency'i ayırır. - Anahtarınızın bir deneme anahtarı olup olmadığını kontrol edin. Evet ise, 2 eşzamanlı istek ve dakikada 60 istek bekleyin.
- Anahtarı kullanan her programı sayın, sadece başarısız olanı değil.
- Kapatılmamış akışları ve gecikme olmadan anında yeniden deneme döngülerini arayın. Anında yeniden deneme döngüsü, bir 429'u yüze dönüştürür.
X-Balance-USDveyaGET /v1/balanceile bakiyeyi onaylayın. Boş bir bakiye, 429'dan farklı bir sorundur, ancak kontrol etmek saniyeler sürer.
Başarısız istekler ücretlendirilmez, bu nedenle yeniden deneme, reddedilen denemeler için size token maliyeti getirmez. Durum kodlarının ve başlıkların tam listesi için belgelere bakın. Deneme anahtarından daha yüksek limitlere sahip bir anahtara ihtiyacınız varsa, bir API anahtarı edinin ve bakiye yükleyin.
