Trzy rodzaje 429
HTTP 429 to standardowy status „zbyt wiele zapytań”. Tutaj obejmuje trzy sytuacje, a ciało JSON z błędem informuje, w której się znajdujesz.
| Kod błędu | Co to oznacza | Typowe rozwiązanie |
|---|---|---|
rate_limited | Zbyt wiele zapytań na minutę | Zwolnij, rozłóż zapytania w ciągu minuty |
concurrency | Zbyt wiele zapytań wykonujących się jednocześnie | Zmniejsz równoległość, poczekaj na zwolnienie slotów |
Przeciążenie, z Retry-After: 5 | Tymczasowe obciążenie usługi, nie Twoja wina | Poczekaj liczbę sekund z nagłówka, a następnie ponów zapytanie |
Przeczytaj kod najpierw, ponieważ rozwiązanie dla jednej przyczyny nie zadziała dla innej. Obniżenie liczby zapytań na minutę nie pomoże, jeśli prawdziwym problemem jest 20 wątków wysyłających zapytania naraz.
Znaj swoje limity
Limity zależą od typu klucza:
- Pełny klucz: 8 równoległych zapytań i 300 zapytań na minutę.
- Klucz próbny: 2 równoległe zapytania i 60 zapytań na minutę.
Każda odpowiedź zawiera X-RateLimit-Limit-Requests i X-RateLimit-Limit-Concurrency, więc Twój klient może odczytać sufit zamiast hardkodować go. Klucz próbny to zwykle winowajca nowych użytkowników: skrypt działający poprawnie przy 1 zapytaniu naraz zaczyna zawodzić, gdy dodasz pulę wątków 4. Klucz próbny służy do testów, a pełny klucz otrzymasz przy doładowaniu od $20 (kwoty i bonusy na stronie z cenami).
Powyższe liczby dotyczą jednego klucza. Jeśli jeden klucz jest współdzielony przez aplikację webową, zadanie cron i notebook współpracownika, wszystkie czerpią z tej samej puli, a błędy 429 będą wyglądać losowo, dopóki nie zsumujesz trzech obciążeń.
Dlaczego strumieniowanie zwiększa prawdopodobieństwo błędów współbieżności
Zwykłe zapytanie zajmuje slot concurrency przez sekundę lub dwie. Zapytanie strumieniowane (stream: true) zajmuje go do momentu przybycia ostatniego tokena i zamknięcia strumienia. Długa odpowiedź może blokować slot przez kilkadziesiąt sekund, więc 8 slotów znika szybko w aplikacji czatu z kilkoma aktywnymi użytkownikami.
Dwa błędy powodują większość problemów. Pierwszy to porzucenie strumienia bez jego zamknięcia: jeśli klient przestanie czytać, ale pozostawi połączenie otwarte, slot pozostaje zajęty do zakończenia połączenia. Zawsze zamykaj odpowiedź w bloku finally lub użyj menedżera kontekstu SDK. Drugi to ponowienie strumienia przez otwarcie drugiego, podczas gdy pierwszy wciąż żyje, co podwaja użycie slotów dokładnie wtedy, gdy brakuje slotów.
Jeśli Twoja aplikacja potrzebuje więcej jednoczesnych długich strumieni niż pozwala klucz, kolejkuj nowe czaty po swojej stronie i pokaż krótki stan oczekiwania. To lepsze niż pokazywanie użytkownikom surowych błędów.
Kod Pythona do ponawiania z backoffem
Wzorzec jest prosty: złap 429, odczytaj kod, poczekaj, spróbuj ponownie z rosnącym opóźnieniem i pewną dozą losowości, a po kilku próbach zrezygnuj. Ta wersja używa oficjalnego pakietu openai pod adresem bazowym usługi:
import random
import time
from openai import OpenAI, RateLimitError
client = OpenAI(
base_url="https://api.onekeyllmapi.com/v1",
api_key="YOUR_KEY",
max_retries=0, # we handle retries ourselves
)
def chat(messages, attempts=5):
for i in range(attempts):
try:
r = client.chat.completions.create(
model="uncensored",
messages=messages,
)
return r.choices[0].message.content
except RateLimitError as e:
headers = e.response.headers
wait = float(headers.get("Retry-After", 0))
if not wait:
wait = min(30, 2 ** i) # 1, 2, 4, 8, 16 seconds
wait += random.uniform(0, 1) # jitter
time.sleep(wait)
raise RuntimeError("still rate limited after retries")
print(chat([{"role": "user", "content": "Reply with the word ok."}]))
Gdy nagłówek jest obecny, użyj go jako minimalnego czasu oczekiwania. Gdy go brakuje, opóźnienie wykładnicze działa dla rate_limited, ponieważ okno minutowe przesuwa się. Jitter zapobiega ponawianiu przez wielu pracowników w tym samym momencie.
Ogranicz równoległe wywołania, aby rzadko widzieć 429
Ponowienia leczą objaw. Semafór zapobiega większości z nich, nigdy nie wysyłając więcej niż liczba slotów. Ustaw go nieco poniżej limitu, aby ponowienie lub błądne zapytanie miało miejsce:
import asyncio
from openai import AsyncOpenAI
client = AsyncOpenAI(
base_url="https://api.onekeyllmapi.com/v1",
api_key="YOUR_KEY",
)
sem = asyncio.Semaphore(6) # full key allows 8; use 1 on a trial key
async def ask(prompt):
async with sem:
r = await client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": prompt}],
)
return r.choices[0].message.content
async def main():
prompts = [f"Give one fact about the number {n}." for n in range(50)]
results = await asyncio.gather(*(ask(p) for p in prompts))
print(len(results))
asyncio.run(main())
Dla limitu minutowego 300 zapytań na minutę to średnio 5 na sekundę. Jeśli batchujesz tysiące krótkich zadań, dodaj małe sleep lub wiadro tokenów przed semaforem. Ponieważ SDK domyślnie ponawia samo w sobie, ustaw max_retries jawnie, aby Twoja logika i SDK nie nakładały się i nie mnożyły oczekiwania.
Odtwórz i zbadaj błąd 429 za pomocą curl
Zanim zmienisz kod, spójrz na surową odpowiedź. Dodaj -i do curl, aby wydrukować nagłówki, i wyślij kilka zapytań równolegle, aby celowo wywołać błąd:
for i in 1 2 3 4; do
curl -i -s https://api.onekeyllmapi.com/v1/chat/completions -H "Authorization: Bearer $API_KEY" -H "Content-Type: application/json" -d '{"model":"uncensored","messages":[{"role":"user","content":"Count to 200 slowly."}]}' &
done
wait
Na kluczu próbnym, który pozwala na 2 zapytania naraz, trzecie i czwarte wywołanie powinny zwrócić status 429 i kod błędu concurrency. Na pełnym kluczu potrzebowałbyś więcej niż 8 naraz. Sprawdź trzy rzeczy w każdej odpowiedzi: linię statusu, nagłówek Retry-After, jeśli istnieje, i pole error.code w ciele JSON. To małe eksperyment mówi więcej niż godzina zgadywania i daje Ci powtarzalny przypadek do pokazania supportowi, jeśli coś wygląda źle.
Zaprojektuj pod to, a nie wokół tego
Traktuj 429 jako normalne zdarzenie, jak timeout. Umieść wywołania modelu za jedną funkcją, loguj każde ponowienie z jego przyczyną i wystaw licznik, aby zauważyć, gdy ponowienia rosną. Rosnąca liczba ponowień to wczesny znak, że Twój ruch przekroczył limity jednego klucza, długo zanim użytkownicy się skarżą. Dla produktów czatowych mała kolejka w pamięci na użytkownika nie pozwala, by jedno zajęte konto zajęło wszystkie 8 slotów pozostałych użytkowników.
Krótka lista kontrolna do debugowania
- Zaloguj pełne ciało błędu i nagłówek
X-Request-Iddla każdego 429. Pole kodu oddzielarate_limitedodconcurrency. - Sprawdź, czy Twój klucz jest kluczem próbnym. Jeśli tak, oczekuj 2 równoległych zapytań i 60 na minutę.
- Policz każdą aplikację używającą klucza, nie tylko tę, która zawiodła.
- Szukaj niezamkniętych strumieni i pętli, które ponawiają natychmiast bez opóźnienia. Pętla natychmiastowego ponowienia zamienia jedno 429 w sto.
- Potwierdź saldo za pomocą
X-Balance-USDlubGET /v1/balance. Puste saldo to inny problem niż 429, ale sprawdzenie zajmuje sekundy.
Nieudane zapytania nie są rozliczane, więc ponowne próby nie kosztują tokenów za odrzucone zapytania. Pełną listę kodów statusu i nagłówków znajdziesz w dokumentacji. Jeśli potrzebujesz klucza z wyższymi limitami niż w ramach wersji próbnej, uzyskaj klucz API i doładuj konto.
