PL ▾
Pobierz klucz API

Błąd LLM API 429: Przyczyny i sposób naprawy

Błąd LLM API 429 oznacza, że serwer tymczasowo odrzuca zapytanie, a nie na stałe. W tym API istnieją trzy różne przyczyny, każda wymaga nieco innego rozwiązania.

Zaktualizowano

Pakiety światła czekające w kolejce przy bramie z ośmioma pasami, ilustrujące limity zapytań API

Kluczowe punkty

Trzy rodzaje 429

HTTP 429 to standardowy status „zbyt wiele zapytań”. Tutaj obejmuje trzy sytuacje, a ciało JSON z błędem informuje, w której się znajdujesz.

Kod błęduCo to oznaczaTypowe rozwiązanie
rate_limitedZbyt wiele zapytań na minutęZwolnij, rozłóż zapytania w ciągu minuty
concurrencyZbyt wiele zapytań wykonujących się jednocześnieZmniejsz równoległość, poczekaj na zwolnienie slotów
Przeciążenie, z Retry-After: 5Tymczasowe obciążenie usługi, nie Twoja winaPoczekaj liczbę sekund z nagłówka, a następnie ponów zapytanie

Przeczytaj kod najpierw, ponieważ rozwiązanie dla jednej przyczyny nie zadziała dla innej. Obniżenie liczby zapytań na minutę nie pomoże, jeśli prawdziwym problemem jest 20 wątków wysyłających zapytania naraz.

Znaj swoje limity

Limity zależą od typu klucza:

  • Pełny klucz: 8 równoległych zapytań i 300 zapytań na minutę.
  • Klucz próbny: 2 równoległe zapytania i 60 zapytań na minutę.

Każda odpowiedź zawiera X-RateLimit-Limit-Requests i X-RateLimit-Limit-Concurrency, więc Twój klient może odczytać sufit zamiast hardkodować go. Klucz próbny to zwykle winowajca nowych użytkowników: skrypt działający poprawnie przy 1 zapytaniu naraz zaczyna zawodzić, gdy dodasz pulę wątków 4. Klucz próbny służy do testów, a pełny klucz otrzymasz przy doładowaniu od $20 (kwoty i bonusy na stronie z cenami).

Powyższe liczby dotyczą jednego klucza. Jeśli jeden klucz jest współdzielony przez aplikację webową, zadanie cron i notebook współpracownika, wszystkie czerpią z tej samej puli, a błędy 429 będą wyglądać losowo, dopóki nie zsumujesz trzech obciążeń.

Dlaczego strumieniowanie zwiększa prawdopodobieństwo błędów współbieżności

Zwykłe zapytanie zajmuje slot concurrency przez sekundę lub dwie. Zapytanie strumieniowane (stream: true) zajmuje go do momentu przybycia ostatniego tokena i zamknięcia strumienia. Długa odpowiedź może blokować slot przez kilkadziesiąt sekund, więc 8 slotów znika szybko w aplikacji czatu z kilkoma aktywnymi użytkownikami.

Dwa błędy powodują większość problemów. Pierwszy to porzucenie strumienia bez jego zamknięcia: jeśli klient przestanie czytać, ale pozostawi połączenie otwarte, slot pozostaje zajęty do zakończenia połączenia. Zawsze zamykaj odpowiedź w bloku finally lub użyj menedżera kontekstu SDK. Drugi to ponowienie strumienia przez otwarcie drugiego, podczas gdy pierwszy wciąż żyje, co podwaja użycie slotów dokładnie wtedy, gdy brakuje slotów.

Jeśli Twoja aplikacja potrzebuje więcej jednoczesnych długich strumieni niż pozwala klucz, kolejkuj nowe czaty po swojej stronie i pokaż krótki stan oczekiwania. To lepsze niż pokazywanie użytkownikom surowych błędów.

Kod Pythona do ponawiania z backoffem

Wzorzec jest prosty: złap 429, odczytaj kod, poczekaj, spróbuj ponownie z rosnącym opóźnieniem i pewną dozą losowości, a po kilku próbach zrezygnuj. Ta wersja używa oficjalnego pakietu openai pod adresem bazowym usługi:

import random
import time
from openai import OpenAI, RateLimitError

client = OpenAI(
    base_url="https://api.onekeyllmapi.com/v1",
    api_key="YOUR_KEY",
    max_retries=0,  # we handle retries ourselves
)

def chat(messages, attempts=5):
    for i in range(attempts):
        try:
            r = client.chat.completions.create(
                model="uncensored",
                messages=messages,
            )
            return r.choices[0].message.content
        except RateLimitError as e:
            headers = e.response.headers
            wait = float(headers.get("Retry-After", 0))
            if not wait:
                wait = min(30, 2 ** i)  # 1, 2, 4, 8, 16 seconds
            wait += random.uniform(0, 1)  # jitter
            time.sleep(wait)
    raise RuntimeError("still rate limited after retries")

print(chat([{"role": "user", "content": "Reply with the word ok."}]))

Gdy nagłówek jest obecny, użyj go jako minimalnego czasu oczekiwania. Gdy go brakuje, opóźnienie wykładnicze działa dla rate_limited, ponieważ okno minutowe przesuwa się. Jitter zapobiega ponawianiu przez wielu pracowników w tym samym momencie.

Ogranicz równoległe wywołania, aby rzadko widzieć 429

Ponowienia leczą objaw. Semafór zapobiega większości z nich, nigdy nie wysyłając więcej niż liczba slotów. Ustaw go nieco poniżej limitu, aby ponowienie lub błądne zapytanie miało miejsce:

import asyncio
from openai import AsyncOpenAI

client = AsyncOpenAI(
    base_url="https://api.onekeyllmapi.com/v1",
    api_key="YOUR_KEY",
)
sem = asyncio.Semaphore(6)  # full key allows 8; use 1 on a trial key

async def ask(prompt):
    async with sem:
        r = await client.chat.completions.create(
            model="uncensored",
            messages=[{"role": "user", "content": prompt}],
        )
        return r.choices[0].message.content

async def main():
    prompts = [f"Give one fact about the number {n}." for n in range(50)]
    results = await asyncio.gather(*(ask(p) for p in prompts))
    print(len(results))

asyncio.run(main())

Dla limitu minutowego 300 zapytań na minutę to średnio 5 na sekundę. Jeśli batchujesz tysiące krótkich zadań, dodaj małe sleep lub wiadro tokenów przed semaforem. Ponieważ SDK domyślnie ponawia samo w sobie, ustaw max_retries jawnie, aby Twoja logika i SDK nie nakładały się i nie mnożyły oczekiwania.

Odtwórz i zbadaj błąd 429 za pomocą curl

Zanim zmienisz kod, spójrz na surową odpowiedź. Dodaj -i do curl, aby wydrukować nagłówki, i wyślij kilka zapytań równolegle, aby celowo wywołać błąd:

for i in 1 2 3 4; do
  curl -i -s https://api.onekeyllmapi.com/v1/chat/completions     -H "Authorization: Bearer $API_KEY"     -H "Content-Type: application/json"     -d '{"model":"uncensored","messages":[{"role":"user","content":"Count to 200 slowly."}]}' &
done
wait

Na kluczu próbnym, który pozwala na 2 zapytania naraz, trzecie i czwarte wywołanie powinny zwrócić status 429 i kod błędu concurrency. Na pełnym kluczu potrzebowałbyś więcej niż 8 naraz. Sprawdź trzy rzeczy w każdej odpowiedzi: linię statusu, nagłówek Retry-After, jeśli istnieje, i pole error.code w ciele JSON. To małe eksperyment mówi więcej niż godzina zgadywania i daje Ci powtarzalny przypadek do pokazania supportowi, jeśli coś wygląda źle.

Zaprojektuj pod to, a nie wokół tego

Traktuj 429 jako normalne zdarzenie, jak timeout. Umieść wywołania modelu za jedną funkcją, loguj każde ponowienie z jego przyczyną i wystaw licznik, aby zauważyć, gdy ponowienia rosną. Rosnąca liczba ponowień to wczesny znak, że Twój ruch przekroczył limity jednego klucza, długo zanim użytkownicy się skarżą. Dla produktów czatowych mała kolejka w pamięci na użytkownika nie pozwala, by jedno zajęte konto zajęło wszystkie 8 slotów pozostałych użytkowników.

Krótka lista kontrolna do debugowania

  1. Zaloguj pełne ciało błędu i nagłówek X-Request-Id dla każdego 429. Pole kodu oddziela rate_limited od concurrency.
  2. Sprawdź, czy Twój klucz jest kluczem próbnym. Jeśli tak, oczekuj 2 równoległych zapytań i 60 na minutę.
  3. Policz każdą aplikację używającą klucza, nie tylko tę, która zawiodła.
  4. Szukaj niezamkniętych strumieni i pętli, które ponawiają natychmiast bez opóźnienia. Pętla natychmiastowego ponowienia zamienia jedno 429 w sto.
  5. Potwierdź saldo za pomocą X-Balance-USD lub GET /v1/balance. Puste saldo to inny problem niż 429, ale sprawdzenie zajmuje sekundy.

Nieudane zapytania nie są rozliczane, więc ponowne próby nie kosztują tokenów za odrzucone zapytania. Pełną listę kodów statusu i nagłówków znajdziesz w dokumentacji. Jeśli potrzebujesz klucza z wyższymi limitami niż w ramach wersji próbnej, uzyskaj klucz API i doładuj konto.

Pytania i odpowiedzi

Czy błąd 429 jest Twoją winą, czy dostawcy?

Obie możliwości są możliwe. Kody rate_limited i concurrency oznaczają, że Twój klucz przekroczył limit. 429 z nagłówkiem Retry-After może też wynikać z tymczasowego przeciążenia; oczekiwanie podanego czasu, a następnie ponowienie to właściwa reakcja.

Jak długo powinienem czekać przed ponowną próbą?

Jeśli odpowiedź zawiera nagłówek Retry-After, poczekaj co najmniej tyle sekund. W przeciwnym razie zacznij od jednej sekundy i podwój opóźnienie przy każdym ponowieniu, dodając niewielki losowy jitter.

Czy odrzucone zapytania kosztują pieniądze?

Nie. Nieudane lub odrzucone zapytania nie są rozliczane.

Czy mogę podnieść limity?

Pełny klucz pozwala na 8 równoległych zapytań i 300 na minutę, wobec 2 i 60 dla klucza próbnego. Po przekroczeniu tych limitów rozłóż pracę na kolejkę po swojej stronie.

Twój klucz jest o jeden krok stąd

Utwórz konto, skopiuj klucz, zmień bazowy URL. To cała konfiguracja.