VI ▾
Lấy khóa API

Lỗi LLM API 429: Nguyên nhân và Cách khắc phục

Lỗi API LLM 429 nghĩa là máy chủ đang từ chối yêu cầu hiện tại, không phải vĩnh viễn. Trên API này có ba nguyên nhân riêng biệt, mỗi cái cần một cách khắc phục hơi khác nhau.

Cập nhật

Các gói dữ liệu xếp hàng tại cổng có tám làn, minh họa giới hạn tốc độ API

Điểm chính

Ba loại lỗi 429

HTTP 429 là trạng thái "quá nhiều yêu cầu" tiêu chuẩn. Ở đây nó bao gồm ba tình huống, và phần thân JSON của lỗi cho bạn biết mình đang ở trường hợp nào.

Mã lỗiÝ nghĩaCách khắc phục điển hình
rate_limitedQuá nhiều yêu cầu mỗi phútGiảm tốc độ, phân phối yêu cầu trong phút
concurrencyQuá nhiều yêu cầu chạy cùng lúcGiảm độ song song, chờ slot trống
Quá tải, với Retry-After: 5Tải tạm thời trên dịch vụ, không phải lỗi của bạnChờ số giây trong header rồi thử lại

Đọc mã trước vì cách sửa cho nguyên nhân này không hiệu quả với nguyên nhân khác. Giảm một nửa số yêu cầu mỗi phút sẽ không giúp nếu vấn đề thực sự là 20 worker đang gửi cùng lúc.

Biết giới hạn của bạn

Giới hạn phụ thuộc vào loại khóa:

  • Khóa đầy đủ: 8 yêu cầu đồng thời và 300 yêu cầu mỗi phút.
  • Khóa dùng thử: 2 yêu cầu đồng thời và 60 yêu cầu mỗi phút.

Mỗi phản hồi đều mang X-RateLimit-Limit-Requests và X-RateLimit-Limit-Concurrency, để client của bạn đọc được trần thay vì mã cứng. Khóa dùng thử thường là nguyên nhân với người dùng mới: một script chạy tốt với 1 yêu cầu tại một thời điểm sẽ bắt đầu lỗi khi bạn thêm thread pool 4 luồng. Khóa dùng thử dành cho kiểm thử, và khóa đầy đủ có kèm bất kỳ khoản top-up nào từ $20 (xem trang giá cả để biết số tiền và ưu đãi).

Các số trên là trên mỗi khóa. Nếu một khóa được chia sẻ bởi một ứng dụng web, một công việc cron và notebook của đồng nghiệp, tất cả đều dùng chung một pool, và các lỗi 429 sẽ trông ngẫu nhiên cho đến khi bạn cộng ba khối lượng công việc lại.

Tại sao streaming làm lỗi concurrency dễ xảy ra hơn

Một yêu cầu bình thường giữ một slot concurrency trong một hoặc hai giây. Một yêu cầu stream (stream: true) giữ slot đó cho đến khi token cuối cùng đến và stream đóng. Một câu trả lời dài có thể giữ slot bận trong hàng chục giây, vì vậy 8 slot biến mất nhanh chóng trong một ứng dụng chat với nhiều người dùng đang hoạt động.

Hai lỗi gây ra phần lớn rắc rối ở đây. Thứ nhất là bỏ stream mà không đóng nó: nếu client ngừng đọc nhưng giữ kết nối mở, slot vẫn được chiếm cho đến khi kết nối kết thúc. Luôn đóng phản hồi trong khối finally, hoặc dùng context manager của SDK. Thứ hai là thử lại stream bằng cách mở một stream thứ hai trong khi stream đầu tiên vẫn còn sống, điều này làm tăng gấp đôi việc sử dụng slot chính xác khi bạn thiếu slot.

Nếu ứng dụng của bạn cần nhiều stream dài đồng thời hơn khóa cho phép, hãy xếp hàng các cuộc trò chuyện mới phía bạn và hiển thị trạng thái chờ ngắn. Điều đó tốt hơn là để người dùng thấy lỗi thô.

Mã thử lại Python với backoff

Mẫu đơn giản: bắt lỗi 429, đọc mã, chờ, thử lại với độ trễ tăng dần và một chút ngẫu nhiên, rồi từ bỏ sau vài lần thử. Phiên bản này dùng gói openai chính thức với base URL của dịch vụ:

import random
import time
from openai import OpenAI, RateLimitError

client = OpenAI(
    base_url="https://api.onekeyllmapi.com/v1",
    api_key="YOUR_KEY",
    max_retries=0,  # we handle retries ourselves
)

def chat(messages, attempts=5):
    for i in range(attempts):
        try:
            r = client.chat.completions.create(
                model="uncensored",
                messages=messages,
            )
            return r.choices[0].message.content
        except RateLimitError as e:
            headers = e.response.headers
            wait = float(headers.get("Retry-After", 0))
            if not wait:
                wait = min(30, 2 ** i)  # 1, 2, 4, 8, 16 seconds
            wait += random.uniform(0, 1)  # jitter
            time.sleep(wait)
    raise RuntimeError("still rate limited after retries")

print(chat([{"role": "user", "content": "Reply with the word ok."}]))

Khi header có mặt, hãy dùng nó làm thời gian chờ tối thiểu. Khi nó vắng mặt, độ trễ theo cấp số nhân hoạt động cho rate_limited vì cửa sổ mỗi phút trôi qua. Jitter giữ nhiều worker không thử lại cùng một lúc.

Giới hạn lệnh gọi song song để hiếm khi gặp 429

Việc thử lại chỉ xử lý triệu chứng. Semaphore ngăn hầu hết bằng cách không gửi quá số slot của bạn. Đặt nó thấp hơn giới hạn một chút để một lần thử lại hoặc một yêu cầu lạc đường vẫn có chỗ:

import asyncio
from openai import AsyncOpenAI

client = AsyncOpenAI(
    base_url="https://api.onekeyllmapi.com/v1",
    api_key="YOUR_KEY",
)
sem = asyncio.Semaphore(6)  # full key allows 8; use 1 on a trial key

async def ask(prompt):
    async with sem:
        r = await client.chat.completions.create(
            model="uncensored",
            messages=[{"role": "user", "content": prompt}],
        )
        return r.choices[0].message.content

async def main():
    prompts = [f"Give one fact about the number {n}." for n in range(50)]
    results = await asyncio.gather(*(ask(p) for p in prompts))
    print(len(results))

asyncio.run(main())

Với giới hạn mỗi phút, 300 yêu cầu mỗi phút là 5 yêu cầu mỗi giây trung bình. Nếu bạn batch hàng nghìn công việc ngắn, hãy thêm một khoảng sleep nhỏ hoặc token bucket trước semaphore. Vì SDK cũng tự retry theo mặc định, hãy đặt max_retries rõ ràng để logic của bạn và của SDK không chồng lên nhau và nhân thời gian chờ.

Tái tạo và kiểm tra lỗi 429 bằng curl

Trước khi thay đổi mã, hãy xem phản hồi thô. Thêm -i vào curl để in header, và gửi vài yêu cầu song song để gây ra lỗi có chủ đích:

for i in 1 2 3 4; do
  curl -i -s https://api.onekeyllmapi.com/v1/chat/completions     -H "Authorization: Bearer $API_KEY"     -H "Content-Type: application/json"     -d '{"model":"uncensored","messages":[{"role":"user","content":"Count to 200 slowly."}]}' &
done
wait

Trên khóa dùng thử, cho phép 2 yêu cầu cùng lúc, lệnh gọi thứ ba và thứ tư sẽ trả về trạng thái 429 và mã lỗi concurrency. Với khóa đầy đủ bạn cần hơn 8 lệnh gọi cùng lúc. Hãy xem ba thứ trong mỗi phản hồi: dòng trạng thái, header Retry-After nếu có, và trường error.code trong thân JSON. Thí nghiệm nhỏ này cho bạn biết nhiều hơn một giờ đoán mò, và nó cung cấp một trường hợp có thể tái tạo để gửi cho bộ phận hỗ trợ nếu có gì đó sai.

Thiết kế cho nó, không phải xung quanh nó

Xử lý 429 như một sự kiện bình thường, giống như timeout. Đặt lệnh gọi mô hình sau một hàm duy nhất, log mọi lần retry với lý do, và expose một bộ đếm để bạn nhận ra khi retry tăng. Tỷ lệ retry tăng là dấu hiệu sớm cho thấy lưu lượng của bạn đã vượt quá giới hạn của một khóa đơn, lâu trước khi người dùng phàn nàn. Đối với sản phẩm chat, một hàng đợi nhỏ trong bộ nhớ cho mỗi người dùng ngăn một tài khoản bận chiếm hết 8 slot của những người khác.

Một danh sách kiểm tra gỡ lỗi ngắn

  1. Log toàn bộ thân lỗi và header X-Request-Id cho mỗi lỗi 429. Trường mã phân biệt rate_limited với concurrency.
  2. Kiểm tra xem khóa của bạn có phải là khóa dùng thử không. Nếu có, hãy mong đợi 2 yêu cầu đồng thời và 60 mỗi phút.
  3. Đếm mọi chương trình sử dụng khóa, không chỉ chương trình bị lỗi.
  4. Tìm các stream chưa đóng, và các vòng lặp thử lại ngay lập tức không có độ trễ. Một vòng lặp thử lại ngay lập tức biến một yêu cầu 429 thành một trăm yêu cầu.
  5. Xác nhận số dư với X-Balance-USD hoặc GET /v1/balance. Số dư trống là một vấn đề khác với lỗi 429, nhưng việc kiểm tra chỉ mất vài giây.

Các yêu cầu thất bại không bị tính phí, vì vậy việc thử lại không tốn token của bạn cho các lần thử bị từ chối. Để xem danh sách đầy đủ các mã trạng thái và header, hãy xem tài liệu. Nếu bạn cần một khóa có giới hạn cao hơn khóa dùng thử, lấy khóa API và nạp tiền.

Hỏi đáp

Lỗi 429 là do lỗi của bạn hay của nhà cung cấp?

Cả hai đều có thể xảy ra. Mã rate_limited và concurrency nghĩa là khóa của bạn đã vượt quá giới hạn. Lỗi 429 kèm header Retry-After cũng có thể đến từ quá tải tạm thời; chờ thời gian nêu rồi thử lại là cách xử lý đúng.

Tôi nên chờ bao lâu trước khi thử lại?

Nếu phản hồi có header Retry-After, hãy chờ ít nhất số giây đó. Nếu không, hãy bắt đầu với 1 giây và tăng gấp đôi độ trễ mỗi lần, kèm một chút nhiễu ngẫu nhiên.

Yêu cầu bị từ chối có tốn tiền không?

Không. Các yêu cầu thất bại hoặc bị từ chối không bị tính phí.

Tôi có thể tăng giới hạn không?

Khóa đầy đủ cho phép 8 yêu cầu đồng thời và 300 mỗi phút, so với 2 và 60 cho khóa dùng thử. Vượt quá mức này, hãy phân phối công việc qua hàng đợi phía bạn.

Khóa của bạn chỉ cách một bước điền biểu mẫu

Tạo tài khoản, sao chép khóa, thay đổi URL cơ sở. Đó là toàn bộ quá trình thiết lập.