Ba loại lỗi 429
HTTP 429 là trạng thái "quá nhiều yêu cầu" tiêu chuẩn. Ở đây nó bao gồm ba tình huống, và phần thân JSON của lỗi cho bạn biết mình đang ở trường hợp nào.
| Mã lỗi | Ý nghĩa | Cách khắc phục điển hình |
|---|---|---|
rate_limited | Quá nhiều yêu cầu mỗi phút | Giảm tốc độ, phân phối yêu cầu trong phút |
concurrency | Quá nhiều yêu cầu chạy cùng lúc | Giảm độ song song, chờ slot trống |
Quá tải, với Retry-After: 5 | Tải tạm thời trên dịch vụ, không phải lỗi của bạn | Chờ số giây trong header rồi thử lại |
Đọc mã trước vì cách sửa cho nguyên nhân này không hiệu quả với nguyên nhân khác. Giảm một nửa số yêu cầu mỗi phút sẽ không giúp nếu vấn đề thực sự là 20 worker đang gửi cùng lúc.
Biết giới hạn của bạn
Giới hạn phụ thuộc vào loại khóa:
- Khóa đầy đủ: 8 yêu cầu đồng thời và 300 yêu cầu mỗi phút.
- Khóa dùng thử: 2 yêu cầu đồng thời và 60 yêu cầu mỗi phút.
Mỗi phản hồi đều mang X-RateLimit-Limit-Requests và X-RateLimit-Limit-Concurrency, để client của bạn đọc được trần thay vì mã cứng. Khóa dùng thử thường là nguyên nhân với người dùng mới: một script chạy tốt với 1 yêu cầu tại một thời điểm sẽ bắt đầu lỗi khi bạn thêm thread pool 4 luồng. Khóa dùng thử dành cho kiểm thử, và khóa đầy đủ có kèm bất kỳ khoản top-up nào từ $20 (xem trang giá cả để biết số tiền và ưu đãi).
Các số trên là trên mỗi khóa. Nếu một khóa được chia sẻ bởi một ứng dụng web, một công việc cron và notebook của đồng nghiệp, tất cả đều dùng chung một pool, và các lỗi 429 sẽ trông ngẫu nhiên cho đến khi bạn cộng ba khối lượng công việc lại.
Tại sao streaming làm lỗi concurrency dễ xảy ra hơn
Một yêu cầu bình thường giữ một slot concurrency trong một hoặc hai giây. Một yêu cầu stream (stream: true) giữ slot đó cho đến khi token cuối cùng đến và stream đóng. Một câu trả lời dài có thể giữ slot bận trong hàng chục giây, vì vậy 8 slot biến mất nhanh chóng trong một ứng dụng chat với nhiều người dùng đang hoạt động.
Hai lỗi gây ra phần lớn rắc rối ở đây. Thứ nhất là bỏ stream mà không đóng nó: nếu client ngừng đọc nhưng giữ kết nối mở, slot vẫn được chiếm cho đến khi kết nối kết thúc. Luôn đóng phản hồi trong khối finally, hoặc dùng context manager của SDK. Thứ hai là thử lại stream bằng cách mở một stream thứ hai trong khi stream đầu tiên vẫn còn sống, điều này làm tăng gấp đôi việc sử dụng slot chính xác khi bạn thiếu slot.
Nếu ứng dụng của bạn cần nhiều stream dài đồng thời hơn khóa cho phép, hãy xếp hàng các cuộc trò chuyện mới phía bạn và hiển thị trạng thái chờ ngắn. Điều đó tốt hơn là để người dùng thấy lỗi thô.
Mã thử lại Python với backoff
Mẫu đơn giản: bắt lỗi 429, đọc mã, chờ, thử lại với độ trễ tăng dần và một chút ngẫu nhiên, rồi từ bỏ sau vài lần thử. Phiên bản này dùng gói openai chính thức với base URL của dịch vụ:
import random
import time
from openai import OpenAI, RateLimitError
client = OpenAI(
base_url="https://api.onekeyllmapi.com/v1",
api_key="YOUR_KEY",
max_retries=0, # we handle retries ourselves
)
def chat(messages, attempts=5):
for i in range(attempts):
try:
r = client.chat.completions.create(
model="uncensored",
messages=messages,
)
return r.choices[0].message.content
except RateLimitError as e:
headers = e.response.headers
wait = float(headers.get("Retry-After", 0))
if not wait:
wait = min(30, 2 ** i) # 1, 2, 4, 8, 16 seconds
wait += random.uniform(0, 1) # jitter
time.sleep(wait)
raise RuntimeError("still rate limited after retries")
print(chat([{"role": "user", "content": "Reply with the word ok."}]))
Khi header có mặt, hãy dùng nó làm thời gian chờ tối thiểu. Khi nó vắng mặt, độ trễ theo cấp số nhân hoạt động cho rate_limited vì cửa sổ mỗi phút trôi qua. Jitter giữ nhiều worker không thử lại cùng một lúc.
Giới hạn lệnh gọi song song để hiếm khi gặp 429
Việc thử lại chỉ xử lý triệu chứng. Semaphore ngăn hầu hết bằng cách không gửi quá số slot của bạn. Đặt nó thấp hơn giới hạn một chút để một lần thử lại hoặc một yêu cầu lạc đường vẫn có chỗ:
import asyncio
from openai import AsyncOpenAI
client = AsyncOpenAI(
base_url="https://api.onekeyllmapi.com/v1",
api_key="YOUR_KEY",
)
sem = asyncio.Semaphore(6) # full key allows 8; use 1 on a trial key
async def ask(prompt):
async with sem:
r = await client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": prompt}],
)
return r.choices[0].message.content
async def main():
prompts = [f"Give one fact about the number {n}." for n in range(50)]
results = await asyncio.gather(*(ask(p) for p in prompts))
print(len(results))
asyncio.run(main())
Với giới hạn mỗi phút, 300 yêu cầu mỗi phút là 5 yêu cầu mỗi giây trung bình. Nếu bạn batch hàng nghìn công việc ngắn, hãy thêm một khoảng sleep nhỏ hoặc token bucket trước semaphore. Vì SDK cũng tự retry theo mặc định, hãy đặt max_retries rõ ràng để logic của bạn và của SDK không chồng lên nhau và nhân thời gian chờ.
Tái tạo và kiểm tra lỗi 429 bằng curl
Trước khi thay đổi mã, hãy xem phản hồi thô. Thêm -i vào curl để in header, và gửi vài yêu cầu song song để gây ra lỗi có chủ đích:
for i in 1 2 3 4; do
curl -i -s https://api.onekeyllmapi.com/v1/chat/completions -H "Authorization: Bearer $API_KEY" -H "Content-Type: application/json" -d '{"model":"uncensored","messages":[{"role":"user","content":"Count to 200 slowly."}]}' &
done
wait
Trên khóa dùng thử, cho phép 2 yêu cầu cùng lúc, lệnh gọi thứ ba và thứ tư sẽ trả về trạng thái 429 và mã lỗi concurrency. Với khóa đầy đủ bạn cần hơn 8 lệnh gọi cùng lúc. Hãy xem ba thứ trong mỗi phản hồi: dòng trạng thái, header Retry-After nếu có, và trường error.code trong thân JSON. Thí nghiệm nhỏ này cho bạn biết nhiều hơn một giờ đoán mò, và nó cung cấp một trường hợp có thể tái tạo để gửi cho bộ phận hỗ trợ nếu có gì đó sai.
Thiết kế cho nó, không phải xung quanh nó
Xử lý 429 như một sự kiện bình thường, giống như timeout. Đặt lệnh gọi mô hình sau một hàm duy nhất, log mọi lần retry với lý do, và expose một bộ đếm để bạn nhận ra khi retry tăng. Tỷ lệ retry tăng là dấu hiệu sớm cho thấy lưu lượng của bạn đã vượt quá giới hạn của một khóa đơn, lâu trước khi người dùng phàn nàn. Đối với sản phẩm chat, một hàng đợi nhỏ trong bộ nhớ cho mỗi người dùng ngăn một tài khoản bận chiếm hết 8 slot của những người khác.
Một danh sách kiểm tra gỡ lỗi ngắn
- Log toàn bộ thân lỗi và header
X-Request-Idcho mỗi lỗi 429. Trường mã phân biệtrate_limitedvớiconcurrency. - Kiểm tra xem khóa của bạn có phải là khóa dùng thử không. Nếu có, hãy mong đợi 2 yêu cầu đồng thời và 60 mỗi phút.
- Đếm mọi chương trình sử dụng khóa, không chỉ chương trình bị lỗi.
- Tìm các stream chưa đóng, và các vòng lặp thử lại ngay lập tức không có độ trễ. Một vòng lặp thử lại ngay lập tức biến một yêu cầu 429 thành một trăm yêu cầu.
- Xác nhận số dư với
X-Balance-USDhoặcGET /v1/balance. Số dư trống là một vấn đề khác với lỗi 429, nhưng việc kiểm tra chỉ mất vài giây.
Các yêu cầu thất bại không bị tính phí, vì vậy việc thử lại không tốn token của bạn cho các lần thử bị từ chối. Để xem danh sách đầy đủ các mã trạng thái và header, hãy xem tài liệu. Nếu bạn cần một khóa có giới hạn cao hơn khóa dùng thử, lấy khóa API và nạp tiền.
