一、OpenAI API为什么要有速率限制
速率限制是API的常见做法，设置这个限制的原因一般有以下几点：
- 有助于防止API的滥用或误用。例如，恶意行为者可能会向API发送大量请求，试图使其超载或造成服务中断，通过设置速率限制，可以防止此类活动。
- 有助于确保每个人都能公平地访问API。如果某个人或组织发出过多的请求，可能会使其他所有人访问API的速度变慢。通过限制单个用户可以发出的请求数量，可以确保更多人有机会使用API而不经历减速。
- 可以帮助OpenAI管理其基础设施上的总负载。如果对API的请求急剧增加，可能会给服务器带来压力并导致性能问题。通过设置速率限制，可以帮助维持所有用户的平稳且一致的体验。
二、OpenAI API速率限制是怎么工作的
目前，OpenAI API速率限制通过五种方式衡量：RPM（每分钟请求次数）、RPD（每天请求次数）、TPM（每分钟令牌数）、TPD（每天令牌数）和IPM（每分钟图像数）。根据首先发生的情况，可能会触及任何选项的限制。例如，你可能向ChatCompletions端点发送了20个请求，只用了100个令牌，这将填满你的限制（如果你的RPM是20），即使在这20个请求中你没有发送150k令牌（如果你的TPM限制是150k）。
其他值得注意的重要事项：
- 速率限制是在组织级别而不是用户级别施加的。
- 速率限制根据所使用的模型而有所不同。
- 组织每月可以在API上花费的总金额也有限制。
三、不同账户的OpenAI API速率限制是什么
OpenAI对于不同用户设有不同的API速率限制，免费用户限制最严重，花的越多，限制越宽松，随着在OpenAI API上的花费增加，OpenAI将自动将账户提升到下一个使用层次，这会增加大多数模型的速率限制。
目前，OpenAI API一共有6个用户层级，免费的一种（Free），付费的五种（Tier 1 – Tier 5），每种层级（TIER）的要求和金额限制（USAGE LIMITS）如下：
| 层级 | 要求 | 金额限制 |
|---|---|---|
| Free | 用户必须在允许的国家调用 | $100 / month |
| Tier 1 | 支付了5美元 | $100 / month |
| Tier 2 | 支付了50美元并且自首次成功支付后已超过7天 | $500 / month |
| Tier 3 | 支付了100美元并且自首次成功支付后已超过7天 | $1,000 / month |
| Tier 4 | 支付了250美元并且自首次成功支付后已超过14天 | $5,000 / month |
| Tier 5 | 支付了1000美元并且自首次成功支付后已超过30天 | $10,000 / month |
这里整理了OpenAI不同用户层级的速率限制，对于这些限制有每个模型的例外情况（例如，一些旧模型或具有更大上下文窗口的模型有不同的速率限制）。要查看您账户每个模型的确切速率限制，请访问账户设置的限制部分。
OpenAI Free账户速率限制：
| MODEL | RPM | RPD | TPM |
|---|---|---|---|
gpt-3.5-turbo | 3 | 200 | 40,000 |
text-embedding-3-small | 3 | 200 | 150,000 |
whisper-1 | 3 | 200 | – |
tts-1 | 3 | 200 | – |
dall-e-2 | 5 img/min | – | – |
dall-e-3 | 1 img/min | – | – |
OpenAI Tier 1账户速率限制：
| MODEL | RPM | RPD | TPM |
|---|---|---|---|
gpt-4 | 500 | 10,000 | 10,000 |
gpt-4-turbo-preview | 500 | – | 300,000 |
gpt-4-vision-preview | 80 | 500 | 10,000 |
gpt-3.5-turbo | 3,500 | 10,000 | 60,000 |
text-embedding-3-large | 500 | 10,000 | 1,000,000 |
whisper-1 | 50 | – | – |
tts-1 | 50 | – | – |
tts-1-hd | 3 | – | – |
dall-e-2 | 5 img/min | – | – |
dall-e-3 | 5 img/min | – | – |
OpenAI Tier 2账户速率限制：
| MODEL | RPM | RPD | TPM |
|---|---|---|---|
gpt-4 | 5,000 | – | 40,000 |
gpt-4-turbo-preview | 5,000 | – | 450,000 |
gpt-4-vision-preview | 100 | 1,000 | 20,000 |
gpt-3.5-turbo | 3,500 | – | 80,000 |
text-embedding-3-large | 500 | – | 1,000,000 |
whisper-1 | 50 | – | – |
tts-1 | 50 | – | – |
tts-1-hd | 5 | – | – |
dall-e-2 | 50 img/min | – | – |
dall-e-3 | 7 img/min | – | – |
OpenAI Tier 3账户速率限制：
| MODEL | RPM | RPD | TPM |
|---|---|---|---|
gpt-4 | 5,000 | – | 80,000 |
gpt-4-turbo-preview | 5,000 | – | 600,000 |
gpt-4-vision-preview | 120 | 1,500 | 40,000 |
gpt-3.5-turbo | 3,500 | – | 160,000 |
text-embedding-3-large | 5,000 | – | 5,000,000 |
whisper-1 | 100 | – | – |
tts-1 | 100 | – | – |
tts-1-hd | 7 | – | – |
dall-e-2 | 100 img/min | – | – |
dall-e-3 | 7 img/min | – | – |
OpenAI Tier 4账户速率限制：
| MODEL | RPM | RPD | TPM |
|---|---|---|---|
gpt-4 | 10,000 | – | 300,000 |
gpt-4-turbo-preview | 10,000 | – | 800,000 |
gpt-4-vision-preview | 300 | 2,000 | 150,000 |
gpt-3.5-turbo | 10,000 | – | 1,000,000 |
text-embedding-3-large | 10,000 | – | 5,000,000 |
whisper-1 | 100 | – | – |
tts-1 | 100 | – | – |
tts-1-hd | 10 | – | – |
dall-e-2 | 100 img/min | – | – |
dall-e-3 | 15 img/min | – | – |
OpenAI Tier 5账户速率限制：
| MODEL | RPM | TPM |
|---|---|---|
gpt-4 | 10,000 | 300,000 |
gpt-4-turbo-preview | 10,000 | 1,500,000 |
gpt-4-vision-preview | 3000 | 300,000 |
gpt-3.5-turbo | 10,000 | 2,000,000 |
text-embedding-3-large | 10,000 | 10,000,000 |
whisper-1 | 500 | – |
tts-1 | 500 | – |
tts-1-hd | 20 | – |
dall-e-2 | 500 img/min |
