速率限制

速率限制

大模型的 API 请求使用会受到速率限制，不同模型之间的统计倍率可能有所差异。

例如 ecnu-plus 的统计倍率为 1x，则每调用一次，按1个请求计算限流。而 ecnu-max 的统计倍率为 3x，则每调用一次，按3个请求计算限流。

详见 模型介绍

所有用户的个人令牌的默认限流如下所示。

限流	说明
每分钟	180 个请求
每天	5000 个请求
每月	100000 个请求

为校内师生提供服务的生产系统所配套的API令牌有独立的限流池，不受上述策略限制。

• 注意：受算力限制，我们预期将进一步降低默认限流的配额，新的限流策略发布时，我们会提前更新文档并告知用户。

如果您有更高的速率要求，请与我们联系：dataservice@ecnu.edu.cn

为什么要做速率限制

• 优化请求管理以预防过载：协助监控并控制整体的负载状况，防止因请求突然增多而引发的服务器性能问题，从而增强服务的可靠性。
• 确保资源的平等与高效使用：通过避免任何单一来源的过度请求，保护其他用户的使用权，确保更多用户的访问需求和提升用户体验。
• 强化安全防护措施：通过防御恶意攻击，加强整个网络环境的安全性。