Tag: litellm
All the articles with the tag "litellm".
-
LiteLLM Proxy 폴백 구조를 4단에서 2단으로 줄인 이유
LiteLLM Proxy의 모델 폴백 구조를 4단 캐스케이드에서 2단으로 단순화하고, N개 API 키의 RPM/RPD를 균형 분배한 과정을 정리한다.
All the articles with the tag "litellm".
LiteLLM Proxy의 모델 폴백 구조를 4단 캐스케이드에서 2단으로 단순화하고, N개 API 키의 RPM/RPD를 균형 분배한 과정을 정리한다.