LiteLLM Proxy

AIFINEX Flow'un LiteLLM Proxy ile nasıl entegre olduğunu öğrenin

Flow ile LiteLLM Proxy kullanmak için:

• Yük dengesi Azure OpenAI/LLM uç noktaları

• OpenAI Formatında 100'den Fazla LLM Çağırın

• Bütçeleri, ücret sınırlarını belirlemek ve kullanımı takip etmek için Sanal Anahtarları kullanın

Flow ile LiteLLM Proxy Nasıl Kullanılır

Adım 1: LiteLLM config.yaml dosyasında LLM Modellerinizi tanımlayın

LiteLLM Tüm modellerinizin tanımlandığı bir yapılandırma gerektirir - bu dosyayı litellm_config.yaml olarak adlandıracağız

litellm yapılandırmasının nasıl kurulacağına ilişkin ayrıntılı dokümanlar - burada

model_list:
  - model_name: gpt-4
    litellm_params:
      model: azure/chatgpt-v-2
      api_base: https://openai-gpt-4-test-v-1.openai.azure.com/
      api_version: "2023-05-15"
      api_key: 
  - model_name: gpt-4
    litellm_params:
      model: azure/gpt-4
      api_key: 
      api_base: https://openai-gpt-4-test-v-2.openai.azure.com/
  - model_name: gpt-4
    litellm_params:
      model: azure/gpt-4
      api_key: 
      api_base: https://openai-gpt-4-test-v-2.openai.azure.com/

Adım 2: Litellm Proxy'yi Başlatın

docker run \
    -v $(pwd)/litellm_config.yaml:/app/config.yaml \
    -p 4000:4000 \
    ghcr.io/berriai/litellm:main-latest \
    --config /app/config.yaml --detailed_debug

Başarılı olduğunda, proxy http://localhost:4000/ adresinde çalışmaya başlayacaktır.

Adım 3: Flow'da LiteLLM Proxy'sini Kullanın

Flow'da standart OpenAI düğümlerini belirtin (Azure OpenAI düğümlerini değil) - bu chat models, embeddings, llms - her şey için geçerlidir

• BasePath'i LiteLLM Proxy URL'sine ayarlayın (yerel olarak çalıştırırken http://localhost:4000)

• Aşağıdaki başlıkları ayarlayın Authorization: Bearer <your-litellm-master-key>