ChatOllama

Ön Koşul

  1. Ollama'yı indirin veya Docker'da çalıştırın.

  2. Örneğin, llama3 ile bir Docker örneği başlatmak için aşağıdaki komutu kullanabilirsiniz

    docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
docker exec -it ollama ollama run llama3

Kurulum

  1. Chat Models > ChatOllama düğümünü sürükle

  1. Ollama üzerinde çalışan modeli girin. Örneğin: llama2. Ek parametreler de kullanabilirsiniz:

  1. Voila 🎉, artık AIFINEX Flow'da ChatOllama düğümünü kullanabilirsiniz.

Ek Olarak

Docker'da hem Flow hem de Ollama'yı çalıştırıyorsanız, ChatOllama için Temel URL'yi değiştirmeniz gerekecek.

Windows ve MacOS İşletim Sistemleri için http://host.docker.internal:8000 belirtin. Linux tabanlı sistemler için, host.docker.internal kullanılamadığından varsayılan docker ağ geçidi kullanılmalıdır: http://172.17.0.1:8000

Kaynaklar

PreviousChatMistralAINextChatOllama Function

Last updated