ChatOllama

Ön Koşul

1. Ollama'yı indirin veya Docker'da çalıştırın.

2. Örneğin, llama3 ile bir Docker örneği başlatmak için aşağıdaki komutu kullanabilirsiniz

   docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
   docker exec -it ollama ollama run llama3

Kurulum

1. Chat Models > ChatOllama düğümünü sürükle

1. Ollama üzerinde çalışan modeli girin. Örneğin: llama2. Ek parametreler de kullanabilirsiniz:

1. Voila 🎉, artık AIFINEX Flow'da ChatOllama düğümünü kullanabilirsiniz.

Ek Olarak

Docker'da hem Flow hem de Ollama'yı çalıştırıyorsanız, ChatOllama için Temel URL'yi değiştirmeniz gerekecek.

Windows ve MacOS İşletim Sistemleri için http://host.docker.internal:8000 belirtin. Linux tabanlı sistemler için, host.docker.internal kullanılamadığından varsayılan docker ağ geçidi kullanılmalıdır: http://172.17.0.1:8000

Kaynaklar

• LangchainJS ChatOllama

• Ollama