ChatLocalAI

LocalAI Kurulumu

LocalAI, yerel çıkarım için OpenAI API spesifikasyonlarıyla uyumlu bir yedek REST API'sidir. LLM'leri (yalnızca değil) yerel olarak veya şirket içinde tüketici sınıfı donanımla çalıştırmanıza olanak tanır ve ggml formatıyla uyumlu birden fazla model ailesini destekler.

ChatLocalAI'yi AIFINEX Flow içinde kullanmak için aşağıdaki adımları izleyin:

1. git clone https://github.com/go-skynet/LocalAI

2. cd LocalAI

3. # copy your models to models/
   cp your-model.bin models/

Mesela:

gpt4all.io'daki modellerden birini indirin

# Download gpt4all-j to models/
wget https://gpt4all.io/models/ggml-gpt4all-j.bin -O models/ggml-gpt4all-j

/models klasöründe, indirilen modeli orada görebilmeniz gerekir:

Desteklenen modellerin listesi için buraya bakın.

1. docker compose up -d --pull always

2. Artık API'ye localhost:8080 adresinden erişilebilir

# Test API
curl http://localhost:8080/v1/models
# {"object":"list","data":[{"id":"ggml-gpt4all-j.bin","object":"model"}]}

AIFINEX Flow Kurulumu

Yeni bir ChatLocalAI bileşenini canvas'a sürükleyip bırakın:

Aşağıdaki alanları doldurun:

• Temel Yol: LocalAI'den alınan temel url örneğin http://localhost:8080/v1

• Model Adı: Kullanmak istediğiniz model. LocalAI dizininin klasörünün içinde olması gerektiğini unutmayın. Örneğin: /modelsggml-gpt4all-j.bin

Docker'da hem Flow hem de LocalAI çalıştırıyorsanız temel yolu http://host.docker.internal:8080/v1 olarak değiştirmeniz gerekebilir. Linux tabanlı sistemler için, host.docker.internal kullanılamadığından varsayılan docker ağ geçidi kullanılmalıdır: http://172.17.0.1:8080/v1

Bu kadar! Daha fazla bilgi için LocalAI belgelerine bakın.

Flow'da LocalAI'yi nasıl kullanabileceğinizi izleyin.

YOUTUBE VDEOSU!!!!