LocalAI Embeddings

LocalAI Kurulumu

LocalAI, yerel çıkarım için OpenAI API spesifikasyonlarıyla uyumlu bir yedek REST API'sidir. LLM'leri (sadece LLM değil) yerel olarak veya şirket içinde tüketici sınıfı donanımla çalıştırmanıza olanak tanır ve ggml formatıyla uyumlu birden fazla model ailesini destekler.

AIFINEX Flow içinde LocalAI Embeddings'i kullanmak için aşağıdaki adımları izleyin:

1. git clone https://github.com/go-skynet/LocalAI

2. cd LocalAI

3. LocalAI, modeli indirmek/yüklemek için bir API uç noktası sağlar. Bu örnekte, BERT Embeddings modelini kullanacağız:

1. /models klasöründe, indirilen modeli orada görebilmeniz gerekir:

1. Artık embedding'inizi test edebilirsiniz:

   curl http://localhost:8080/v1/embeddings -H "Content-Type: application/json" -d '{
       "input": "Test",
       "model": "text-embedding-ada-002"
     }'

2. Yanıt şöyle görünmelidir:

AIFINEX Flow Kurulumu

Yeni bir LocalAIEmbeddings bileşenini canvas'a sürükleyip bırakın:

Aşağıdaki alanları doldurun:

• Base Path: LocalAI'den alınan temel url örneğin http://localhost:8080/v1

• Model Adı: Kullanmak istediğiniz model. LocalAI dizininin klasörünün içinde olması gerektiğini unutmayın. Örneğin: /modelstext-embedding-ada-002

Bu kadar! Daha fazla bilgi için LocalAI belgelerine bakın.