Belge Depoları

AIFINEX Flow Belge Depolarını nasıl kullanacağınızı öğrenin

---

AIFINEX Flow'un Belge Depoları, veri yönetimine çok yönlü bir yaklaşım sunarak verilerinizi tek bir konumda yüklemek için yüklemenize, bölmenize ve hazırlamanıza olanak tanır.

Bu merkezi yaklaşım, veri işlemeyi basitleştirir ve çeşitli veri biçimlerinin verimli bir şekilde yönetilmesine olanak tanıyarak verilerinizi AIFINEX Flow uygulaması içinde düzenlemeyi ve bunlara erişmeyi kolaylaştırır.

Kurulum

Bu eğitimde, LLM'lerin muhtemelen kapsamlı bir şekilde eğitilmediği bir konu olan LibertyGuard Deluxe Homeowners Policy hakkında bilgi almak için bir Retrieval Augmented Generation (RAG) sistemi kuracağız.

AIFINEX Flow Belge Deposunu kullanarak, LibertyGuard ve home insurance policies hakkında veri hazırlayıp ekleyeceğiz. Bu, RAG sistemimizin LibertyGuard'ın home insurance teklifleri hakkındaki kullanıcı sorgularını doğru bir şekilde yanıtlamasını sağlayacaktır.

1. Bir Belge Deposu Ekleyin

• Bir Belge Deposu ekleyip adlandırarak başlayın. Bizim durumumuzda, "LibertyGuard Deluxe Homeowners Policy".

2. Bir Belge Yükleyici Seçin

• Az önce oluşturduğumuz Belge Deposu'na girin ve kullanmak istediğiniz Belge Yükleyici'yi seçin. Bizim durumumuzda, veri setimiz PDF formatında olduğu için PDF Yükleyici'yi kullanacağız.

3. Verilerinizin hazırlanması

• İlk olarak, PDF dosyamızı yükleyerek başlıyoruz.

• Ardından, benzersiz bir metadata anahtarı ekliyoruz. Bu isteğe bağlıdır, ancak daha sonra gerekirse aynı veri kümesini hedeflememize ve filtrelememize izin verdiği için iyi bir uygulamadır.

• Son olarak, verilerinizi parçalamak için kullanmak istediğiniz Metin Bölücü'yü seçin. Bizim özel durumumuzda, Özyinelemeli Karakter Metin Ayırıcı'yı kullanacağız.

Bu kılavuzda, parçalar arasında ilgili hiçbir verinin kaçırılmamasını sağlamak için cömert bir Yığın Örtüşmesi boyutu ekledik. Ancak, en iyi çakışma boyutu verilerinizin karmaşıklığına bağlıdır. Bu değeri, belirli veri kümenize ve çıkarmak istediğiniz bilgilerin doğasına göre ayarlamanız gerekebilir.

4. Verilerinizin Önizlemesini Yapın

• Artık mevcut Metin Bölücüler yapılandırmamızı kullanarak verilerimizin nasıl parçalanacağını önceden görebiliriz; chunk_size=1500 ve chunk_overlap=750 .

• Belirli veri kümeniz için en uygun yapılandırmayı bulmak için farklı Metin Bölücüler, Yığın Boyutları ve Örtüşme değerleriyle denemeler yapmak önemlidir. Bu önizleme, parçalama işlemini iyileştirmenize ve elde edilen parçaların RAG sisteminiz için uygun olduğundan emin olmanıza olanak tanır.

Özel meta verilerimizin her bir parçaya eklendiğini unutmayın. Bu meta veriler, diğer veri kümeleri için aynı vektör deposu dizinini kullansak bile, daha sonra bu belirli veri kümesinden bilgileri kolayca filtrelememize ve almamıza olanak tanır.company: "liberty"

5. Verilerinizi İşleme Koyun

• Parçalama işleminden memnun kaldığınızda, verilerinizi işleme koymanın zamanı geldi.

Verilerinizi işledikten sonra, parçalarınızı silerek veya veri ekleyerek düzenleyebileceğinizi unutmayın. Bu, aşağıdaki durumlarda faydalıdır:

• Orijinal verilerde yanlışlıklar veya tutarsızlıklar keşfedersiniz: Parçaları düzenlemek, hataları düzeltmenize ve bilgilerin doğru olduğundan emin olmanıza olanak tanır.

• İçeriği daha iyi alaka düzeyi için hassaslaştırmak istiyorsunuz: Belirli bilgileri vurgulamak veya alakasız bölümleri kaldırmak için parçaları ayarlayabilirsiniz.

• Belirli sorgular için öbekleri uyarlamanız gerekir: Parçaları düzenleyerek, almayı beklediğiniz soru türlerine daha hedefli hale getirebilirsiniz.

6. Belge Deposu Düğümünüzü Flow'a Ekleyin

• Artık veri kümemiz onaylanmaya hazır olduğuna göre, RAG sohbet akışınıza / aracılık akışınıza gitmenin ve LangChain > Belge Yükleyici bölümünün altına Belge Deposu düğümünü eklemenin zamanı geldi.

7. Verilerinizi bir Vektör Deposuna Aktarın

• Akışınızın sağ köşesindeki yeşil düğmeye tıklayarak veri kümenizi Vektör Mağazanıza yükseltin. Uygulamamızda Upstash Vector Store'u kullandık.

8. RAG'ınızı Kontrol Edin

• Son olarak, Retrieval-Augmented Generation (RAG) sistemimiz çalışır durumda. LLM'nin sorguyu nasıl etkili bir şekilde yorumladığı ve kapsamlı bir yanıt oluşturmak için parçalanmış verilerden ilgili bilgileri nasıl başarılı bir şekilde kullandığı dikkat çekicidir.

9. Özet

LibertyGuard Deluxe Homeowners Policy verilerini düzenlemek için bir Belge Deposu oluşturarak başladık. Bu veriler daha sonra yüklenerek, parçalara ayrılarak, işlenerek ve onaylanarak hazırlandı ve RAG sistemimiz için hazır hale getirildi.

Belge Depoları'nı kullanmanın temel faydaları

• Organizasyon ve Yönetim: Belge Deposu, verilerimizi depolamak, yönetmek ve hazırlamak için merkezi bir konum sağlar.

• Veri Kalitesi: Parçalama işlemi, verilerimizin doğru bir şekilde alınmasını ve analiz edilmesini kolaylaştıracak şekilde yapılandırılmasını sağlamaya yardımcı olur.

• Esneklik: Belge Deposu, verilerimizi gerektiği gibi iyileştirmemize ve ayarlamamıza olanak tanıyarak RAG sistemimizin doğruluğunu ve uygunluğunu artırır.