Text Splitters

LangChain Metin Ayırıcı Düğümleri

Uzun metin parçalarıyla uğraşmak istediğinizde, bu metni parçalara ayırmanız gerekir. Bu kulağa basit gelse de, burada çok fazla potansiyel karmaşıklık vardır. İdeal olarak, anlamsal olarak ilişkili metin parçalarını bir arada tutmak istersiniz. “Anlamsal olarak ilişkili” ifadesinin ne anlama geldiği metnin türüne göre değişebilir. Bu kılavuzda bunu yapmanın çeşitli yolları gösterilmektedir.

Yüksek seviyede, text splitters aşağıdaki gibi çalışır:

1. Metni küçük, anlamsal olarak anlamlı parçalara (genellikle cümlelere) ayırın.

2. Belirli bir boyuta ulaşana kadar (bazı işlevlerle ölçüldüğü gibi) bu küçük parçaları daha büyük bir parça halinde birleştirmeye başlayın.

3. Bu boyuta ulaştığınızda, bu parçayı kendi metin parçası haline getirin ve ardından bir miktar örtüşme ile (parçalar arasındaki bağlamı korumak için) yeni bir metin parçası oluşturmaya başlayın.

Bu, metin ayırıcınızı özelleştirebileceğiniz iki farklı eksen olduğu anlamına gelir:

1. Metnin nasıl bölündüğü

2. Yığın boyutunun nasıl ölçüldüğü

Text Splitters Düğümleri:

• Character Text Splitter

• Code Text Splitter

• Html-To-Markdown Text Splitter

• Markdown Text Splitter

• Recursive Character Text Splitter

• Token Text Splitter