Token Text Splitter

Ham bir metin dizesini önce metni BPE (Byte Pair Encoding) belirteçlerine dönüştürerek böler, ardından bu belirteçleri parçalara ayırır ve tek bir yığın içindeki belirteçleri tekrar metne dönüştürür.

Token Text Splitter Düğümü

Bu bölüm devam eden bir çalışmadır. Bu bölümü tamamlarken sağlayabileceğiniz her türlü yardım için teşekkür ederiz.