SQL QnA

Yapılandırılmış verilerin nasıl sorgulanacağını öğrenin

Web Scrape QnA ve Multiple Documents QnA gibi önceki örneklerin aksine, yapılandırılmış verilerin sorgulanması bir vektör veritabanı gerektirmez. Üst düzeyde, bu aşağıdaki adımlarla gerçekleştirilebilir:

1. LLM'nin Sağlanması:

   • SQL veritabanı şemasına genel bakış

   • Örnek Satır Verileri

2. Birkaç sorgu ile bir SQL sorgusu döndürür

3. Bir If Else düğümü kullanarak SQL sorgusunu doğrulayın

4. SQL sorgusunu çalıştırmak ve yanıtı almak için özel bir işlev oluşturun

5. Yürütülen SQL yanıtından doğal bir yanıt döndürür

Bu örnekte, SingleStore'da depolanan bir SQL veritabanı ile etkileşime girebilen bir QnA sohbet robotu oluşturacağız

TL; DR

Chatflow şablonunu bulabilirsiniz:

JSON LİNKİ DOSYASI EKLENECEK

1. SQL Database Schema + Example Rows

SingleStore'a bağlanmak, veritabanı şemasını ve ilk 3 satırı almak için bir Custom JS Function node'u kullanın.

Research paperın, aşağıdaki örnek formatta bir istem oluşturulması önerilir:

CREATE TABLE samples (firstName varchar NOT NULL, lastName varchar)
SELECT * FROM samples LIMIT 3
firstName lastName
Stephen Tyler
Jack McGinnis
Steven Repici

Tam JavaScript kodu

const HOST = 'singlestore-host.com';
const USER = 'admin';
const PASSWORD = 'mypassword';
const DATABASE = 'mydb';
const TABLE = 'samples';
const mysql = require('mysql2/promise');

let sqlSchemaPrompt;

function getSQLPrompt() {
  return new Promise(async (resolve, reject) => {
    try {
      const singleStoreConnection = mysql.createPool({
        host: HOST,
        user: USER,
        password: PASSWORD,
        database: DATABASE,
      });
  
      // Get schema info
      const [schemaInfo] = await singleStoreConnection.execute(
        `SELECT * FROM INFORMATION_SCHEMA.COLUMNS WHERE table_name = "${TABLE}"`
      );
  
      const createColumns = [];
      const columnNames = [];
  
      for (const schemaData of schemaInfo) {
        columnNames.push(`${schemaData['COLUMN_NAME']}`);
        createColumns.push(`${schemaData['COLUMN_NAME']} ${schemaData['COLUMN_TYPE']} ${schemaData['IS_NULLABLE'] === 'NO' ? 'NOT NULL' : ''}`);
      }
  
      const sqlCreateTableQuery = `CREATE TABLE samples (${createColumns.join(', ')})`;
      const sqlSelectTableQuery = `SELECT * FROM samples LIMIT 3`;
  
      // Get first 3 rows
      const [rows] = await singleStoreConnection.execute(
          sqlSelectTableQuery,
      );
      
      const allValues = [];
      for (const row of rows) {
          const rowValues = [];
          for (const colName in row) {
              rowValues.push(row[colName]);
          }
          allValues.push(rowValues.join(' '));
      }
  
      sqlSchemaPrompt = sqlCreateTableQuery + '\n' + sqlSelectTableQuery + '\n' + columnNames.join(' ') + '\n' + allValues.join('\n');
      
      resolve();
    } catch (e) {
      console.error(e);
      return reject(e);
    }
  });
}

async function main() {
    await getSQLPrompt();
}

await main();

return sqlSchemaPrompt;

HOST, USER, PASSWORD'ün nasıl alınacağı hakkında daha fazla bilgiyi bu kılavuzda bulabilirsiniz. Bitirdiğinizde Execute'a tıklayın:

Şimdi doğru formatın oluşturulduğunu görebiliriz. Bir sonraki adım bunu Prompt Template'e getirmektir.

2. Birkaç atış prompt'u ile bir SQL sorgusu döndürün

Yeni bir Chat Modeli + Prompt Şablonu + LLMChain oluşturun

Prompt Template (İstem Şablonu) içinde aşağıdaki prompt'u belirtin:

Based on the provided SQL table schema and question below, return a SQL SELECT ALL query that would answer the user's question. For example: SELECT * FROM table WHERE id = '1'.
------------
SCHEMA: {schema}
------------
QUESTION: {question}
------------
SQL QUERY:

{şema}ve {soru} değişkenlerini kullandığımız için, bunların değerlerini Format Prompt Values bölümünde belirtin:

LLM'nin daha iyi öğrenmesini sağlamak için ipucuna daha fazla örnek verebilirsiniz (yani few-shot prompting). Ya da dialect-specific prompt'ları referans alabilirsiniz

3. If Else düğümünü kullanarak SQL sorgusunu doğrulayın

Bazen SQL sorgusu geçersizdir ve geçersiz bir SQL sorgusunu yürütmek için kaynakları boşa harcamak istemeyiz. Örneğin, bir kullanıcı SQL veritabanıyla ilgisi olmayan genel bir soru soruyorsa. Farklı bir yola yönlendirmek için bir If Else düğümü kullanabiliriz.

Örneğin, SELECT ve WHERE'in LLM tarafından verilen SQL sorgusuna dahil edilip edilmediğini görmek için temel bir kontrol gerçekleştirebiliriz.

If Function

const sqlQuery = $sqlQuery.trim();

const regex = /SELECT\s.*?(?:\n|$)/gi;

// Extracting the SQL part
const matches = sqlQuery.match(regex);
const cleanSql = matches ? matches[0].trim() : "";

if (cleanSql.includes("SELECT") && cleanSql.includes("WHERE")) {
    return cleanSql;
}

Else Funciton

Else Function'da, temel olarak LLM'ye kullanıcı sorgusuna cevap veremediğini söyleyen bir Prompt Template + LLMChain'e yönlendireceğiz:

4. SQL sorgusunu çalıştırmak ve yanıtı almak için özel işlev

Eğer geçerli bir SQL sorgusu ise, sorguyu çalıştırmamız gerekir. If Else düğümünden gelen True çıktısını bir Custom JS Function düğümüne bağlayın:

Tam Javascript kodu

const HOST = 'singlestore-host.com';
const USER = 'admin';
const PASSWORD = 'mypassword';
const DATABASE = 'mydb';
const TABLE = 'samples';
const mysql = require('mysql2/promise');

let result;

function getSQLResult() {
  return new Promise(async (resolve, reject) => {
    try {
      const singleStoreConnection = mysql.createPool({
        host: HOST,
        user: USER,
        password: PASSWORD,
        database: DATABASE,
      });
     
      const [rows] = await singleStoreConnection.execute(
        $sqlQuery
      );
  
      result = JSON.stringify(rows)
      
      resolve();
    } catch (e) {
      console.error(e);
      return reject(e);
    }
  });
}

async function main() {
    await getSQLResult();
}

await main();

return result;

5. Yürütülen SQL yanıtından doğal bir yanıt döndürün

Yeni bir Chat Model + Prompt Template + LLMChain oluşturun

Prompt Template'e aşağıdaki prompt'u yazın:

Based on the question, and SQL response, write a natural language response, be details as possible:
------------
QUESTION: {question}
------------
SQL RESPONSE: {sqlResponse}
------------
NATURAL LANGUAGE RESPONSE:

Format Prompt Values bölümünde değişkenleri belirtin:

Voila! SQL sohbet botunuz artık test için hazır!

Query

Öncelikle veri tabanı ile ilgili bir şey soralım.

Günlüklere baktığımızda, ilk LLMChain'in bize bir SQL sorgusu verebildiğini görebiliriz:

Girdi:

Based on the provided SQL table schema and question below, return a SQL SELECT ALL query that would answer the user's question. For example: SELECT * FROM table WHERE id = '1'.\n------------\nSCHEMA: CREATE TABLE samples (id bigint(20) NOT NULL, firstName varchar(300) NOT NULL, lastName varchar(300) NOT NULL, userAddress varchar(300) NOT NULL, userState varchar(300) NOT NULL, userCode varchar(300) NOT NULL, userPostal varchar(300) NOT NULL, createdate timestamp(6) NOT NULL)\nSELECT * FROM samples LIMIT 3\nid firstName lastName userAddress userState userCode userPostal createdate\n1125899906842627 Steven Repici 14 Kingston St. Oregon NJ 5578 Thu Dec 14 2023 13:06:17 GMT+0800 (Singapore Standard Time)\n1125899906842625 John Doe 120 jefferson st. Riverside NJ 8075 Thu Dec 14 2023 13:04:32 GMT+0800 (Singapore Standard Time)\n1125899906842629 Bert Jet 9th, at Terrace plc Desert City CO 8576 Thu Dec 14 2023 13:07:11 GMT+0800 (Singapore Standard Time)\n------------\nQUESTION: what is the address of John\n------------\nSQL QUERY:

Çıktı

SELECT userAddress FROM samples WHERE firstName = 'John'

SQL sorgusu yürütüldükten sonra sonuç 2. LLMChain'e aktarılır:

Girdi

Based on the question, and SQL response, write a natural language response, be details as possible:\n------------\nQUESTION: what is the address of John\n------------\nSQL RESPONSE: [{\"userAddress\":\"120 jefferson st.\"}]\n------------\nNATURAL LANGUAGE RESPONSE:

Çıktı

The address of John is 120 Jefferson St.

Şimdi, SQL veritabanıyla ilgisi olmayan bir şey sorarsak, Else yolu izlenir.

İlk LLMChain için aşağıdaki gibi bir SQL sorgusu oluşturulur:

SELECT * FROM samples LIMIT 3

Ancak, hem SELECT hem de WHERE içermediği için If Else kontrolünde başarısız olur, bu nedenle şöyle diyen bir istem içeren Else rotasına girilir:

Politely say "I'm not able to answer query"

Ve son çıktı şudur:

I apologize, but I'm not able to answer your query at the moment.

Sonuç

Bu örnekte, veritabanınızla etkileşime girebilen ve veritabanıyla ilgisi olmayan soruları da ele alabilen bir SQL sohbet robotunu başarıyla oluşturduk. Daha fazla iyileştirme, konuşma geçmişi sağlamak için bellek eklemeyi içerir.

Sohbet akışını aşağıda bulabilirsiniz:

JSON DOSYASI LİNK