A ChatGPT, és az ahhoz hasonló nagy nyelvi modellek (LLM-ek) megváltoztatták a világunkat. Egyik fontos üzleti alkalmazási lehetőség, mely segítségükkel elérhetővé vált, a domain-specifikus kérdésmegválaszoló rendszerek összeállítása, mely képes megválaszolni a felhaszáló kérdéseit egy adott szakterületre vonatkozóan. Az egyik, egyre népszerűbb irányvonal a RAG (Retrieval Augmented Generation), mely úgy működik, hogy egy nagy adatbázisból megkeressük a felhasználó kérdése szempontjából legrelevánsabb adatokat (szövegeket/paragrafusokat), és azt az LLM prompt-jába illesztjük, így az LLM ennek a plusz tudásnak az ismeretében igen pontos választ tud adni, akkor is, ha a modell tanításakor ezzel soha nem találkozott (sőt, akkor is, ha az egész terület ismeretlen számára).

Ezeknek a rendszereknek a használata ma már mindenki számára lokálisan, online szolgáltatások igénybevétele nélkül is elérhető. Vannak nagyon jó LLM-ek, melyek egy 12GB-os memóriával rendelkező GPU-n is képesek futni (Mistral), és a rendszer többi komponense (embedder, reranker, stb.) is életre kelthető egy erősebb GPU-n.

A feladat a RAG alapú kérdésmegválaszoló rendszerek megértése, a komponensek megismerése, és egy saját rendszer összeállítása. Kiindulásképp jó cél lehet az angol nyelvű képzés szabályzatai alapján egy BME-specifikus kérdésmegválaszoló ("Chat") rendszer kifejlesztése.

A feladat - érdeklődés esetén - vállalati együttműködésben (gyakornoki pozícióban) is folytatható. A munka akár azonnal, még a félév megkezdése előtt is elkezdhető. Szakdolgozat és diplomafeladat, TDK dolgozat készíthető belőle.