Oldal címe
MILAB SZTE nyelvtechnológia
Címlapos tartalom
A projekt fókuszában az erőforrásokkal hatékonyabban bánó (transzformer architektúrájú) neurális nyelvi modellek használata és továbbfejlesztése áll.
Ennek keretein belül kiemelten foglalkozunk a neurális (nyelv)modellek rejtett reprezentációinak ritka kódolásával kialakított kváziszimbolikus reprezentációinak vizsgálatával, illetve felhasználásával.
A rikta kódolással nyert reprezentációk a "klasszikus" neurális hálókból kinyerhető belső reprezentációkkal ellentétben olyanok, hogy a legtöbb dimenziójuk mentén található együtthatóik értéke pontosan nulla, ami így megteremti a lehetőséget arra, hogy az egyes dimenziókat akár az emberek által is közvetlen(ebb)ül értelmezhető tulajdonságokkal feleltessük meg, magasabb fokú interpretálhatóságot és/vagy mintahatékonyságot eredményezve ezáltal.
Az ilyen módon kialakított reprezentációkat a modellek előtanításától kezdve, a finomhangolásukon át egészen az általános szondázási kísérletek elvégzéséig kiterjedve használjuk fel kísérleteink során.