Cikkünkben bemutatjuk az enkóderalapú nyelvi modellek előtanításának egy olyan lehetséges alternatíváját, amely nem igényli a speciális maszkoló token használatát. Módszerünk lényege abban áll, hogy a neurális modell feladatául az inputban található konkrét szavak rekonstruálása helyett azok felügyelet nélküli módon előállított, kontextusérzékeny látens szemantikus tulajdonságainak meghatározását tűzzük ki célul. A javasolt előtanítás jobb mintahatékonysággal rendelkezik más maszkolt előtanítás alkalmazásához képest, mivel veszteségfüggvényének kiszámítása során minden egyes inputtoken figyelembe vételére lehetőségünk nyílik, szemben a maszkolásra támaszkodó előtanító eljárásokkal, amelyek csupán az input maszkolásra kiválasztott (jellemzően 15%-nyi) tokenje alapján végzik az előtanítást. Azáltal, hogy az előtanítás során az inputszekvenciákat nem kell mesterségesen módosítanunk a maszk tokenek szerepeltetésével, kiküszöbölhetővé válik az a probléma is, ami a klasszikus maszkolt nyelvi modellezés használata esetén abból adódik, hogy a maszkolásért felelős speciális szimbólumokkal csak az előtanítás során találkozunk, míg a végalkalmazások szövegeiből ezek már hiányoznak. Munkánkban egy DeBERTa architektúrájú neurális modell előtanításán és szövegértési feladatokon történő kiértékelésén keresztül illusztráljuk, hogy a módosított előtanítással létrehozott modell jelentősen jobb teljesítményt képes nyújtani a maszkolt nyelvi modellezéssel történő előtanítással létrehozott modellhez képest.