A szóalakok helyett fogalmi egységek mentén előtanított nyelvi modellek mintahatékonyságát több korábbi munka is igazolta. Ezek a vizsgálatok azonban a létrehozott modelleket csupán finomhangolhatóságuk szempontjából vizsgálták. Jelen cikkben a látens szemantikus tulajdonságok jelentette kváziszimbolikus információ mentén történő előtanításnak a nyelvi modellezés elvégzésére gyakorolt (negatív) hatását mutatjuk be, illetve javaslunk két módszert is, amely használatával a modellek nyelvi modellezési képességei javíthatók a fogalmakra való érzékenységének megtartása mellett.