A mély neurális hálózatok elterjedését nagyrészt a hibavisszaterjesztésen alapuló tanítási eljárások tették lehetővé. Ezek a módszerek számos feladaton kiemelkedő eredményeket érnek el, ugyanakkor jelentős számítási és energiaigénnyel járhatnak, valamint a tanítás és a következtetés folyamata jellemzően elkülönül egymástól.

Az utóbbi években egyre nagyobb figyelmet kapnak azok az alternatív neurális hálózati architektúrák és tanítási módszerek, amelyek lokálisabb tanulási szabályokra, folyamatos alkalmazkodásra vagy a biológiai idegrendszerek működéséhez közelebb álló elvekre épülnek. Ezek a megközelítések lehetőséget kínálhatnak energiahatékonyabb, robusztusabb és rugalmasabban tanítható modellek kialakítására.

A szakdolgozat célja ilyen alternatív neurális hálózati tanítási eljárások vizsgálata és/vagy továbbfejlesztése. A munka része lehet egy vagy több modell implementálása, kísérleti értékelése, valamint összehasonlítása hagyományos, hibavisszaterjesztés-alapú megoldásokkal.

Lehetséges kutatási irányok:

• Különböző neurális hálózati architektúrák és tanítási eljárások összehasonlítása azonos feladatokon. Vizsgálható szempontok lehetnek például a modell mérete és mélysége, a tanítási és következtetési költség, a konvergencia sebessége, a tanulási ráta hatása, illetve az aktivációs függvények szerepe.
• A katasztrofális felejtés vizsgálata folyamatos vagy egymást követő tanítási feladatok esetén. Elemezhető, hogy az alternatív módszerek mennyiben érzékenyek erre a jelenségre, illetve milyen körülmények között nyújtanak kedvezőbb eredményt a hagyományos megoldásoknál.
• A modellek robusztusságának elemzése hiányos, zajos, sérült vagy részben takart adatok esetén. A cél annak feltárása, hogy az egyes megközelítések mennyire képesek megbízható következtetést végezni bizonytalan vagy hiányos bemenetek mellett.
• Generatív feladatok vizsgálata, például képek előállítása vagy hiányzó képrészletek rekonstruálása. Ennek során értékelhető, hogy az alkalmazott hálózatok mennyire alkalmasak összetettebb, nem kizárólag osztályozási jellegű feladatok megoldására.