A Statistical Approach to Monitor Quantisation in Neural Network Training

Výzva	Štipendiá pre excelentných výskumníkov a výskumníčky R2-R4
Hlavný riešiteľ	Roman Budjač
Prijímateľ	Žilinská Univerzita v Žiline
Celkový rozpočet	148 306,80 €
Príspevok poskytovateľa	148 306,80 €
Zdroj financovania	Plán obnovy a odolnosti
Začiatok realizácie	jún 2024
Koniec realizácie	máj 2026
Kategória výskumníka	R2
Vedná oblasť	Fyzikálne, technické vedy a matematika

Anotácia

Umelá inteligencia sa čoraz viac stáva neoddeliteľnou súčasťou rôznych priemyselných odvetví, pretože ponúka inovatívne prístupy do existujúcich problémov. Jej potenciál sa naplno prejavuje v oblasti hlbokého učenia kde je v súčasnosti najviac úspechov. V prípade hlbokého o učenia je potrebná značná robustnosť modelov, aby boli dosahované požadované výsledky. Táto robustnosť značne komplikuje nasadenie modelov neurónových sietí v niektorých segmentoch priemyslu Industry 4.0. Najmä v oblasti IoT a zariadení s obmedzeným výkonom. Predkladaný projekt reaguje na túto problematiku výskum v problémovej oblasti kompresie neurónových sietí. Predkladaný projekt sa zaoberá problémov quantizácie neurónových sietí a snaží sa inovovať proces kvantizácie na modeloch neurónových sietí. Projekt predkladá concept úpravy tréningu neurónových sietí preporces quantizácie založený na štatictických metódach porovnávania váhových distribúcií modelu neurónovej siete pred kvantizáciou a po kvantizácií priamo počas tréningu nového kvantiovaného modelu. Bude teda možné počas trénovania sledovať index podobnosti distribúcie váh modelu pred kvantizáciou už počas trénovania nového kvantizovaného modelu. Takto upravený tréningový proces dáva možnosť užívateľovi sledovať tréningový proces a v prípade silnej degradácie presnosti quantizovaného modelu.