Gustavsen kommer fra en stilling som seniorskattejurist i Skatteetaten og har bakgrunn fra Namsfogden i Oslo. Han har master i rettsvitenskap fra UiO med fordypning i selskapsrett, selskapsskatterett og arbeidsrett.