Karlsen, som også er bosatt i Horten, var ordfører i hjemkommunen fra 2015 til 2023, da han i stedet stilte til valg som fylkesordfører i Vestfold. Men med høyre-sentrum-flertall i det nye fylkestinget var det Anne Strømøy fra Høyre som kapret dette vervet, og Karlsen ble i stedet gruppeleder for Arbeiderpartiet, ett av de vervene han nå ønsker å tre ut av.
Det er fylkestinget som endelig avgjør Karlsens fritakssøknad i sitt møte 30. april. Fylkesdirektøren innstiller på at fritaket innvilges. Karlsen sendte inn søknaden umiddelbart etter at han ble ansatt som kommunalsjef i februar. I denne jobben vil han være del av den administrative toppledergruppen i Horten kommune, og jobbe tett innpå det politiske nivået her. Bl.a. vil Karlsen representere kommunedirektøren i flere politiske utvalg. Det går dårlig sammen med å være aktiv partipolitiker selv, er Karlsens egen vurdering.
Her blir Anne fylkesordfører: - Vi skal ha stor takhøyde
Blir fritaket innvilget, betyr det at Karlsen trer ut av fylkestinget for resten av perioden. Dermed rykker partifellen Atle Bonstad fra Lardal og Larvik kommune opp til fast medlem av fylkestinget. Til erstatning for Karlsen må fylkestinget også velge ett nytt medlem til henholdsvis fylkesutvalget, arbeidsutvalget og en del andre råd og utvalg. I tråd med kommuneloven blir det kandidater fra samme parti, altså Arbeiderpartiet, som kommer til å fylle disse vervene.