Det karolinska gymnasiet som ligger strax invid och norr om domkyrkan färdigställdes år 1715. Mellan denna byggnad och domkyrkan står en staty över biskop Esaias Tegnér utförd av skulptören Arvid Källström och som invigdes år 1926. Traditionen bjuder, att årets nyutexaminerade studenter går till statyn och en nybliven student håller ett tal.

I Karolinska gymnasiets andra våning i den s k solennitetssalen höll biskop Esaias Tegnér sina berömda skoltal. Vid sitt första tal som nybliven biskop i Växjö 1824 sa han bl a:
"I dessa salar uppfostrades den man, vars ära uppfyller jorden, vars namn är nationens stolthet. Ty det blomstrar ej blott i skogarna så länge en linnéa finnes , utan det skiner härligt som en stjärna på Nordens himmel. I ären Linnés landsmän, han var född i Edra dalar."
Den man Tegnér syftade på var alltså ingen mindre än Carl Linnéaus, som år 1716 som nioåring påbörjade sina studier i Karolinska gymnasiet. Efter elva års studier lämnade han skolan för att studera vid universitetet.

En annan av de många eleverna som nött Karolinerhusets golvbräder är prästsonen Samuel Ödmann. Han har i sin bok "Hågkomster från hembygden och skolan" skildrat livet från sin skoltid i Växjö på följande sätt: " I detta stora rum församlades alla klasserna på en gång, varvid under läsningen ett så förfärligt buller uppstod, att aldrig på den stormigaste sockenstämma eller på den liderligaste krog värre oväsende kunde höras. Fyra gossar, som för att höras under denna symfoni, nödgades skrika med full hals, och fyra kolleger, som rättade med lika dundrande stämma, samt ständig interfoliering med risslag, gråt och mycket skrän, gjorde att den som stod i dörren icke kunde urskilja något ord, utan trodde sig vara stadd i en dröm, där allt blandades med jämmer och oreda, latin, katekes, glosor och stryk."

I Karolinska gymnasiet bedrevs undervisning fram till omkring 1850, då skolan togs i anspråk för stifts- och landsbibliotekets räkning, och efter en genomgripande renovering på 1960-talet flyttade Växjö domkapitel in i lokalerna. De senaste planerna är att Domkyrkoförsamlingens kyrkoadministration tar lokalerna i anspråk och Domkapitlets administration flyttar till Östrabo.