Tähtitorni (dvs. ’’Observatoriet’’) påminner oss Linnasaari ös historia. Det har fungerat som ett sommarkafé för nästan under 120 år. På dess plats fanns ursprungligen Uleåborgs slott som byggdes på 1600-talet. Själva slottet förstördes när elden spred som resultat av ett blixtnedslag och slottets krutkällare sprängdes. Efter explosionen, som kallades också ’’Oulun pammaus’’ (dvs. ”smällen i Uleåborg), fanns det kvar endast en del av kanslibyggnadens grund, slottets källare, södersidans vall och en portgång. Ovanpå kanslibyggnaden byggdes observatoriet för Uleåborgs sjöskola för att undervisa astronomi.

En stadslegend berättar om slottets hemliga gång som leder från Linnasaari till Torgstrandens och vidare till Radisson Blus eller möjligen till närhet av Uleåborgs lyceum. Tähtitorni med källaren, som också har fungerat som slottets fängelse, fungerar som miljön av talrika spökberättelser som grundar sig i dramatiska människoöden.