Linnansaaren historiasta muistuttaa vapusta syyskuun loppuun toimiva Tähtitorni, joka on palvelellut kesäkahvilana kohta 120 vuotta. Sen paikalla oli 1600-luvulla rakennettu Oulun linna. Itse linna tuhoutui tulipalon päästessä valloilleen salamaniskun seurauksena, jolloin ruutikellari räjähti. Kuuluisan v. 1793 "Oulun pammauksen" jäljiltä linnasta jäi jäljelle ainoastaan osa kansliarakennuksen perustaa, kellari, etelänsivun valli ja porttikäytävä. Kansliarakennuksen päälle rakennettiin Oulun merikoulun tähtitorni astronomian opetusta varten.

Sitkeästi elävä kaupunkilegenda kertoo Oulunlinnan salakäytävästä, joka johtaisi Linnansaaresta kaupungin puolelle Torinrannan ja Radisson Blu -hotellin kulmille tai mahdollisesti Oulun Lyseon läheisyyteen. Linnan vankilanakin toiminutta kellaria sekä tähtitornia taas koskettavat dramaattisista ihmiskohtaloista alkunsa saaneet lukuisat kummitustarinat.