Op de Oudegracht, vlakbij het voormalige hoofdpostkantoor staat stadskasteel Oudaen. Eigenlijk moet ik schrijven dat het voormalige hoofdpostkantoor tegenover stadskasteel Oudaen is gebouwd, want Oudaan is vele jaren ouder.
Het stadskasteel is eind 13e eeuw gebouwd door de familie Zoudenbalch. Eind 14e eeuw kwam het in bezit van de familie Van Houdaen, waar het stadskasteel zijn naam aan dankt.
In haar historie is het stadskasteel vele malen aangepast en uitgebreid. Vanaf de tweede helft van de 18e eeuw tot eind jaren 60 (van de 20e eeuw) was er een bejaardentehuis gevestigd. Sindsdien is het, na enkele jaren in gebruik te zijn geweest bij een studentenvereniging in gebruik als horecagelegenheid.
In de kelder van het gebouw is een bierbrouwerij gevestigd.
Stadskasteel Oudaen vanuit de Drakenburgstraat, met rechts het voormalige hoofdpostkantoor en links de Neudeflat en stadskasteel Drakenburg.