Sinds de 13e eeuw heeft het gebouw van het huidige Stedelijk Museum Breda veel invullingen gekend, waaronder als passantenverblijf voor pelgrims, als dolhuis of als oudemannenhuis.
Sommigen verbleven enkele nachten, anderen woonden hier jaren. Eén bewoner heeft eeuwenlang geworteld op de binnenplaats: een walnotenboom. Hij heeft het gebouw en bewoners zien veranderen, bood een schaduwrijke ontmoetingsplaats en voedde de bewoners in de herfst met zijn noten.
In 1934 heeft deze notenboom plaatsgemaakt voor een zonnewijzer. Kunstenaar Isamo Thissen (1998) geeft de boom in een hedendaagse gedaante terug aan de binnenplaats. Zijn transparante aanwezigheid kleurt de binnenplaats en de entree nu in alle seizoenen.