Dit kasteeltje was eind 1700 de verblijfplaats van de Bokkerijders die rovend en plunderend Zuid-Nederland en Vlaanderen onveilig maakten. Zij zagen zichzelf als afgezanten van de duivel en de bok was hun 'handelsmerk'. Een hongerige en naar warmte zoekende pelgrim klopt op een kerstnacht aan bij het kasteel, maar schrikt hevig als hij de goddeloze rovers aantreft. De pelgrim vlucht en trekt een jong bendelid, die hem wat brood aanbiedt, met zich mee. Terwijl de andere bendeleden hen uitlachen wordt de poort gesloten. Daarop spreekt de pelgrim een vloek uit en het kasteel zakt met donderend lawaai de diepte in. Diezelfde nacht sterft de goede pelgrim. Het jonge bendelid bekeert zich en keert tot zijn dood elk jaar terug naar deze plek en luistert dan naar het feestgedruis onder de grond. Zelfs nu nog beweert men dat de Bokkerijders daar op kerstnacht te horen zijn.