Das Ossenberger Schloss wurde 1176 erstmalig urkundlich erwähnt  und die Familie von Ossenberg als erste Besitzer genannt. Im laufe der Jahrhunderte wechselte das Schloss einige Male  den Besitzer. Heute ist  die Großnichte von Graf Clemens Berghe von Trips, Karen von Brauchitsch, Gräfin Berghe von Trips die Schlossherrin.