Der Seelenberg ist eine Moränenkuppe aus der Würmeiszeit. Am Fuß des Berges liegt die Seelenkapelle, die in die östliche Flanke des Burgstalles eingebaut ist. Die Kapelle hat ein Armenseelenpatrozinium. Der Burgstall hat die Abmessungen 26 x 24 x 30 x 25 m und wurde im 11. oder 12. Jahrhundert gebaut. Im Jahr 1480 wird der Berg als Seelin bezeichnet. Dies kann die Bedeutung von kleiner See in Bezug auf Wassertümpel der Umgebung haben. Es kann aber auch auf einen Seelenort hinweisen (vgl. Salenberg bei Rieden a.F.)

Zumindest auffällig ist, dass sich in unmittelbarer Nachbarschaft die Flurbezeichnung "Höll" findet.

Karl Reiser belegt die Sage von einem unterirdischen Gang zwischen dem Schloss Haugen und der Kapelle auf dem Maria Seelenberg. Derartige Sagen sind oft die Erinnerung an früher ausgeübte Prozessionen.