Nordwestlich von Rückholz liegt ein flacher Hügel in sumpfigem Gelände. Darauf stand eine mittelalterliche Wasserburg im Keßacher Weiher, die wohl um 1450 erbaut wurde. Im Jahr 1474 verkauft Hans von Stein zu Ronsberg die Burg an das Kloster St. Mang in Füssen. Im 18. Jahrhundert wird sie bereits als verfallen genannt und 1729 abgebrochen.