Ussenburg hat keine mittelalterliche Burg getragen. Möglich ist aber eine vorgeschichtliche Wallanlage, der als Fluchtort in Zeiten der Gefahr aufgesucht wurde. In manchen Quellen wird auch der Name "Nussenburg" oder "Brennberg" verwendet.

"Ussen" könnte "Außen" bedeuten. Der Name Ussenburg ist erstmals 1316 erwähnt.