Schloss Nussegg besteht aus einem in den Hang gebetteten Haus und einem Nebengebäude. Eine hohe Mauer verbindet die Gebäude, dazwischen bildet sich ein schöner Innenhof. Im Innenhof befindet sich ein guterhaltener Mark- oder Grenzstein mit der Jahreszahl 1597. Im Innenhof steht ein schöner Brunnen. Die Auffahrt zum ehemaligen Stadel führt an der Hangseite entlang, so konnte früher bequem das Heu entladen werden. Im Untergeschoss des Wohnhauses befindet sich ein großer Keller mit schönem Gewölbe. Im Obergeschoss hat nur die Küche ein Gewölbe, eine Zeit lang war aus Brandschutzgründen ein Gewölbe in Küchenräumen vorgeschrieben. Laut mündlicher Überlieferung befand sich am hölzernen Türstock des Hauses eine Inschrift aus dem 13.Jh..
Die wichtigsten Besitzerwechsel: Truefer 1570, Indermaur 1623, Fenner 1716, Kager 1819, Sanoll seit 1820.