上山藩の武家屋敷には、約200年前に建造されたと推定されている森本家、三輪家、山田家、旧曽我部家の四軒が軒を連ねています。三輪家は一般公開され、内部もご覧いただけます。

森本家と山田家は子孫が居住する私邸の為、現在は外観とお庭のみご覧いただけ、旧曽我部家も外観とお庭（紫苑庭）をご覧いただけます。現存している4軒（森本家、三輪家、山田家、旧曽我部家）は市の有形文化財に指定され、茅葺屋根、鉤型の曲屋で、玄関と通用口とを別にする武家中門造りの建築様式で、内外装の改築も少なく、武家屋敷として往昔の佇まいを見せ当時をしのばせています。