Historien om Herrgården är ganska spännande. Från början stod byggnaden i Brahammar och var där bruksherrskapets bostadshus men agerade även somm skolsal under den gynnsamma tiden för bruksrörelsen i Brahammar och Limån. 1865 flyttades huset från Brahammar till Leksand där Herrgården blev länsmansbostad och -kontor.

Att den blev sparbankslokal kom sig av att de gamla banklokalerna som låg på Hagbacken blev för små. Bankens styrelse tog fram tre förslag på ny sparbankslokal där det Söderlundska huset var ett av dem. Byggnaden ägdes av Axel Thorell som var en av sparbankens styrelseledamöter. Vid huvudmännens sammanträde 10 november 1895 beslutades att sparbanken skulle förhyra lokalerna i en 10 årsperiod. 10 år blev istället 70 år då det Söderlundska huset fortsatte att agera som sparbankslokal fram till 1966. Namnet "Söderlundska huset" byttes också ut till det man i folkmun kallade "Sparbankshuset". Idag säger vi dock kort och gott Herrgården.

Herrgårdens nedervåning används idag som lunchmatsal för sparbankens personal. På övervåningen finns kontorsytor som just nu står oanvända.