Dwór w Gorzeniu wzmiankowany jako siedziba majątku już w 1419 r., był pierwotnie parterowym dworem obronnym z wieżycą, należącym do rycerskiego rodu gorzeńskiego herbu Topór.
W roku 1873 dwór z parkiem i tzw. ,,Resztówką’’ (ok. 30 ha) nabył ojciec pisarza, Tytus Zegadłowicz, profesor miejscowego gimnazjum. Jako wybitny botanik znacznie poszerzył drzewostan parku. Budynek po gruntownej przebudowie miał już wtedy obecny charakter i elewację.
Emil Zegadłowicz odziedziczył posiadłość po śmierci ojca. W latach 1922–1928 dwór gorzeński stanowił centrum polskiego regionalizmu.