Kívülről kimondottan jó állapotúnak tűnik, és sok száz védett műemlékhez képest valóban az is, ám ha jobban megnézzük, azért itt is lenne néhány hónapnyi munka. 1905-45 között püspöki nyaralóként a szombathelyi püspökség tulajdonába került. 1955-1981 között a MÁV Nevelőintézet, majd 1981-től a Haladás Sportiskolája, illetve annak kollégiuma működött itt. A melléképületekből egy 8 tantermes iskolát alakítottak ki, amely 1993-ig a környék körzeti iskolájaként működött. Az egyház nem vette vissza az ingatlant, így végül magánkézbe került. Egy osztrák úriember azzal a céllal vásárolta meg, hogy szállóként hasosítsa. A tervekből, ahogyan azt már megszokhattuk, végül semmi nem valósult meg, a kastély jelenleg eladó. Védett műemlék.
A kastélyt Vas megye alispánja, I. Szentgyörgyi Horváth Zsigmond építtette a XVII. század végén kora barokk, majd utódai a XVIII. század végén átépíttették késő barokk stílusban, vélhetően Hefele Menyhért tervei szerint.
Hefele Menyhért
Tiroli parasztszülők gyermekeként született. Előbb asztalosmesternek tanult, majd Németországba ment, ahol rajzművességet tanult és bronzöntéssel foglalkozott. 1734-ben Würzburgban Georg Oegg udvari lakatosmester rajziskoláját vezette. Innen Bécsbe ment, ahol a bécsi Schmutzer képzőművészeti iskola építészet tanára lett.
1742-ben Bécsben művével építészeti pályadíjat nyert. 1757-től a bécsi képzőművészeti akadémiának is tagja lett. Neve Passau hercegének rezidenciája átépítésével lett ismert. Főleg Pozsonyban és Bécsben élt. Legjelentősebb alkotásai egyházi és főúri megbízások alapján születtek. Palotái a XVI. Lajos-stílusú épületek első hazai példái voltak. 1771–1773-között átépítette a Győri székesegyházat.
1777–1781 között Pozsonyban dolgozott, a pozsonyi prímási palota építésén, Batthyány József hercegprímás építőmestereként. Legnagyobb pártfogója Szily János püspök volt, aki a pozsonyi munkálatok alatt meglátogatta és meghívta őt Szombathelyre, az ottani püspöki székhely kiépítésére.
1777-ben elkészült a szeminárium épülete, 1778–1783 között felépült a püspöki palota. 1789-ben pedig Szily püspök őt bízta meg a szombathelyi székesegyház tervezésével és kivitelezésével. A székesegyház építési munkálatait azonban már nem tudta befejezni, 1794. április 17-én itt, Szombathelyen érte a halál. Itt, a ferences templom kriptájában temették el.
A kastély leghíresebb tulajdonos talán II. Szentgyörgyi Horváth Zsigmond volt, aki a kastély nagy átalakításán túl a balatonfüredi Horváth-házat és a híres budai Horváth-kertet létrehozta. A Szentgyörgyi Horváth család nevéhez fűződik a balatonfüredi Anna-bál is.
A kastélyt és a birtokot 1850 körül egy bécsi bankár vásárolta meg, majd, immár eklektikus stílusban átalakítva, 1905-45 között püspöki nyaralóként a szombathelyi püspökség tulajdonába került. Később nevelőotthon és iskola volt.
A Szentgyörgyi Horváth-kastély védelem alatt álló parkját Horváth János telepítette 1810-ben. A Répce egykori árterében állnak nagyméretű fái: platánok, mamutfenyők, páfrányfenyők.
A körülötte lévő egykori kisegítő épületeket lassan kezdi benőni a gaz. A kisegítő épületekbe belépve viszont mintha megállt volna az idő olyan 20 évvel ezelőtt: még a felakasztott vasutas egyenruháktól kezdve a bútorokon át sok minden érintetlen, nagyon fura látvány.
2017-ig a kastély kertjében állt egy, a MÁV História Bizottság és a MÁV Zrt. tulajdonát képező 375-ös gőzmozdony,egy vasúti kocsival mögötte. Ez a mozdony úgynevezett mellékvonali típus volt, az 1910-es évektől 1959-ig gyártották, több eltérő alsorozatban.
A helyiek erős tiltakozása ellenére, a mozdonyt és a vasúti kocsit Budapestre szállították, felújításuk után a XI. kerületben, a Lokomotív park elé állították.
