1722-1733 között építtette a Hőgyészen 1722-től birtokos Claudius Florimond Mercy gróf. 1734-1767 között kisebb átalakítások. A kastélyt III. Mercy 1772-ben királyi engedéllyel eladta Apponyi Györgynek, akit 1776-ban Tolna megye főispánjának választottak. A birtokot fia, Antal örökli és 1784-től jelentősen átalakítja. Ekkor alakították ki az új főbejáratot az ÉK-i homlokzaton, melyhez díszes lépcsőházat csatlakoztattak, és új kápolna épült. Feltehetően ekkor nyerték el a homlokzatok jelenlegi formájukat. Építőmester: Georg Karl Zillach (?). 1785-1786-ban készült el a barokk kert. 1789-re tájkert készült, tervező: Ambros Leihn. 

Apponyi Antalt a kor egyik legműveltebb földesurának tartották. Barátságban állt Haydnnel, (a Teremtés és az Évszakok című oratóriumok megjelenéséhez anyagilag is hozzájárult), Mozarttal, ismeretség kötötte Beethovenhez és megfordult nála igaz csak egy éjszakát töltött a kastélyban Liszt Ferenc is.
Később testvére, Apponyi Károly lett a kastély ura, aki csak ritkán tartózkodott a kastélyban. Az ő fia Géza viszont életének jelentős részét a kastélyban töltötte feleségével gróf Széchenyi Paulával. Az épületet 1858-1859-ben, majd 1890-ben restauráltatta Ybl Miklós vezetésével. 1890-ben udvari homlokzatokat átalakították, ekkor épült a DK-i szárny elé a lépcsőház és az É-i és Ny-i sarkok elé az íves zárterkély.
1927-1928-ban a Vénusz-templomba temették Apponyi Gézát és feleségét, maradványaik 1962-ben átkerültek a csicsói kápolnába.
Az utolsó Apponyi, II. Apponyi Károly 1939-ben eladta a kastélyt az Országos Társadalombiztosítási Igazgatóságnak.Az eladást követően kezdődött a pusztulás. 1940-ben leégett, ekkor pusztultak el az ebédlő stukkói. a parkból különböző nagyságú területeket szakítottak ki, előbb üdülő, majd irattár volt. A második világháború idején lengyel menekültek szállása lett. Később katonai kórház és 1954-ig görög gyerekek otthona volt.1954-től nevelőotthon, iskola, majd újra gyermekotthon. A sokszori funkcióváltás miatt az eredeti belső térszerkezet a felismerhetetlenségig átalakult. A park közepére épült egy stílusidegen épület, ahol a gyermekotthonhoz tartozó műhelyeket alakították ki (ebből lett később az Elízium). A régi értékes növényállomány a gazdátlanság következtében elsatnyult, illetve össze-vissza nőtte be a parkot. 

A kastélyt a 2000-es évek elején teljesen felújították és egy szálloda lett belőle, a négycsillagos főépületében 31 db, a tőle 80 méterre található modern, skandináv stílusú Elízium háromcsillagos épületben további 29 db vendégszoba, illetve lakosztály került kialakításra. A műemlékvédelmi hivatal felügyeletével és iránymutatásaival az ezredforduló elején mélyfúrást végeztek, aminek során megfelelő minőségű termálvizet találtak. A kastélyszálló rekonstrukciójával helyreállították a különleges dendrológiai értéket képviselő 5,5 hektáros ősparkot. A kastélykertben ma is értékes egyedek és igen jelentős méretű és korú fák találhatók, többek közt: platán, hárs, fenyő, ezüsthárs, ezüstjuhar, tiszafa, lucfenyő, jegenyefenyő, feketefenyő, oregoni hamisciprus, nyugati tuja, feketedió (kanadai dió), zöld juhar, jegenye, kései nyár, nyugati ostorfa, japánakác. Az arborétumban található Magyarország valószínűleg legöregebb, közel 250 éves platánfája, melynek külön helyrajzi száma is van, mellette egy vérbükk is a környezet méltóságát növeli.
2010 óta viszont a kastélyszálló már nem üzemel.

Forrás: muemlekem.hu
             kastelyok.com