1737-ben a várost és vidékét Grassalkovich Antal gazdag főnemes, Mária Terézia bizalmasa birtokolta, és itt építtette fel 1744–1751 között pompás, barokk kastélyát.

A 8 szárnyból álló, kettős U-alaprajzú épület 170 négyzetméterével Magyarország legnagyobb barokk kastélya, terveit Mayerhoffer András készítette. Benne számos lakosztály és reprezentatív tér található, a díszterem 9,5 méter magasságú falait pedig aranyozott stukkók díszítik. A palotához kapcsolódik még templom, színház, virágház, fürdő, lovarda és narancsház is.

1867-től szimbolikus jelentőségre tett szert, mivel állami tulajdonba került, és a mindenkori magyar király rezidenciája lett egészen 1918-ig. Falai között pihent Ferenc József és IV. Károly is, de Erzsébet királyné is szívesen tartózkodott itt. A két világháború között a palotát Horthy Miklós használta nyári rezidenciának. A II. világháború végén német katonák foglalták el, és először ők, majd a bevonuló szovjet csapatok rongálták meg vagy vitték el a kastély berendezési tárgyait.

A ma természetvédelmi területnek nyilvánított kert eredetileg a XVIII. században divatos francia barokk mintára épült. Két részből áll, a kastély mögött lévő 28 hektáros terület a Felsőkert, amelyet az 1780-as évektől kezdve fokozatosan átalakítottak angol tájképi kertté. Itt ma szobrokat, egy mesterséges dombon álló pavilont, és több száz éves, különleges fákat, például páfrányfenyőt és hegyi mamutfenyőt is láthatunk. A kastélyi előtt fekszik az Alsókert, amelyben konyhakert, vadaskert és fácános is volt.