Tras la muerte de Felipe V, la Reina Isabel de Farnesio residió en La Granja durante el reinado de Fernando VI (1746-1759). En estos años adquirió el llamado Coto de Riofrío, e inició la construcción de un nuevo Real Sitio.

El bosque de Riofrío, con una extensión de 625 hectáreas, es un notable paraje natural, cercado con tapia de piedra y poblado de gamos y ciervos.

La arquitectura del Palacio es italiana, en la que destacan sus dos escaleras principales, gemelas y simétricas.

En Riofrío pasaron largas temporadas Francisco de Asís, esposo de Isabel II, Alfonso XII, tras la muerte de la Reina María de las Mercedes; de esos reinados data la decoración de las habitaciones reales que ocupan la mitad de la planta principal. En el resto de esta planta se puede visitar el Museo de caza, uno de los más importantes en su género.