Château de Scarborough est situé sur un promontoire grossièrement triangulaire qui s'élève à 300 pieds au-dessus de la mer. Il est la preuve des établissements de l'âge du fer et les restes d'une station de signal romaine sur le site, mais le premier château médiéval a été construit par William le Gros, comte d'Aumale, en la 1130's. Il a construit un mur sur le côté de la terre du promontoire et construit une tour où se trouve le donjon. , Lorsque Henri II monta sur le trône en 1154 a exigé le rétablissement de tous les châteaux royaux, et Scarborough, qui a été construit sur un manoir royal, a été l'un des châteaux récupérés par la Couronne.