Un château normand de terre et du bois a été construit à Skipton par Robert de Romille, peu de temps après 1090. Les défenses étaient plus tard reconstruits en pierre. Le château est plus étroitement associée à la famille de Clifford, qui ont obtenu la propriété de Edward II en 1310. Robert Clifford immédiatement commença à faire renforcer les fortifications, mais il fut tué à la bataille de Bannockburn en 1314, laissant le travail doit être poursuivi par son fils Roger.