Deze vesting wordt ook wel het ‘Toledo van de Quercy’ genoemd, vanwege het Castiliaans aandoende marktplein. De heuvel waarop Lauzerte is gebouwd, wordt al heel lang bewoond. Er zijn aanwijzigingen dat Lauzerte al 1000 VC bewoond was, maar zeker is dat de Kelten, ook bekend als Galliërs, er een oppidum bouwden. Dat is een soort van burcht mer versterkte aarden wallen. Deze moeten hebben gelegen waar nu het centrale plein is. In de twaalfde eeuw bouwde de graaf van Toulouse in Lauzerte een kasteel. Deze burcht gaf de bevolking bescherming en dat gaf de plaats handel en welvaart. Dat werd nog eens versterkt doordat Lauzerte op de pelgrimsroute lag naar Santiago de Compostella.