Het dankte zijn welvaart door de zilvermijnen, die in de 18^de eeuw werden gesloten vanwege de concurrentie van het zilver uit Amerika. Vanaf dat moment  werd de versterkte benedenstad door haar inwoners verlaten. Wat overblijft is een prachtig spookstadje in de Aveyron.Peyrusse  ligt prachtig op een bergkam tussen twee groene valleien. Het heeft prachtige straatjes en een heerlijk lommerrijk dorpsplein. Maar het dorp heeft veel meer te bieden want dit was ooit het economische en bestuurlijk middelpunt van de regio. Het was toen een drukke stad, vol met ambacht en handel. Tevens was er een rechtbank en zetelde er het bestuur van de streek.