Trésorier général de Napoléon 1er à l’Ile d’Elbe, après avoir accompagné l’Empereur dans ses campagnes militaires en Autriche et en Russie, le baron Guillaume PEYRUSSE reste, pour la ville de Carcassonne et sa Caisse d’Epargne, un personnage de premier plan.

Il marque la vie locale durant une bonne partie du XIXe siècle. Conseiller municipal, puis maire de la ville de 1832 à 1835, on doit à cet ancien haut dignitaire de l’Empire, réhabilité sous la seconde Restauration, la création de la Caisse d’Epargne de Carcassonne en 1833.

Pour mieux faire comprendre aux épargnants l'utilité des petits placements souvent renouvelés, le baron PEYRUSSE expose à son conseil municipal le raisonnement suivant : "Il n'est pour ainsi dire pas d'ouvrier qui ne puisse, s'il le veut, verser vingt sous tous les dimanche. Et bien, il faut qu'on sache que ce modeste placement fait à la Caisse d'Epargne, à intérêts composés de 5 %, produit au bout de dix ans la somme de 672,47 F. Or ce résultat est appréciable car, un jeune ouvrier de 15 ans peut ainsi, arrivé à 25 ans, se constituer un pécule largement suffisant pour se mettre en ménage".

Premier président (1833-1835) de la Caisse d'Epargne de Carcassonne, il est rappelé en 1847 à la tête de l’institution qu’il dirige jusqu’à sa mort en 1860. Durant près de trente ans, il accompagnera ainsi l’essor de la Caisse d’Epargne carcassonnaise, et surmontera avec elle la grande crise de 1848, au cours de laquelle elle aura perdu près de 90 % de son encours.