Le microcosme des Pénitents Blancs s'établit à Rabastens à la fin du XVIe siècle. Avant cette extension, un dévot, en 1260, exerce sa foi à Pérouse, ville d'Italie.
L'Esprit suprême n'insuffle pas que la méditation érémitique. La secte des flagellans centre son activité sur la course en troupe, échauffée par les coups de fouet portés jusqu'au sang. Les protestants, eux, se risquent au pillage des églises et monastères, temples sacro-saints de leurs ennemis.
Satanique, la peste court les campagnes de 1630 à 1632, telle une camarade boulimique. En 1654, sa résurrection foudroie plusieurs membres de la confrérie. Le cimetière des Pestiférés grossit d'autant.
La démolition de l'ancienne église des Pénitents Blancs n'émousse pas la détermination des croyants : elle est reconstruite à la même place, en plus spacieuse, l'archevêque d'Albi bénissant la première pierre le 2 avril 1894.
L'âme claire, les Pénitents Blancs sont un des plus beaux joyaux des confréries laïques.