Béziers compte parmi les sept premières Caisses d’Epargne françaises à s’engager, en 1897, dans un programme de construction d’Habitations à Bon Marché (H.B.M.), en l’espèce de maisons individuelles destinées à être vendues à des familles nombreuses à revenu modeste.
Construites sur le plateau dit du Pastissou (près des Arènes), les premières maisons sont inaugurées en 1900 et comprennent toutes le confort moderne, cave et jardin et un nombre variable de pièces (de quatre à huit).
En 1898, la Caisse d’Epargne de Béziers fait l’acquisition du terrain Barthez situé sur le plateau du "Pastissou " (près des Arènes de Béziers), d’une superficie de 3.318 mètres. M. Gély, vice-président de la Caisse d’Epargne, justifie ce choix par le fait que le terrain doit "par sa situation, donner l’air, l’espace et la lumière" et "présenter des communications faciles, commodes et économiques, avec les centres du travail et de ravitaillement et par l’agrément retenir le propriétaire". Le Pastissou répond alors à toutes ces exigences, de par son élévation, son rapprochement du centre de la ville et la proximité de deux lignes de tramways. Le terrain est ensuite divisé en deux parts égales par une rue centrale, le long de laquelle les maisons sont disposées en vis-à-vis. Leur construction est entièrement financée par la Caisse d’Epargne qui les revend par la suite, à prix coûtant, aux locataires acquéreurs. Le 6 juillet 1899, la concession des travaux est accordée à l’entreprise de construction de M. Pierre Viguier, entrepreneur. Le 20 novembre de la même année, le gros-œuvre des travaux s’achève, sans que le moindre incident ne se produise. Les ouvriers du chantier arborent le rameau de laurier, en signe de réjouissance.
Au 1er mars 1900, cinq familles s’installent dans le premier groupe d’habitation. La sixième maison, construite pour la Société coopérative La Famille, accueille une boulangerie "Les Fourneaux démocratiques". Cette société est la première cliente des H.B.M. de Béziers. C’est ainsi que le 21 mars 1900, lors de l’inauguration solennelle du groupe de 6 maisons, le vice-président de la Caisse d’Epargne, M. Gély, fait l’éloge de ce nouveau type d’habitations ouvrières : « Ainsi le père de famille n’est plus tenté de fuir un foyer malsain pour aller boire au cabaret... Les enfants ne vivent plus dans une immorale promiscuité, ils ne désertent plus le toit paternel. Le foyer, au contraire resserre les liens de la famille, commande le respect de l’autorité, il inculque le goût de l’ordre, de la probité, de la déférence pour les parents, l’amour de la patrie, la haine de la servitude, tous sentiments qui constituent l’honneur et le ressort de la nation ».
Le poète biterrois, Jean Laurès, acquéreur de l’une des maisons, lit pour l’occasion un de ses poèmes composé en langue d’Oc, à la gloire des H.B.M. ("Lou Habilhoun del Pastissou").
Ce seront au total 18 maisons qui seront construites entre 1900 et 1905.
En 1904, la Caisse d’Epargne biterroise sera sollicitée pour présenter ses réalisations d’avant-garde à l’Exposition universelle Saint-Louis aux Etats-Unis d’Amérique. Cette consécration outre-Atlantique témoigne de l’innovation d’ampleur internationale dont a fait preuve la Caisse d’Epargne, ne poursuivant qu'un seul but : améliorer l’habitation en faisant de bons placements et en se contentant d’un taux d’intérêt réduit.