Le château-fort a été fondé par l'antique famille de Loubens originaire de La Réole, en Gironde. Le chevalier Guillaume de Loubens partit pour la première croisade en 1096 aux côtés de Raymond IV de Saint- Gilles, Comte de Toulouse.

Au cours du moyen-âge nous connaissons la généalogie complète de la famille depuis Lobens 1er de Lobens inhumé en 1288 dans l'église des Jacobins de Toulouse. Arnaud, conseiller du Pape Benoît XII, fonde en 1337 l'un des premiers établissements universitaires de Toulouse : le collège de Verdalle. L'histoire de Loubens rejoint bien sûr celle de l'hérésie cathare : Dame Berbéguièra femme du Sire de Loubens, déclare à l'inquisiteur Ferrier en 1243 avoir "souvent visité en leur maisons cathares les parfaites".

À "l'âge d'or" du pastel, Jacques de Loubens, brillant homme de guerre et personnage fortuné agrandit la demeure. Son frère, Hugues de Verdalle, né à Loubens en 1531, deviendra Grand Maître de l'Ordre de Malte en 1582.. Aux siècles suivants, le château devient propriété de la famille de Bournazel, du Rouergue, il est alors peu à peu abandonné et sert de grenier à grain du domaine.

Un Capitoul de Toulouse, Joseph-François de Gounon (ci-contre), rachète la seigneurie en 1768. Son fils, Jean Mathieu remodèle tout l'intérieur du château, inchangé depuis le XVIe siècle. Parmi ses nombreux enfants, on se souviendra surtout de Jules et Victor de Gounon-Loubens qui vécurent ici au XIXe. Le château est dès lors resté dans leur descendance par le mariage de leur nièce, Clothilde- Louise de Gounon- Loubens, avec le Marquis d'Orgeix, famille de la haute Ariège.