Positionné sur une colline au carrefour de voies de communication et mentionné pour la première fois en 1140 dans le cartulaire de l’abbaye de Gellone, le passé du château est particulièrement obscur. Au 12ème siècle, un membre de la famille de Guilhem, mentionné en 1130 en tant que Seigneur de Clermont l'Hérault, prend conscience de la position éminemment stratégique du site et entreprend la reconstruction d'un ensemble fortifié. En effet, carrefour de différentes voies de circulation, notamment vers Bédarieux et les hauts cantons, il offrait également un point de vue imprenable sur toute la vallée de l'Hérault. Le Château féodal de Clermont l'Hérault fut ainsi construit sur le Pioch Castel, site d'une ancienne forteresse. Du premier château fort du 12ème siècle, seules les tours ont subsisté. C'est cette situation privilégiée qui propulsa l'expansion économique et démographique de Clermont l'Hérault.

Si le château ne joua aucun rôle dans l'histoire de la région, il fut néanmoins le théâtre d'une émeute en 1379 à l'occasion de troubles lors des élections consulaires. Puis en 1584, le château fut assiégé par Montmorency et résista pendant quatre jours, pendant lesquels il servit d'abri à la population.

 Au début du XVIIIème siècle, Guillaume d’Auriac acquiert la baronnie de Clermont et son château (probablement déjà abandonné depuis longtemps).  Il restera dans la famille jusqu’à la Révolution Française, la dernière propriétaire étant l’héritière de la famille d’Auriac : la Marquise de Poulpry, Comtesse de Clermont. Dans l’inventaire de ses biens, réalisé en 1789-1790, il est clairement mentionné qu’elle possède : «un enclos […] dans lequel enclos étois anciennement construis le château qui n’existe plus ».

 Après la Révolution, le château sera vendu avec ses terres alentours, en plusieurs lots, à différents propriétaires. Selon le Cadastre Napoléonien, en 1836, le site comprend : trois vignes, un jardin, une pâture, une terre et trois étendoirs.

Au XIXème siècle, l'ensemble fut à nouveau réuni par l'abbé Saumade, un prêtre de la paroisse de Clermont-l’Hérault, pour former un parc fréquenté par les prêtres résidants dans la maison de retraite qu’il avait installée dans l'ancien monastère de Gorjan.

Aujourd'hui, la muraille avec ses huit tours semi-séculaires, sa tour-donjon et ses deux salles voûtées restent le symbole de la création de la ville.

Après de nombreuses années d’abandon, la municipalité a racheté le château en 2020 pour le mettre en sécurité, le préserver et pouvoir le faire vivre via des festivités pour le grand public.

La réouverture du château a eu lieu le 21 juin 2021.