De quelque côté qu'on l'aborde, l'oppidum offre la silhouette d'un cône tronqué et donne l'impression que son sommet a été raboté. Si son aspect ne peut être totalement attribué à la main de l'homme, il n'en reste pas moins vrai que le site a été fréquenté, occupé et modelé depuis fort longtemps.
Il suffit pour s'en convaincre de faire le tour du plateau et donc des fossés qui font de ce point, culminant à 402 mètres, un promontoire idéalement placé, dominant la plaine de Nay et la basse vallée de l'Ouzom.
Dès la préhistoire (120.000 à 50.000 ans av. J.C.), nos ancêtres ont trouvé là un refuge ou un terrain de chasse. En tout cas, de nombreuses découvertes attestent une présence humaine.
Plus tard, à l'époque Gallo-Romaine, il est peut-être occupé par quelque légion de César qui creuse les deux fossés qui ceinturent le plateau sommital.
De toute façon, le rôle défensif du site ne fait aucun doute, d'autant plus qu'au Moyen-âge s'élevait à cet endroit un château.
Il y a encore quelques années, les vestiges d'une porte fortifiée l'attestaient, ainsi qu'un testament laissé en 1286 par Gaston VII Vicomte de Béarn. Le Castet d'Asson fut détruit en 1399 par Archambauld de Grailly pour satisfaire aux exigences du Roi de France.
Nous retrouvons les traces d'une occupation à partir de 1674 et la fondation par “Frère Damien“ alias Isaac de Vergez, d'un ermitage qui sera abandonné en 1732 après qu'un des ermites, François Toussaints, fut accusé de sacrilèges et privé de ses privilèges ecclésiastiques. Plus récemment, en 1942, ce sont les troupes d'occupation qui investissent l'oppidum et le transforment en un point de défense antiaérienne.
L'oppidum a aussi été utilisé par les Assonnais pour sa pierre de grès facile à travailler, l'extraction de meules à aiguiser, mais aussi pour la fougère qui tapisse ses pentes. Aujourd'hui, l'oppidum est fréquenté par des promeneurs en quête de tranquillité qui peuvent de là haut apprécier le panorama et laisser aller leur imagination.