En 1880, Aristide Tallibart, commerçant et grand voyageur de retour de Constantinople, est mis en  quarantaine sur son voilier à une encablure en amont de la ville de Tréguier. L’histoire raconte qu’immobilisé au pied de ce roc, ayant tout loisir d’apprécier le paysage, il tomba amoureux de l’endroit et décida de construire une villa bretonne d’inspiration orientale.

Dès son arrivée Aristide Tallibart n’hésite pas à tailler dans la roche pour dessiner les allées, créer des cascades, une fontaine et plusieurs bassins qui forment aujourd’hui encore le tracé principal du jardin.

Son fils, Aristide (également) Tallibart peu adepte des « turqueries » de son père, rase la maison et confie à l’architecte Felix Ollivier, qui s’illustre lors de l’exposition universelle de 1900, la construction d’un manoir dans le style néo-breton. Seuls les communs de l’époque seront conservés.

En 1946, Yann de Keroüartz acquiert la propriété. Mais c’est en 1965 que cet ingénieur agronome s’emploie à dessiner un jardin où se mêlent les plantes indigènes aux plantes exotiques. 

En 1992, près de 30 années plus tard, son engagement passionné pour le jardin, lui permet d’obtenir son classement à l’inventaire supplémentaire des monuments historiques.  

La famille de Keroüartz cède le Kestellic en 2021.

En 2025, un nouveau changement s'opère.