В 10 в. Эд I, граф Блуа и Фульк Нерра, граф Анжуйский, оспаривали друг у друга долину Луары. Эд из своей сторожевой башни в Шомоне, на полпути между Амбуазом и Блуа, контролировал долину Луары (до устья Шера) и долине Бёврона. Один из вассалов Блуа, норманский рыцарь Гелдвин, сражался вместе с графом при осаде Ланже, а затем служил его сыну Эду II. Гелдвин сдал, однако, Сомюр графу Анжуйскому и вернулся в свой феод Понлевой, получив за службу крепость в Шомоне.
Его бездетный сын Жофрой Пуэлла передал Шомон своему племяннику, сыну своей сестры Денизы де Фужер и Сюльписа д’Амбуаз. Таким образом Шомон перешел к роду д’Амбуаз. Его следующий владелец Уго д’Амбуаз возвел здесь каменный форт, такой же, как в Монришаре и сформировал мощный треугольник: Амбуаз, Шомон и Монришар.
В 12 в. Тибальд V Блуа разрушил замок Сюльписа II, но сын последнего вновь его восстановил. В 13 в. Шомон переходил от отца к сыну, иногда – к дочери или племяннику. В 14 в., когда старшая ветвь семейства удержала за собой Амбуаз, Шомон был закреплен за младшей, под названием Шомон д’Амбуаз. Из этой ветви происходил Пьер I, выступивший против Людовика XI как один из вождей Лиги общественного блага. Король сурово наказал его: разрушил и сжег замок, конфисковал землю. Немного погодя он помиловал Пьера, разрешив отстроить замок и даже субсидировал его восстановление. Королевская милость дала хорошие результаты: Пьер вместе со своей супругой Анной де Бюэй нажил 17 детей, которые составили верноподданную элиту короне, церкви и искусствам во времена Карла VIII, Людовика XII и Франциска I.
Шарль I, старший сын, продолжил в 1473 – 75 гг. восстановление северного и западного флигелей. Его братья: Луи (епископ Альби) возвел хоры своего собора; Пьер II (епископ Пуатье) построил замок Диссе; Жак (клюнийский аббат) – знаменитый парижский дворец «Клюни»; Жорж (самый младший, родился в Шомоне в 1460 г. и самый известный епископ Монтобана, архиепископ Нарбонна и Руана, папский кардинал-легат, друг и духовник Людовика XII, страстный строитель, как и старшие братья) ввел во Франции с 1510 г. ренессансные вкусы, перестроив норманнский замок в Гайоне.
В 1501 г. Шарль II, племянник и наследник Шарля I, вынужден был оставить Шомон для военной службы в Милане. Его дядя-кардинал въехал в замок и начал спешные работы: летом 1503 г. он принимал здесь Людовика XII с его двором. Шарль II д’Амбуаз провел в Милане больше времени, чем на берегах Луары: в 1511 г. он скончался там же в возрасте 38 лет. Его сын Жорж был убит в 1525 г. под Павией в возрасте 22 лет.
Замок оставался фамильной собственностью по женской линии до 1550 г., когда его купила за 120 тыс. ливров Екатерина Медичи. В 1559 г. умер ее венценосный супруг Генрих II, и она потребовала у его бывшей фаворитки Дианы Пуатье возвращения Шенонсо, дав ей Шомон взамен. Она высокомерно отнеслась к старому замку, снесла зубчатые брустверы, водрузила свои монограммы и эмблемы. Впрочем, она предпочитала другую свою резиденцию – Ане, где и скончалась в 1566 г. Замок затем переходил из рук в руки, став предметом спекуляций банкиров и государственных деятелей. В 18 в. Николя Бертен де Вогиен расрыл крепость в Луаре, разрушив северное крыло. При Людовике XV нантский гидротехник Ле Ре основал в наружных строениях стеклянную и керамическую фабрику, где работали известные мастера. Сын Ле Ре представлял в Америке деловые интересы отца и иных, в том числе – барона Неккера. Он дал там в 1810 г. приют дочери барона, мадам де Сталь, изгнанной из Парижа Наполеоном.
В эпоху Ренессанса замком владели барон д’Эшегойен, граф д’Арамон и висконт Уолш. Последний нанял архитектора Ж. Де ла Марондьера для реставрации западного флигеля (был воссоздан щипец, выходящий на Луару) и внутренних фасадов южного крыла, «модернизированных» в 18 в.
В 1875 г. Шомон был выкуплен мадмуазель Се, одной из двух дочерей богача-сахарозаводчика, вышедшей замуж за князя Амедея де Бролье. Княгиня наняла архитектора Сансона для преобразования замка в роскошную резиденцию.
По проекту Анри Дюшана был разбит новый парк. Церковь и служебные строения были передвинуты к берегу реки. Интерьеры были отделаны заново в неоготическом стиле и заполнены дорогостоящими произведениями искусства, скупленными со всей Европы. Замок снабдили такими удобствами, которые даже в высших слоях общества стали известны лишь десятилетия спустя. Даже для лошадей Сансон построил весьма комфортабельные конюшни. Долгие годы приемы у княжеской четы служили главным предметом светских сплетен.