Le développement du comté du Valois à partir du XIe siècle, avec Crépy pour capitale, exige un lieu de pouvoir pour commander le territoire et les hommes ; ce lieu se fortifie pour devenir un château au sens moderne du terme. Il s'agissait à l'origine d'une bâtisse plus modeste, probablement faite de bois, de maçonnerie et de terre, qu'on qualifie le plus souvent de motte castrale. Elle occupait une position défensive et symbolique au bord du plateau, côté ouest.
À cette période, une collégiale est fondée à côté du château pour accueillir les reliques de saint Arnoul. En 1006, elle est remplacée par un monastère bénédictin.
À partir du XIe siècle, le site évolue. Le monastère devient prieuré clunisien en 1076 et prospère rapidement. L'essor du comté du Valois fait évoluer le château : il est rebâti en pierre, jusqu'à la forme dont les vestiges sont encore visibles, avec ses deux tours dites « tours du Valois ». Celles-ci datent de la fin du XIIe siècle ; en réalité, elles ne constituent que le châtelet d'entrée, le reste ayant disparu depuis longtemps.
Avec le prieuré au nord du plateau et le château au sud-ouest, une petite ville s'implante, accolée à ces deux monuments. Un premier rempart clôt l'ensemble. La ville s'agrandit ensuite, et le rempart est déplacé pour prendre sa forme définitive au XIIIe siècle ; on en voit encore quelques éléments, ainsi que sa trace dans le tracé des rues. L'entrée principale de la ville, la porte du Paon, a malheureusement disparu en 1814.
Vers 1030-1035, Raoul II partage le comté du Valois entre ses deux fils. L'aîné, Raoul III, hérite du château ; le cadet, Thibaud, seigneur de Nanteuil, hérite du terrain voisin, à l'emplacement dit « du donjon ». Le découpage des propriétés était très complexe au Moyen Âge, les imbrications courantes et parfois difficiles à gérer.
Le château féodal continue d'évoluer jusqu'à la fin du Moyen Âge, mais il ne nous est malheureusement pas parvenu. Tout près, en lien avec la ville, Thibaut III de Nanteuil fait construire la chapelle Saint-Aubin vers 1170-1180. Puis son successeur, Philippe de Nanteuil, élève un second château sur le terrain « du donjon », accolé à cette chapelle. Ce château n'a rien de défensif : c'est une demeure seigneuriale sur trois niveaux, commencée vers 1200, avec une chapelle privée au-dessus de la chapelle Saint-Aubin, et achevée vers 1240.
Le premier château est détruit, à l'exception du châtelet, vraisemblablement pendant la guerre de Cent Ans.
La famille de Nanteuil conserve en revanche « l'auditoire », ou « donjon », jusqu'en 1356. Avec le déclin de Crépy, cette demeure n'a plus que des fonctions secondaires et administratives (prison). Elle nous est heureusement parvenue en assez bon état, ce qui a permis d'y installer le musée de l'Archerie, puis le musée de la Statuaire du Valois, dans la grande salle du haut, qui conserve une magnifique charpente du XIIIe siècle.
