Depuis le XIème siècle, époque à laquelle on commence à mentionner les seigneurs de Rambures, se tient leur dernière forteresse en plein coeur du Vimeu et toute proche de la frontière Normande. La motte féodale est d'ailleurs encore visible à deux pas du château. Trois châteaux fort vont se succéder et une seule et même famille va occuper les terres pendant 1000 ans...
