Aixecat al segle XII sobre un turó que dominava el riu Muga, a la seva riba dreta, i dins del terme jurisdiccional del castell i baronia de Llers i comtat de Besalú. Dominava el petit veïnat de les Arugues, avui desaparegut, que hom situava en un revolt de la Muga. L’any 1115 apareix documentat Ramon de Montmarí, que suposem senyor o castlà del castell.
Constava d’un perímetre emmurallat composat per dos recintes, amb una torre de l’homenatge quadrada. La seva relació amb l’església romànica del Roure i el posterior priorat agustí és molt estreta, de fet els senyors de Montmarí n’eren enterrats allà, i encara avui a la porta principal de l’edifici hi ha un escut, amb un castell sobre un riu, que representen Montmarí i la Muga. S’esmenta documentalment que els últims senyors foren els Casnatalló, i que la darrera senyora, Francesca de Casnatalló, deixà totes les seves propietats al paborde del Roure. És probable que també fos afectat pels conflictes entre el comte de Besalú i el d’Empúries al segle XII, i al XV per les guerres remences. En els segles següents restaria abandonat fins arribar al llastimós estat en el que s’hi troba avui en dia.
Els límits dels territoris feudals dels castells de Molins i Montmarí foren utilitzats per definir el terme municipal de Pont de Molins, quan aquest veïnat es va separar de Llers a principis del XIX.
El document del XVIII diu: ”Los confines del Castell de Molins ÿ del Castell de Monmarí junts de poch mes omenos afrontaban a Solixent ab lo terme de Cavanas a migdia ab lo riu de la muga discorrent riu amun afins al endret de la Creu dels Pollets en dit endret ab lo cami Real ÿ despues camireal amun afins ârribar al Pon ÿ de dit Pon discorrent cami saboller afins arribar al endret del Puig Oriol ÿ de dit endret per lo sim de la serra anomenada den Carreras afins â arribar al torren de Hortal ÿ de dit torren afins al correch de Olmells ÿ de dit correch tirant amunt per dit correch afins â encontrar lo cami que va de la presen Vila de Llers al Lloch de las Escaulas passan per la muga ÿ de dit cami afins al sim de la serra que es sobre ÿ a la part de ponent de la coromina de Montmari ÿ despues discorent per dit sim de Serra afins arribar al riu de la muga ÿ de dit riu trencan per la part ÿ via recta de la Serra de La Olivella discorrent per lo sim de la Serra amun afins â encontrar lo terme de Viura restant tansolamen lo aiguavessant que mira a las Escaulas dels confins ÿ parroquia del Lloch de las Escaulas ÿ lo restant que se anomena Serra dels Tremons dels confins del Castell de Montmari de la parroquia de Llers ÿ a tramontana ab lo terme de Viura part ÿ part ab lo riu Llobregat afins a encontrar altre vegada lo sobredit terme de Cavanas”.
