Los primeros señores de Romainville aparecieron en el siglo XIII. De hecho, el señorío sólo se materializó con la llegada de Nicolas Le Quelen. En 1630, hizo construir un castillo detrás de la iglesia, en el corazón del pueblo, rodeado de un gran parque. Hoy en día, no queda nada del castillo de Romainville.
El estilo del castillo de Romainville se sitúa entre el del Renacimiento y el clasicismo del siglo XVIII, en una corriente denominada arquitectura de estilo francés, más conocida como estilo Luis XIII. La residencia se compone de un edificio central donde la fachada presenta la regularidad requerida por este estilo (ubicación de las ventanas, simetría de la parte frontal, sobriedad de las decoraciones). Flanqueado por dos pabellones, el castillo de Romainville se mantiene fiel a la tradición de la construcción francesa, con su alto tejado, sus ventanas abuhardilladas, sus chimeneas y su antepecho que acentúan la distribución interior del edificio. Cuando treinta años después, en 1666, el señorío se convirtió en baronía, la familia de Baud tomó posesión del castillo y acogió a numerosas personalidades vinculadas a la corte.
En 1723, Henri-François de Ségur (1689-1751), adquirió el castillo y se convirtió en barón de Romainville. Unos años más tarde, la cedió a su hijo Philippe-Henri (1724-1801), para que se instalara en su nueva adquisición, el castillo de Maison-Blanche en Gagny. Philippe-Henri de Ségur fue nombrado Ministro de Guerra en 1780 y Mariscal de Francia en 1783. Vivió en Romainville con su familia hasta la Revolución Francesa. En el castillo de Romainville, la familia de Ségur gustaba de recibir a los artistas. Entre ellos, Elisabeth Vigée-Lebrun (1755-1842) decoró una de las puertas del dormitorio con un trampantojo de una pareja abrazada. Otras decoraciones del edificio fueron realizadas por Hubert Robert (1733-1808), artista famoso por sus paisajes arqueológicos, que solía exponer en los Salones anuales. En una de las salas de recepción de uno de los pabellones hay un magnífico suelo de marquetería. Está fabricado con una mezcla de diferentes tipos de madera, en consonancia con el gusto refinado de la época, y presenta diversas formas ornamentales, como las rosetas.
Vendido como bien nacional en la época de la Revolución Francesa, el castillo de Romainville comenzó entonces su declive. La última persona que vivió allí fue el duque de Noailles (1757-1845), que se trasladó en 1823. Llamó al arquitecto Mandar (1757-1845), el primer diseñador del Campo de Marte, para que revisara los planos de la propiedad, trazara un jardín y creara una nueva decoración. A partir de 1839 comienzan las vicisitudes de la existencia del castillo. Inicialmente, la parte central del edificio se transformó en una cantera de yeso. No se explotó realmente hasta 1848. El parque, que fue abandonado, fue gradualmente ocupado por agricultores que instalaron jardines, mientras que la parte inferior se convirtió en una fábrica de ladrillos.
Durante muchos años, lo único que quedaba era un pabellón de esquina en muy mal estado de conservación y distorsionado por una construcción de ladrillo. El yeso se estaba desmoronando y las pizarras del tejado se desprendían al menor viento. Sin embargo, todavía se podía ver en la decoración interior papel pintado imitando los tapices de Aubusson. En la planta baja, uno de los salones estaba decorado con grandes paneles inspirados en escenas de pueblo del pintor flamenco del siglo XVII Teniers. Estas representaciones son típicas de los papeles pintados creados en el Faubourg Saint-Antoine de París en la década de 1880. Esto sugiere que el pabellón del castillo de Romainville fue ocupado y mantenido al menos hasta finales del siglo XIX.
El conjunto ha sido difícil de conservar durante varios años, debilitado por la presencia de una cantera de yeso que explotaba el subsuelo a gran profundidad. El SCI des Bas-Pays, actual propietario, se encarga de rellenarlo.
En 1988, el municipio adquirió los restos del castillo y se creó una asociación para conservar uno de los vestigios más importantes del patrimonio local.
La región de Île-de-France compró el emplazamiento del castillo en 1992 con el objetivo de transformarlo en una zona de ocio. El proyecto de renovación se abandonó porque el pabellón que quedaba estaba muy deteriorado. Un incendio en 2010 aceleró el destino del castillo. Por razones de seguridad, las ruinas fueron despejadas y los restos del castillo fueron demolidos en abril de 2017. Está previsto abrir el parque del castillo al público. Ya está abierta al público una plaza, precursora del proyecto de la isla de ocio Corniche des Forts y su paseo ecológico, que abrió en 2021.
