Le bâtiment en lui-même, remonte au 17e siècle, comme le précise Pierre Bortolussi, architecte en chef de Monuments historiques : "Les frères Dominicains ont fait édifier l'ensemble entre 1682 et 1740. Le cloître présente des jardins de subsistance et des cellules à l'étage. A la Révolution, en 1796, les bâtiments sont affectés à la manufacture d'armes. En 1816, des travaux lourds sont entrepris pour le comité de l'Artillerie". Pour en faire un musée, l'armée perce le cloître selon un axe nord-sud et transforme la galerie en lieu de passage et d'exposition de pièces d'artillerie. L'architecte spécialiste du patrimoine poursuit : "En 1924, nouveaux gros travaux, avec la surélévation de l'aile sud, afin de densifier les locaux et créer des bureaux. Des bâtiments, peu esthétiques, sont créés dans les cours Gribeauval et Treuille de Beaulieu (du nom de deux artilleurs)". En 1982, les bâtiments sont classés au titre des monuments historiques, notamment pour ses escaliers Renaissance et sa galerie de cloître en pierres de taille.