Wahrscheinlich wurde die Burg im 10. oder 11. Jahrhundert auf den Resten eines römischen Kastells errichtet. Ihren heutigen Namen bekam die Burg durch die Nebenlinie der „Brömser von Rüdesheim“. Im Inneren befindet sich das Rheingauer Wein- und Heimatmuseum, das die schillernden Facetten der Weingeschichte anschaulich präsentiert.