Het OLV Ziekenhuis is gelegen aan de rand van de stad Aalst, in de wijk Mijlbeek, op het vroegere landgoed van Baron de Béthune, genoemd Château de Mylbeke. Het oude oorspronkelijke complex behoorde toe aan een Parijse onderwijzeres, Angèle Chasseyns.
De Zwarte Zusters van de Heilige Augustinus, kloosterorde sinds de 15e eeuw, kochten in 1901 deze eigendom aan met kasteel en hovingen. Het gebouw werd aanvankelijk ingericht als pension voor oudere dames.
In 1904 werd het "Geneeskundig Gesticht van Onze-Lieve-Vrouw" opgericht, de voorloper van het huidige OLV Ziekenhuis.
Een prospectus kondigde de opening aan als volgt:
"Dit schoon Gesticht heeft voor doelwit het verplegen der zieken van de oogen, van den neus, de ooren en de keel; der heelkundige ziekten; der kinderziekten; der ziekten van de voeten. Voor ieder dezer ziekten is er een afzonderlijke specialist. Het Gesticht is gelegen op eenen heuvel en omringd van prachtige hovingen. Het biedt dus aan de zieken een zeer aangenaam en gezond verblijf. Er zijn zeventig ruime kamers ingericht voor de zieken. De prijs van onderhoud, wijn niet inbegrepen, is van 2 tot 10 fr. per dag, volgens de kamer en de tafel die men begeert. De dienst is toevertrouwd aan kloosterzusters. Een zuster om de zieke des nachts te bewaken kost 1 fr. per nacht. De personen aangedaan door besmettelijke ziekten of krankzinnigheid worden in het Gesticht niet opgenomen. Het Gesticht zal geopend worden den 9de mei."
De oorspronkelijke kliniek nam voortdurend uitbreiding en een zeer belangrijke chirurg uit de tijd tussen de twee wereldoorlogen was dr. André Goffaerts. Hij overleed in 1947 op 48-jarige leeftijd. Zijn opvolger, dr. Jean Cuvelier, voerde in 1948 de eerste geslaagde hartoperatie van België uit (blauwziekte) en zette het OLV Ziekenhuis daardoor meteen op de landkaart. Het ziekenhuis kende vanaf dan een nog sterkere groei.
De grote verandering voor het ziekenhuis kwam er in 1970, toen de Zwartzusters het ziekenhuis afstonden aan een vzw. Vanaf dan is er de eerste keer sprake van het “Onze-Lieve-Vrouwziekenhuis”. Er werd een Raad van Beheer opgericht waarin voortaan zowel religieuzen als leken vertegenwoordigd waren (voordien enkel religieuzen).
Rond die periode werden de oude gebouwen van het kasteel grotendeels gesloopt en werd er gestart met de bouw van de nu nog bestaande oudere beddenvleugels. De historiek van het OLV Ziekenhuis wordt gekenmerkt door constante afbraak-, bouw- en vernieuwingswerkzaamheden. Ook de nieuwbouw (die in april 2009 in gebruik werd genomen) is er gekomen omwille van plaatsgebrek en omdat er dringend nood was aan reorganisatie van de diensten.
Intussen worden alle diensten, die gevestigd zijn in de oudere beddenvleugels, een voor een gerenoveerd. In een voortdurend streven naar verbetering wordt ondertussen op de 3 campussen verder verbouwd en verfraaid. Indien u tijdens uw verblijf in ons ziekenhuis zou worden gehinderd door de verbouwingen of aanpassingswerken, willen wij ons hiervoor bij voorbaat verontschuldigen. Wij stellen alles in het werk om de overlast tot het minimum te beperken.