1454 lebten 300 Menschen in 45 Häusern in der damaligen Freiheit Westerholt. Kennzeichnend für sie war die persönliche Freiheit der einzelnen Bewohner, die Vererblichkeit des Besitzes, regelmäßige Markttage, die Befestigung des Ortes und auch eine eigene Verwaltung. Vieles hat sich allerdings geändert.
Das heutige Westerholt ist im historischen Ortskern geprägt vom Schloss Westerholt und der früheren „Freiheit Westerholt". Dabei handelt es sich um 60 gut erhaltenen Fachwerkhäusern, dem „Alten Dorf". Der Bergbau hielt 1907 Einzug, es entstanden außerhalb der Freiheit die Zeche Westerholt mit Zechenbauwerken, Bahnanlagen und Verwaltungsgebäuden und den Bergmannssiedlungen Kolonie", aber auch die Geschäft- und Wohnhäuser, die sich Kaufleute und Handwerker gebaut haben, der Heide".
Und schließlich entstanden in den den 1960er- und 1970er-Jahren auf den vorher landwirtschaftlichen Flächen „Ebbelich“, „Sickelmannskamp", „Hof Ellinghaus“ rund um den Kernbereich von Westerholt Neubausiedlungen mit Eigenheimen und Mehrfamilienhäusern.
Ab dem 16. Jahrhundert hemmten Krieg, Besetzungen und die Pest die wirtschaftliche Entwicklung. In den Jahren 1582, 1591 und 1618 zerstörten Brände die Häuser in der Freiheit. Doch die Westerholter bauten ihre Fachwerkhäuser immer wieder auf. Sie restaurierten die Freiheitspforte und errichteten ein Armenhaus sowie eine Schule.
Nach dem großen Feuer vom 27. August 1808 wurden statt der abgebrannten Fachwerkhäuser an der „Brandstraße" Steinhäuser errichtet. Nach der Franzosenzeit gehörte Westerholt zunächst zur Bürgermeisterei Buer und seit 1844 zum Amt Buer im Kreis Recklinghausen.
1830 wurde das Schloss Westerholt in seiner heutigen Form erbaut. Die Vorgängerburg war abgebrannt. Zu jedem Haus der Alten Freiheit" gehörte ein großes Gartengrundstück auf der „Heide".