Folgende Orte und Saarbrücker Stadtteile grenzen an Gersweiler, sie werden im Uhrzeigersinn beginnend im Norden genannt: Altenkessel, Burbach (beide jenseits der Saar); Alt-Saarbrücken (bis über den Fuß des Schanzenberges, denn Gersweiler beginnt erst kurz vor dem Gersweiler Bahnhof), Schœneck (Département Moselle, Lothringen (F)), Klarenthal, Fenne und Luisenthal (beide Mittelstadt Völklingen).
Siehe auch: Geschichte Klarenthals, Geschichte Saarbrückens und Geschichte des Saarlandes
Auf dem Gebiet des heutigen Stadtteils lassen sich vor- und römerzeitliche Siedlungs- und Straßenreste finden.
Die erste gesicherte urkundliche Erwähnung aus dem Jahr 1252 betrifft den im späten 16. Jahrhundert untergegangenen Ortsteil Aschbach. Grabungen an den Überresten der ehemaligen Kirche von Aschbach haben eine Entstehung dieser Kapelle im Frühmittelalter nachgewiesen; die gotische Tür und die zugehörigen Fenster sind offenbar nachträglich in das viel ältere Gebäude eingesetzt worden.
1312 werden die beiden anderen alten Ortsteile, Gersweiler und Ottenhausen, erstmals urkundlich erwähnt. Alle drei Orte gehörten offenbar zum Stift Sankt Arnual, das die Kapelle in Aschbach mit einem Messner oder Vikar versorgte.
1569 wird das Stift St. Arnual aufgehoben und 1575 in der gesamten Grafschaft Saarbrücken die Reformation nach lutherischem Bekenntnis eingeführt. Spätestens ab diesem Zeitpunkt wurde in Gersweiler evangelisch gepredigt.
Die Ruine der Aschbachkirche
Um 1600 beschweren sich die Bewohner von Gersweiler und Ottenhausen über den langen und beschwerlichen Fußweg zur Aschbacher Kirche. Demnach war also zu diesem Zeitpunkt der Ortsteil Aschbach schon nicht mehr besiedelt. 1617 wird daher auf einem Hügel zwischen den beiden verbliebenen Ortsteilen eine neue Kirche gebaut (1785 abgerissen, auf dem Gelände steht heute das alevitische Kulturzentrum). Die alte Kirche wurde in einen gräflichen Wirtschaftshof umgewandelt. Während des Dreißigjährigen Krieges nutzte man die Aschbachkirche wegen ihrer abgelegenen Lage als Pestlazarett.
Der Krieg traf die ganze Grafschaft Saarbrücken und damit auch Gersweiler schwer: Am Ende des Krieges waren in Gersweiler nur noch drei Personen ansässig. Die Witwe von Graf Gustav Adolf, Gräfin Eleonore Klara, lud zur Wiederbesiedlung ihrer Gebiete Immigranten aus ganz Europa ein. So kamen im Laufe vieler Jahrzehnte neben französischen Hugenotten, vertriebenen protestantischen Österreichern auch katholische Niederländer ins Land, das sich nur langsam von der ungeheuren Verwüstung erholte. Erst Mitte des 18. Jahrhunderts kann unter den Fürsten Wilhelm Heinrich und Ludwig wieder von einer Blüte des Landes berichtet werden.
1784 wurde die alte evangelische Kirche von 1617 durch einen prachtvollen barocken Neubau ersetzt.
Im 19. Jahrhundert partizipierte die Gemeinde am ungeheuren Wirtschaftsaufschwung, der durch die Kohle- und Stahlindustrie ausgelöst wurde. Die Einwohnerzahl stieg innerhalb von 25 Jahren um das Vierfache, zahlreiche neue repräsentative Bauten entstanden, darunter auch wieder eine katholische Kirche.
Von besonderer Bedeutung in wirtschaftshistorischer und kunsthandwerklicher Sicht war die Gersweiler Steingutfabrik, die von 1846 bis 1901 sowohl einfaches weißes Gebrauchsgeschirr (Speise- und Waschservices), als auch hochwertiges Tafelgeschirr mit bedruckten und handbemalten Motiven sowie eine Reihe von Schmuckgegenständen (Vasen, Schalen, Figuren) herstellte.
Von 1899 bis 1932 war August Müller (Politiker, 1868) Bürgermeister von Gersweiler; nach ihm ist im heutigen Saarbrücker Stadtteil Gersweiler die August-Müller-Straße benannt. 1935 wurde der ehemalige Gauleiter und Leiter der NSDAP-Ortsgruppe, Jakob Jung zum Bürgermeister ernannt.
Die Gemeinde Gersweiler wurde im Zuge der saarländischen Gebiets- und Verwaltungsreform am 1. Januar 1974 ein Stadtteil der Landeshauptstadt Saarbrücken.