Der Rückmarsdorfer Friedhof liegt auf dem von Nord nach Süd verlaufenen Kamm einer eiszeitlichen Endmoräne zwischen den Rückmarsdorfer Erhebungen Sandberg und Wachberg. Der auf der Nordseite des Friedhofs gelegene Eingang befindet sich in 118 m Höhe ü. M. am höchsten Punkt der von West nach Ost führenden Alten Dorfstraße.
Im 13. Jahrhundert erwarb das Merseburger Benediktinerkloster St. Peter auch nahe der sich herausbildenden Ortschaft Rückmarsdorf Land, und es wurde „Abteidorf“. Der Klosterbesitzer ermöglichte die Stiftung einer eigenen Pfarrei in der Größe von 3 ½ Hufe (etwa 40 ha). Auf diesem Pfarrlehen, das sich in etwa 80m Breite über 2 km nach Osten bis zur Bahnstrecke fortsetzt, liegt auch der heutige Rückmarsdorfer Friedhof. Dieser wurde im Jahr 1897 auf Anlass von Paul Gotthold Gellert, welcher von 1883 in Rückmarsdorf als Pfarrer tätig war angelegt, da der alte auf dem Kirchhof keine weitere Belegung mehr zuließ.
Auch die „Gottesacker- und Begräbnisordnung für die Parochie Rückmarsdorf“ von 1902 ist von Paul Gotthold Gellert mit entwickelt worden. Er starb am 15.01.1920 die Beisetzung erfolgte auf „seinem“ Friedhof neben dem Grab seines Vaters Christian Fürchtegott Gellert. Gräber und Grabstein sind erhalten geblieben. Eine der 1995 nahe dem Friedhof entstandenen Neubaustraßen ist Gellerststraße benannt worden.
Um 1960 wurde im Südostebereich eine Erweiterung des Friedhofs für etwa 50 Grabstellen vorgenommen 1985 ist auf der Südseite eine kleine Feierhalle errichtet worden. Bei den kirchlichen Trauerfeiern ist das Glockengeläut der in rund 400 Meter Entfernung stehenden Kirche auf dem Friedhof gut zu vernehmen.