Mit der Planung und Bauausführung der 1904 begonnenen neuen Friedhofsanlage war der spätere städtische Baudirektor Hans Grässel beauftragt. Im Mai 1908 wurde der Friedhof an die Israelitische Kultusgemeinde übergeben; wenige Wochen später fand dort das erste Begräbnis statt. Grässel errichtete auch die 1907 fertiggestellte Leichen- und Aussegnungshalle, deren Mittelpunkt eine große quadratische Versammlungshalle bildet.

Stellvertretend für alle auf dem Friedhof begrabenen Persönlichkeiten der jüdischen Gemeinde München seien hier genannt: die Rabbiner Heinrich Ehrentreu (1854–1925) und Cossmann Werner (1854–1918) sowie die Gemeindepräsidenten Dr. med. Julius Spanier (1880–1959) und Dr. phil. Hans Lamm (1913–1985). Auch die Gräber des sozialdemokratischen Ministerpräsidenten Kurt Eisner (1867–1919) und des Anarchisten Gustav Landauer (1870–1919) befinden sich hier. Die ursprünglichen Grabstellen der beiden ermordeten Revolutionäre auf dem Ostfriedhof (Eisner) und dem Waldfriedhof (Landauer) waren schon 1933 von den Nationalsozialisten aufgelöst worden, die Urnen mussten auf den jüdischen Friedhof umgebettet werden.

Ende der 1930er Jahre nutzte die Kultusgemeinde Teile des Friedhofs als Sportplatz, da den jüdischen Vereinen und Einrichtungen keine anderen Flächen mehr zur sportlichen Betätigung zur Verfügung standen. Auch der Sportunterricht der Jüdischen Volksschule fand hier statt. Während des Kriegs blieb der Friedhof nicht von Schändungen verschont: „kriegswichtige“ Metallteile und Grabsteine wurden gestohlen. Auf einem Teil des Geländes entstand eine Gärtnerei.

Dem langjährigen Friedhofspfleger Karl Schörghofer ist es zu verdanken, dass trotz starker Einschränkungen bis Kriegsende auf dem Friedhof Bestattungen nach jüdischem Ritus durchgeführt werden konnten. Er verhinderte auch den Abtransport von Grabsteinen. Darüber hinaus gelang es Schörghofer, sechs untergetauchte Juden über einen Zeitraum von 14 Monaten zu verstecken, obwohl er wegen seiner Hilfe für Juden bereits die Aufmerksamkeit der Gestapo auf sich gezogen hatte und ihm die Einweisung in das Konzentrationslager Dachau drohte. Seit 10. November 1946 steht auf dem Friedhof in unmittelbarer Nähe der Trauerhalle ein Gedenkstein für die ermordeten Münchner Juden mit der Inschrift „Opfer schwerer Verfolgungszeit 1933–1945“. 1986 wurde der vom Verfall bedrohte Friedhof saniert. Im Dezember 2014 enthüllte Münchens Oberbürgermeister Dieter Reiter eine von Toni Preis gestaltete Gedenktafel zur Erinnerung an Karl Schörghofer.