In der jüdischen Gemeinde Münchens gab es bereits in der ersten Hälfte des 19. Jahrhunderts Differenzen zwischen reformorientierten und orthodoxen Gemeindemitgliedern. Doch erst in den 1870er Jahren entwickelten sich diese Differenzen zum Konflikt und führten zum offenen Streit. Heftig erschüttert wurde die Gemeinde insbesondere durch die von liberaler Seite geplante Einführung des Orgelspiels im Gottesdienst. Damit sollte nach Auffassung der Orgelbefürworter eine „Verbesserung des Gottesdienstes“ erreicht werden. Allerdings war das Orgelspiel für orthodoxe Juden eine unannehmbare, geradezu als blasphemisch empfundene Neuerung. Die liberalen Protagonisten setzten sich durch. Mit dem ersten Erklingen des Instruments am 8. April 1876 war der entscheidende Impuls für die Trennung der Gemeinde in einen liberalen und einen orthodoxen Flügel gegeben.

Die Folge war, dass sich der orthodoxe Verein „Ohel Jakob“ (Zelt Jakobs) mit immer größerem Nachdruck um einen eigenen Betsaal bemühte, um dort den Gottesdienst in traditioneller Weise abhalten zu können. Eine orthodoxe Synagoge nach Entwürfen des Architekten August Exter konnte schließlich nach vielfältigen Schwierigkeiten an der Herzog-Rudolf-Straße errichtet und 1892 eingeweiht werden. Das neue Gotteshaus bot rund 250 Personen Platz.

Die Hauptfassade des neoromanischen Gebäudes vermittelt aussagekräftig das Selbstverständnis des orthodoxen Gemeindeteils zu jener Zeit. Im Zentrum der nach Osten ausgerichteten Fensterrose war ein großer Davidstern erkennbar. Auf der waagrechten Tafelfläche über der Fensterrose fand sich ein hebräischer Schriftzug. Ein zweiter Davidstern krönte die Kuppel. Zeigte die Hauptsynagoge in der Herzog-Max-Straße noch eine gewisse gestalterische Indifferenz im Hinblick auf ihre synagogale Funktion, so war die Synagoge „Ohel Jakob“ durch Davidstern und hebräische Inschrift eindeutig als jüdisches Gotteshaus erkennbar. Durch die weithin sichtbaren Symbole jüdischen Selbstverständnisses erlangte die jüdische Gemeinschaft im Jahr 1892 eine neue und beeindruckende Präsenz im öffentlichen Raum Münchens.

Während der „Kristallnacht“ vom 9. zum 10. November 1938 wurde die Synagoge ein Raub der Flammen. Heute erinnert eine leider nur schwer auffindbare Gedenktafel an das jüdische Gotteshaus.