Der Betrieb einer Schule nach orthodoxen Grundsätzen hatte für den Verein „Ohel Jakob“ zentrale Bedeutung. Zu diesem Zweck erwarb der Verein im Jahr 1921 das der orthodoxen Synagoge benachbarte Gebäude Herzog-Rudolf-Straße 5. 1924 baute der Verein das Anwesen für den Schulbetrieb um und stockte es 1928 im Zuge von Erweiterungsmaßnahmen um eine zusätzliche Etage auf. Die Fassade wurde der Synagoge angeglichen. Bis 1933 besuchten vornehmlich Kinder aus streng religiösen Familien die Volksschule.

1933 übernahm in München der fanatische Nationalsozialist Josef Bauer das Amt des Stadtschulrates. Auf seine Initiative hin wurde bereits im Frühjahr 1933 die Zahl der jüdischen Schüler an öffentlichen Schulen ermittelt. Bauers Ziel war es, die Münchner Schulen „judenfrei“ zu machen. Aufgrund der zunehmenden Diskriminierung jüdischer Schüler in den öffentlichen Schulen stiegen die Schülerzahlen an der Herzog-Rudolf-Straße in den folgenden Jahren sprunghaft. 1934 wurde die Volksschule von der Israelitischen Kultusgemeinde übernommen und auf acht Klassen erweitert. Im Schuljahr 1934/35 besuchten bereits 251 Schüler den Unterricht. Der Platz reichte für diese große Schülerzahl jedoch nicht aus. Daher war die Gemeinde gezwungen, zusätzliche Räume in den Schulen an der Türken-, der Klenze- und der Gabelsbergerstraße anzumieten.

Nach der „Reichskristallnacht“ verweigerte die Schulbehörde der Kultusgemeinde die weitere Nutzung von Räumen in öffentlichen Schulen. Das Schulgebäude an der Herzog-Rudolf-Straße 5 war durch den Brand der benachbarten Synagoge stark beschädigt worden, Wiederaufbau und weitere Nutzung des Schulgebäudes wurden untersagt. Erst im Januar 1939 konnte der Schulbetrieb für über 400 Kinder im ehemaligen Kindergarten und -hort in der Herzog-Rudolf-Straße 1 aufgenommen werden.

Nach der einschneidenden Erfahrung des Novemberpogroms emigrierten viele Münchner Juden und die Schülerzahl sank spürbar. Mehrere Klassen wurden zusammengefasst. Der Unterricht bestand aus Religionsunterricht, Fremdsprachen, Werken und Handarbeiten. Daneben existierte eine 1937 gegründete Fortbildungsklasse. Das Niveau der Schule war vergleichsweise hoch, denn hier unterrichteten hochqualifizierte jüdische Lehrkräfte aus weiterführenden Schulen, die seit 1933 aus ihren früheren Arbeitsverhältnissen entlassen worden waren.

Einen drastischen Rückgang der Schülerzahlen brachte die erste große Deportation im November 1941. Weitere Deportationen dezimierten die Schülerzahl bis zum April 1942 auf 13. Am 30. Juni 1942 beendete das endgültige Verbot jüdischer Schulen auch die Geschichte der Jüdischen Volksschule in München.