Die jüdische Bevölkerung (die etwa 1 Prozent der Gesamtbevölkerung ausmachte) unterlag seit 1933 einem Trommelfeuer von Ausgrenzungsmaßnahmen: Jüdische Bürgerinnen und Bürger wurden aus dem öffentlichen Dienst, den Pflege- und Rechtsberufen verdrängt, sie verloren ihren angestammten Platz im Kulturleben, wurden mit den „Nürnberger Gesetzen" 1935 zu Staatsangehörigen zweiter Klasse erklärt sowie scharfen Kontakt- und Eheverboten gegenüber „Deutschblütigen" unterworfen. Auch in den Schulen setzten die Nationalsozialisten die „Rassentrennung" durch. Boykottmaßnahmen der NS-Partei, die antisemitische Wirtschaftspolitik der Kommunen und der Druck von Banken und Handelskammern veranlassten viele jüdische Geschäftsleute bereits kurz nach der Machtübernahme dazu, ihren Besitz an „arische" Käufer abzugeben. Für alle sichtbar wurde aus der Leonhard Tietz die Westdeutsche Kaufhof AG oder aus dem Duisburger Kaufhaus Gebr. Alsberg das Warenhaus Horten. In Viersen wurde aus Katzenstein Josten.

Während der „Reichskristallnacht" am 9. und 10.11.1938 wurden selbst in den rheinischen Landgemeinden systematisch jüdische Gottes- und Bethäuser, Geschäfte und Wohnungen zerstört und allein im Nordteil der Rheinprovinz über 100 Synagogen in Trümmer gelegt (in der gesamten Rheinprovinz wohl etwa 200). Dem Novemberpogrom folgte die endgültige staatlich gelenkte Enteignung und völlige gesellschaftliche Isolierung. Die verbliebenen Juden, die eine Flucht aus Deutschland nicht mehr geschafft hatten, wurden gekennzeichnet, in separaten „Judenhäusern" untergebracht und durch Verbote und Zwangsarbeit ihrer letzten Bewegungsspielräume beraubt. Ab Oktober 1941 brachten Sonderzüge die rheinischen Juden über die Bahnhöfe in Köln, Düsseldorf oder Koblenz in die osteuropäischen Ghettos und Vernichtungslager (wie Lodz, Minsk, Riga, Izbica, Theresienstadt, Majdanek und Sobibor). Unter Leitung der Gestapo wurden allein von Köln aus etwa 11.000, aus dem Düsseldorfer Gestapo-Bezirk schätzungsweise 6.000 Menschen verschleppt.

Gegen die Diskriminierung der meist assimiliert und bis 1933 sozial anerkannt lebenden rheinischen Juden regte sich kaum Widerstand. Zwar stießen die rabiaten antisemitischen, offen gewalttätigen Aktionen der rheinischen NS-Organisationen bei großen Teilen der – zumal katholischen – Bevölkerung auf Missbilligung. Doch begegneten die „Volksgenossen" der „geregelten", staatlich gelenkten Judenverfolgung gewöhnlich mit Passivität und Indifferenz. Die Ausgrenzung fand zudem viele Profiteure, von den Geschäftsleuten, die sich an der „Arisierung" jüdischer Unternehmen beteiligten, bis zu den „kleinen Volksgenossen", die sich den öffentlich versteigerten Besitz der deportierten Juden aneigneten. Nur wenige bekundeten den Verfolgten ihre Solidarität oder leisteten Hilfe, etwa bei Fluchtversuchen ins westliche Ausland, die viele jüdische Familien vom rheinischen Grenzgebiet aus unternahmen.

Selbst die Kirchen traten bis auf einzelne Pastoren oder Pfarrer nicht offen gegen die Judenverfolgung an. Christlich begründete Einsprüche betrafen eher die Zwangssterilisationen und die Krankenmorde. Vor allem katholische Ärzte und Pfleger versuchten sich der „rassenhygienischen" Politik zu entziehen. Somit fanden die meisten Verfolgten nur im eigenen Umfeld Unterstützung: in Protesten von Verwandten, in einem verstärkten familiären Zusammenhalt – wie er unter Sinti und Roma ausgeprägt war – oder im Gemeinschaftsleben, das die jüdischen Gemeinden entfalteten. Sie kümmerten sich bis zuletzt um Hilfe bei der Auswanderung, Ausbildung, medizinische Versorgung und Fürsorge und bemühten sich zusammen mit dem „Jüdischen Kulturbund Rhein-Ruhr" um die Aufrechterhaltung eines eigenen Kulturlebens.