Heinrich Herz woonde met zijn vrouw Irma en hun zoon Manfred aan de Hauptstraße 78 in Oerlinghausen, waar ze een kleine textielwinkel runden. Hij was het laatste hoofd van de synagogegemeenschap. Tijdens de pogrom van november 1938 sloegen SA-leden de etalages in, braken in bij het huis en de winkel en vernielden de goederen. Heinrich was die ochtend al samen met Eduard Kulemeyer gearresteerd en werd later naar Buchenwald gebracht, waaruit hij eind november werd vrijgelaten. Irma werd diezelfde nacht gedwongen in te stemmen met de verkoop van het huis. De familie probeerde naar Zuid-Amerika te emigreren en kreeg zelfs een overtocht naar Uruguay, maar de nazi-bureaucratie trok de toestemming in. In 1939 verhuisden ze naar Hamburg, in de hoop per schip te kunnen vluchten. In plaats daarvan woonden ze in een ‘Jodenhuis’, werden herhaaldelijk door de Gestapo gearresteerd en werden in november 1941 naar het getto van Minsk gedeporteerd.