Die Schausteller- und Musikerfamilie Fischer zog Ende der 1930er-Jahre von Hannover nach Süddeutschland, da sie dort auf ein besseres Leben und weniger Repressalien hoffte. In Eggenfelden besuchte Alois Fischer die Schule. Die Nachmittage verbrachte er gern mit seinen Schulkameraden. Sein Lehrer schlug ihn wegen guter schulischer Leistungen für die Mittelschule vor, doch wurde er dort aufgrund seiner Herkunft nicht aufgenommen.
Am 8.3.1943 wurden Alois Fischer und seine ältere Schwester Marianne von der Polizei aus der Schule geholt, mit den anderen Familienmitgliedern in einem Sondertransport nach München ins Polizeigefängnis gebracht und wenige Tage später ins ‚Zigeunerlager‘ Auschwitz-Birkenau deportiert. Aufgrund der katastrophalen Bedingungen im Lager starben Alois' jüngere Brüder Hugo und Adolf Heinz schon nach wenigen Wochen. Auch der Vater Hugo Eduard Fischer kam 1943 im ‚Zigeunerlager‘ ums Leben.
Im August 1944 wurden die Familienmitglieder voneinander getrennt. Sein Bruder Wilhelm Fischer musste im unterirdischen Stollenbau des KZ Mittelbau-Dora Zwangsarbeit leisten. Seine Mutter und die beiden Schwestern Marianne und Toni wurden unter verheerenden Transportbedingungen im März 1945 ins KZ Ravensbrück, dann ins KZ Mauthausen und weiter ins KZ Bergen-Belsen verschleppt. Der 14-jährige Alois Fischer kam zunächst ebenfalls ins KZ Ravensbrück, wo er Erntearbeiten verrichten musste. Im Frühjahr 1945 wurde er ins KZ Sachenhausen transportiert und musste sich wenige Wochen später einem ‚Todesmarsch‘ anschließen. Die Rote Armee befreite ihn in der Nähe von Ludwigslust.
Nach dem Krieg lebte Alois Fischer mit seiner Mutter und seinen Geschwistern, soweit sie überlebt hatten, wieder in Bayern. Die Familie kehrte Ende der 1940er-Jahre nach Hannover zurück. Alois Fischer litt stark unter dem Erlebten. Aufgrund der Verfolgung hatte er die Schule nicht beenden können. Seine in der KZ-Haft erlittenen gesundheitlichen Schäden verhinderten nach 1945 die Aufnahme einer regelmäßigen Berufstätigkeit. Viele Jahre musste er um eine angemessene Entschädigung kämpfen: Seit 1959 bezog er eine kleine Rente, erst seit den 1980er-Jahren erhielt er etwas höhere Entschädigungszahlungen.
Zitat Alois Fischer, 1970:
„Wir waren plötzlich keine Menschen mehr.“ „Was habe ich getan, daß mir sowas angetan werden mußte. […] Auch heute tue ich niemanden etwas. Die anderen können alles hören [im Fernsehen], können überall mitmachen. Ich mag es meiner Frau gar nicht sagen, was mir alles fehlt. Auch da muß man lügen. Nein, hassen kann ich gar niemanden.“ (Entschädigungsakte BEG 13112)