Ernst Lossa stammte aus einer fahrenden Händler- und Handwerkerfamilie. Sowohl sein Vater Christian Lossa als auch seine Mutter Anna Anger gehörten Familien an, die seit Generationen als fahrendes Volk unterwegs waren. Beide zählen zur soziokulturellen Minderheit der Jenischen, die seit Jahrhunderten als Händler*innen, Handwerker*innen oder Künstler*innen durch die Lande zog. Aufgrund ihrer Lebens- und Arbeitsweise wurden sie von der Mehrheitsgesellschaft häufig als ‚Zigeuner‘ wahrgenommen und diskriminiert. Dabei sind sie mit den Sinti*zze und Rom*nja ethnisch nicht verwandt. Bereits 1905 wurde der Großvater von Ernst Lossa vom ‚Sicherheitsbureau der K. Polizeidirektion München‘ im so genannten Zigeuner-Buch erfasst. Dort heißt es, er ziehe mit seiner Familie „ständig in einem Wagen nach Zig.-Art umher“ (Dillmann, S. 151). Die Nationalsozialisten übernahmen diese Kriminalisierung und verfolgten die Jenischen als ‚Zigeunermischlinge‘ oder ‚Asoziale‘ bzw. ‚nach Zigeunerart Umherziehende‘.
Anna Anger (*1909) und Christian Lossa (*1906) heirateten am 1.3.1929 in der Nähe von Ravensburg. Acht Monate später, am 1.11.1929, kam ihr Sohn Ernst zur Welt. In rascher Folge wurden drei weitere Kinder geboren: Amalie (*1931), Anna (*1932) und Christian (*1933). Wenn die Familie nicht auf Reisen war, wohnte sie in Augsburg. Dort wurde 1933 das Gesundheitsamt – und in der Folge das Jugendamt und der Bezirksfürsorgeverband – auf die Familie Lossa aufmerksam. Möglicherweise war die schwere Lungenkrankheit von Anna Lossa der Grund. Vielleicht gab es aber auch politische bzw. rassistische Gründe für das Vorgehen der Behörden.
Im Juli 1933 jedenfalls nahm die Augsburger Jugendfürsorge die vier Lossa-Kinder den Eltern weg. Amalie, Anna und Christian kamen ins Säuglingsheim im Stadtteil Oberhausen, der dreijährige Ernst in das katholische Kinderheim St. Josef in Augsburg-Hochzoll. Drei Monate nach diesem Vorfall starb die Mutter in einem Augsburger Krankenhaus. Ihre Todesursache ist ebenso unbekannt wie die ihres jüngsten Kindes Christian, der mit knapp zwei Jahren im April 1935 im Säuglingsheim starb. Der Vater Christian Lossa wurde im Januar 1936 verhaftet und ins KZ Dachau gebracht. Als Haftgrund wurde ‚Arbeitszwang‘ angegeben. Ende 1938 wurde Christian Lossa aus Dachau entlassen. Knapp drei Jahre später, im Oktober 1941, erneut verhaftet und als ‚rückfälliger Vorbeugehäftling‘ ins KZ Flossenbürg gebracht, starb er dort am 30.5.1942. Ein SS-Lagerarzt gab als Todesursache „Herzschwäche bei Lungentuberkulose“ an.
Die Schwestern Amalie und Anna kamen 1935 ebenfalls in das Kinderheim in Augsburg-Hochzoll, wo die Geschwister Lossa gut vier Jahre lang, bis zur Verlegung von Ernst, zusammen lebten. In der Volksschule wurde Ernst als „schwer auffälliges“ Kind charakterisiert. Er habe eine „asoziale Veranlagung“, lüge und stehle. Berichte von Eigentumsdelikten gab es offenbar auch von den Nonnen im Kinderheim (Archiv BKK KF, Krankenakte Ernst Lossa). Im Februar 1940 wurde Ernst vom Kinderheim wegen „Unerziehbarkeit“ in das Erziehungsheim der Nationalsozialistischen Volkswohlfahrt (NSV) Markt Indersdorf verlegt. Den Akten zufolge hat Ernst auch hier weiterhin Diebstähle begangen. Im Sommer 1940 wurde er von der Ärztin Käthe Hell untersucht. Sie schrieb in ihrem Gutachten: „Es handelt sich demnach bei Lossa Ernst zweifellos um einen an sich gutmütigen, aber völlig willenlosen, haltlosen, fast durchschnittlich begabten, triebhaften Psychopathen.“ Daraufhin betrieb Heimleiter Friedrich Goller, der Ernst als „selten stark abartiges Kind und damit gemeinschaftsunfähiges Kind“ charakterisierte, eine Verlegung des Jungen.
Im April 1942 wurde Ernst in die Heil- und Pflegeanstalt Kaufbeuren überstellt. Der aufnehmende Arzt fand zwar keine Beeinträchtigungen bei dem inzwischen Zwölfjährigen, übernahm jedoch die Diktion des Gutachtens („schwerst asozialer Psychopath“) ebenso wie die rassistische Blickweise („stammt aus einer Zigeunerfamilie“) (Archiv BKK KF, Krankenakte Ernst Lossa). Ernst kam zunächst in die Kinderfachabteilung, ein halbes Jahr später dann in die Männerabteilung. Im Mai 1943 wurde der Junge in die Nebenanstalt Irsee verlegt. Die Anstalt Kaufbeuren/Irsee war zu dieser Zeit ein Zentrum der NS-‚Euthanasie‘. Zwischen 1939 und 1945 wurden dort 2333 Patienten ermordet. 688 von ihnen wurden in die Tötungsanstalten Grafeneck und Hartheim deportiert, die anderen in Kaufbeuren und Irsee durch Überdosis von Medikamenten getötet oder durch eine vitamin- und fettfreie Kost dem Hungertod ausgesetzt. Ernst Lossa wusste von den Tötungen. Er äußerte mehrmals gegenüber Pflegern, dass er nicht mehr lange leben werde. Die Tatsache, dass er in die Vorratskammern einbrach und seine Beute mit den Mitpatienten teilte, wurde angesichts der dort betriebenen Praxis als besonders schwerwiegend gewertet. Am Abend des 8.8.1944 bekam Ernst Lossa auf Befehl des Anstaltsleiters Valentin Faltlhauser zwei Spritzen mit Morphium-Scopolamin. An der tödlichen Überdosis starb der Vierzehnjährige am Nachmittag des 9. August.
Die Täter kamen nach dem Krieg mit Freisprüchen oder milden Strafen davon. Amalie und Anna Lossa überlebten den Krieg im Kinderheim.