Franz Xaver Schwarzmüller wuchs in einer Arbeiterfamilie auf; der Vater war Gewerkschafter und kam 1920 über die USPD zur KPD. Schwarzmüller selbst gehörte bereits kommunistischen Kindergruppen an, 1926 trat er dem Kommunistischen Jugendverband Deutschlands (KJVD) sowie der KPD bei. Bald nach Abschluss der Maurerlehre wurde Schwarzmüller 1930 arbeitslos. Er engagierte sich zunächst für die Revolutionäre Gewerkschaftsopposition – u.a. organisierte er Bauarbeiterstreiks in Südbayern –, dann ging er als hauptamtlicher Sekretär des Roten Bauarbeiterverbandes nach Berlin.
Im Februar 1933 kehrte Schwarzmüller nach München zurück, wo er die illegale KPD-Organisation aufbaute und sich um die Herstellung und Verbreitung der Neuen Zeitung kümmerte. Infolge der Verhaftung zahlloser Kommunist*innen stieg er zum Organisationssekretär der KPD-Bezirksleitung auf, bevor er im August und September 1933 über die Tschechoslowakei nach Moskau flüchtete. Dort besuchte er die Lenin-Schule der Kommunistischen Internationale (Komintern). Da er wiederholt durch Kritik aufgefallen war, bekam er anschließend keinen politischen Posten mehr, sondern wurde als Putzer auf den Bau geschickt. Seinen Wunsch, nach Schweden auszuwandern, lehnte die Komintern 1937 ab. Im darauffolgenden Jahr verhaftete der NKWD, die sowjetische politische Geheimpolizei, Schwarzmüllers Lebensgefährtin Anna Etterer. Anschließend wurde sie wegen angeblicher Spionagetätigkeit zu fünf Jahren „Besserungsarbeitslager“ verurteilt. 1940 erreichte Schwarzmüller ihre Freilassung; wenig später geriet er selbst in Verdacht, Spionage und antisowjetische Agitation zu betreiben. Am 11.9.1941 wurde Schwarzmüller in Moskau verhaftet, am 4.6.1942 starb er im Gefängnis von Tschistopol an einer Darmentzündung.