Eicke wurde 1892 in Hampont in Lothringen als Sohn eines Deutschen und einer Französin geboren. Er verließ die Realschule ohne Abschluss und wurde als 17-jähriger Berufssoldat. Den Ersten Weltkrieg verbrachte er als Zahlmeister in bayerischen Infanterieregimentern, ohne je an der Front zum Einsatz zu kommen.
Nach seiner Entlassung als Berufssoldat nach dem Ersten Weltkrieg tat er sich außerordentlich schwer, im zivilen Leben zurecht zu kommen. Tätigkeiten als Polizeispitzel oder regulärer Polizist scheiterten jedes Mal innerhalb kurzer Zeit an seiner politischen Agitation und Tätigkeit gegen die Weimarer Republik. Erst bei den IG Farben in Ludwigshafen gelang es ihm, für neun Jahre in deren Sicherheitsdienst zu arbeiten, bis er auch hier 1932 wegen der Beteiligung an versuchten politischen Mordanschlägen entlassen wurde.
1927 war Eicke in Ludwigshafen in die SA, 1928 in die NSDAP eingetreten, 1930 wechselte er von der SA zur SS. Heinrich Himmler befahl ihm, einen SS-Sturm in Ludwigshafen zu rekrutieren. Eicke übertraf Himmlers Erwartungen, indem er so viele Männer anwarb und auch ausrüstete, dass er bis 1931 zwei SS-Sturmbanne aufgestellt hatte.
Eickes Aufstieg und seine Loyalität gegenüber Himmler brachten ihn in Konflikt mit Josef Bürckel, dem NSDAP-Gauleiter der Pfalz, der die Verfügungsgewalt über die pfälzischen SS-Einheiten erlangen wollte und mit manipulierten Informationen gegen Eicke intrigierte. Der Besitz von Sprengstoff führte zu Eickes Verhaftung im März 1932 in Ludwigshafen und im Juli 1932 zu einer Verurteilung zu zwei Jahren Gefängnis. Der bayerische Justizminister (und spätere Reichsjustizminister) Franz Gürtner gewährte ihm aus gesundheitlichen Gründen Haftaufschub. Himmler befahl Eicke im September 1932, nach Malcesine am Gardasee zu fliehen, wo sich in einem Lager zahlreiche, wegen ähnlicher Delikte in Deutschland gesuchte oder verurteilte SS-Männer versammelt hatten.
Nach einer bayerischen Generalamnestie für politische Verbrechen kehrte Eicke nach Ludwigshafen zurück, wo er sich an Bürckel zu rächen versuchte, indem er dessen Absetzung als NSDAP-Gauleiter betrieb. Bürckel ließ Eicke erneut festnehmen und in die Psychiatrie der Universitätsklinik Würzburg einweisen. Während Himmler Eicke wegen seines ungebührlichen Verhaltens zeitweise fallen ließ, schloss Eicke in der Psychiatrie eine neue Freundschaft mit einem der Ärzte, Prof. Dr. Werner Heyde, späterer ärztlicher Leiter der Aktion T 4 und Obergutachter für die Morde an Kranken im Rahmen der „Euthanasie“, der auf Eickes Werbung auch in die SS eintrat.
Heydes Gutachten und Himmlers Wohlwollen befreiten Eicke aus der Psychiatrie. Himmler betraute den nun zum SS-Oberführer ernannten Eicke mit der Neuorganisation des Konzentrationslagers Dachau. Als Kommandant baute er Dachau zum Muster aller Konzentrationslager aus, von 1934 bis 1939 stand er dem KZ-System im Reich als Inspekteur vor. Die von Eicke geschaffenen Strukturen des Konzentrationslagers als einer Stätte systematischen Terrors prägten die Lager bis zum Untergang des „Dritten Reiches“. Die Organisation der Konzentrationslager mit Disziplinar- und Strafordnungen für die Häftlinge und Dienstvorschriften für die Wachmannschaften, die Uniformierung und Kennzeichnung der Häftlinge waren ebenso sein Werk wie die Schulung der SS-Wachmannschaften und die Abschottung der Lager nach außen gegen Justiz und Öffentlichkeit.
Während des sogenannten Röhm-Putsches wurden im KZ Dachau 20 Menschen ermordet. Auf Befehl Eickes wurde der frühere bayerische Ministerpräsident Gustav Ritter von Kahr in Dachau im Arrestraum erschossen. Hitler selbst gab Eicke den Befehl, Ernst Röhm zu töten, den er in der Justizvollzugsanstalt München-Stadelheim am 1.7.1934 ausführte. Für seine Taten wurde Eicke zum SS-Gruppenführer und zum Inspekteur der Konzentrationslager und Führer der SS-Wachverbände (ab 1936: Totenkopfverbände) erhoben. Unter seiner Leitung wurde die SS zur einzigen Betreiberin der Konzentrationslager und es entstanden neue Konzentrationslager wie Sachsenhausen, Buchenwald, Flossenbürg, Mauthausen und Ravensbrück. Des weiteren wuchsen die SS-Totenkopfverbände, die die Lager bewachten, auf über 24.000 Mann an. Viele spätere Kommandanten der Konzentrationslager waren von Eicke ausgewählt, geschult und gefördert worden.
Nach Kriegsbeginn baute Eicke aus den Totenkopfstandarten eine SS-Panzerdivision auf. Die von ihm geführte SS-Totenkopfdivision galt als einer der skrupellosesten Verbände und war in Polen an der Erschießung von Jüdinnen*Juden und Polen beteiligt. Eicke kam bei einem Flugzeugabsturz in der Sowjetunion im Februar 1943 ums Leben.
Eickes Relevanz für den Ausbau des NS-Terrorapparats ist durch seine Konzeption des KZ Dachau als Modell für andere Konzentrationslager begründet sowie durch die Rekrutierung und Ausbildung der Wachmannschaften in Form der SS-Totenkopfverbände. Zudem gilt er als einer der Begründer der Waffen-SS, deren 3. SS-Panzerdivision „Totenkopf“ er bis zu seinem Tod 1943 kommandierte.