Nach seinem Abitur in Duisburg trat der Industriellensohn 1905 in die kaiserliche Marine ein und nahm am Ersten Weltkrieg teil, seit Ende 1917 als Kommandant eines U-Bootes. Von der Revolution und dem Kriegsende auf See überrascht, setzte sich Canaris bei seiner Rückkehr für die Bildung von Einwohnerwehren und Marinebrigaden zur Niederhaltung der Revolution ein. Er war Beisitzer im Kriegsgericht, das über die Morde an Rosa Luxemburg und Karl Liebknecht zu urteilen hatte, stimmte für Freisprüche der Täter und verhalf einem der Verurteilten zur Flucht. Ab 1920 hatte er verschiedene Positionen innerhalb der Reichsmarine inne.
Im Januar 1935 wurde Canaris zum Chef der Abwehrabteilung ernannt, dem militärischen Geheimdienst innerhalb des Reichswehrministeriums, welcher 1938 als Amt Ausland/Abwehr dem Oberkommando der Wehrmacht unterstellt wurde. Das Amt Ausland/Abwehr arbeitete im Sinne des NS-Regimes effektiv: Es trug zum Erfolg der Kriegsführung des Regimes und zur Bekämpfung von Widerstandszirkeln im Ausland wesentlich bei. Dem Amt unterstand die Geheime Feldpolizei, die vielfach am rassistischen Vernichtungskrieg beteiligt war. Den privilegierten Zugang zu Informationen, den Canaris besaß, nutzte er in unterschiedlicher Weise: Während er einerseits als Geheimdienstchef zur Bekämpfung von „Staatsfeind*innen“ beitrug, unterstützte er andererseits auch Gegner*innen des NS-Regimes, insbesondere in den eigenen Reihen. Canaris' eigene Vorstellungen und der Grad der Übereinstimmung mit dem NS-Regime sind nicht immer klar erkennbar. Aber er protestierte schriftlich gegen die Erschießung russischer Kriegsgefangener und lotete im Ausland die Chancen für einen Separatfrieden aus. Er gab Informationen an Aktivist*innen des Widerstands weiter und schützte Verfolgte durch Unterstützung bei der Absetzung ins Ausland. Auch deckte er die gewagten Aktivitäten von expliziten Hitler-Gegnern in seiner Behörde wie Hans Oster und Hans von Dohnanyi, die Angriffspläne an das Ausland weitergaben.
Im Februar 1944, nachdem bereits Oster und von Dohnanyi verhaftet waren, wurde Canaris abgesetzt. Drei Tage nach dem Attentat vom 20.7.1944 nahmen ihn die Nationalsozialisten fest. Am 8.4.1945 wurde er gemeinsam mit Oster im KZ Flossenbürg erhängt.