Nach dem Abitur in Bamberg trat von Oelhafen 1899 ins Bayerische Heer ein und wurde 1907 zum Leutnant ernannt. Seit 1913 diente er in Feldartillerie-Regimentern und nahm an verschiedenen Schauplätzen am Ersten Weltkrieg teil. Nach dem Krieg verblieb er zunächst in der Armee, beteiligte sich jedoch auch führend in Freikorps bei Kämpfen gegen kommunistische Gruppen in Bayern und Thüringen. Von 1920 bis 1922 war er Mitglied im rechtsextremen Deutschvölkischen Schutz- und Trutzbund. Von Oelhafen wechselte 1920 vom Heer in die Bayerische Landespolizei. Von 1931 an war er Abschnittskommandeur, von 1933 an Kommandeur der Schutzpolizei München, von 1934 bis 1937 fungierte er zugleich als stellvertretender, zeitweise auch als geschäftsführender Polizeipräsident von München. Seit 1937 hatte von Oelhafen, inzwischen Mitglied der NSDAP, verschiedene Kommandeursposten der Ordnungspolizei, zunächst in Dresden, dann in Graz, Aussig, Königsberg und Prag inne.
Im September 1941 wurde er Befehlshaber der Ordnungspolizei im Reichskommissariat Ukraine. In dieser Funktion war von Oelhafen, bald zum Generalleutnant der Polizei und SS-Gruppenführer befördert, führend an der Ermordung der ukrainischen Juden*Jüdinnen beteiligt. Im November 1941 organisierte er die große Erschießungsaktion mit 17.000 Opfern in Rivne (Rowno), der Hauptstadt des Reichskommissariats Ukraine. Von Oelhafen sorgte dafür, dass sich die Ordnungspolizei an der völligen Vernichtung der Juden*Jüdinnen im Reichskommissariat Ukraine beteiligte, vor allem zwischen Mai und Oktober 1942. Im September 1942 leitete er zudem den ‚Bandenbekämpfungsstab‘, der die Partisanenbekämpfung und den Mord an den Juden*Jüdinnen koordinierte. Einen Monat später kehrte er nach München zurück, wo er bis zu seiner Verabschiedung im März 1943 wieder als Befehlshaber der Ordnungspolizei diente. Von Oelhafen wurde zwar nach dem Krieg als Zeuge in Nürnberg vernommen, jedoch nicht vor Gericht gestellt.
