Comme Adolf HITLER il a fait partie de ceux qui auront mal vécu la défaite allemande de 1914-18 ! Un véritable traumatisme ! Au point de fonder en 1923 une section des jeunes du DVP et de rejoindre le NSDAP dès 1925, puis la SS en 1926. Son engagement politique lui causera cependant des problèmes à la fin de ses études secondaires au lycée de Hildesheim puisqu'il il se fera recaler en 1925 au motif de trop s'intéresser à la lutte des classes et aux problèmes sociaux, alors que c'était pourtant un intellectuel brillant. Il suivra d'ailleurs des études d'économie politique et de droit, successivement dans plusieurs universités. Ce qui ne l'empêchera pas à Hanovre de consacrer du temps à la réorganisation du parti nazi. Devenu avocat en 1933, il travaille en tant qu'avocat, il cumulera cette activité avec un poste d'assistant à l'Institut d'économie mondiale — et du transport maritime, à l'époque — de l'université de Kiel. Opposé aux courants collectivistes dans le parti, il sera muté à Berlin, à l'institut pour les sciences économiques appliquées où il lui sera néanmoins interdit de prendre la parole en public.

Peu avant l'envahissement de l'Union Soviétique en juin 1941, son supérieur HEYDRICH le nommera responsable de l'Einsatzgruppe D., une sorte de commando d'extermination.  Alors qu'il l'avait blâmé en 1936 pour avoir critiqué le réarmement de l'Allemagne. Allez comprendre ! Avec un effectif de 400 à 500 hommes, son groupe est rattaché à la 11eme armée et opère dans le Sud de l'Ukraine, notamment en Crimée, Bessarabie et dans la région du Caucase. Sous son commandement de juin 1941 à juillet 1942 seront tuées près de 90 000 personnes, ces victimes étant essentiellement des Juifs, hommes, femmes ou enfants. Une des tueries les plus connues se déroule à Simferopol en Crimée en décembre 1941, qui coûtera la vie à plus de 14 300 personnes, majoritairement des Juifs. Les massacres se poursuivront jusqu'à l'été 1943. OHLENDORF savait se montrer consciencieux et efficace, et soucieux de ses hommes. Lors des massacres collectifs de Juifs, il refusera que ses hommes exécutent leurs victimes d'une balle dans la nuque, afin d'éviter qu'ils se sentent « personnellement responsables » et qu'ils puissent ainsi alléger leur fardeau psychique. Son efficacité dans les opérations d'extermination qui lui seront confiées lui vaudra une promotion en 1944.

A la fin du conflit en mai 1945, il accompagnera HIMMLER dans sa tentative de fuite mais il sera emprisonné à l'inverse de son supérieur qui, reconnu, se suicidera. Pendant le procès des différents responsables d'Einsatzgruppen, il n'exprimera aucun regret et sera condamné à mort le 18 avril 1948 après avoir au préalable comparu à Nuremberg en 1946. Il réussira à se pendre dans sa prison trois ans plus tard. De sa participation à ces débats de Nuremberg qui ont jugé les dignitaires nazis de nov. 1945 à octobre 1946, il restera un témoignage froid, d'une monstruosité insoutenable, celui d'un tueur lui-même père de cinq enfants, qui, pour économiser une balle, préférait tuer les femmes en leur laissant au préalable prendre leurs petits dans les bras. La présentation d'un défenseur du crime propre ! Il dira qu'il avait abandonné sa conscience morale au fait qu'il était un soldat et donc un rouage relativement bas d'une grande machine.