En todas estas acciones demostró gran habilidad para la infiltración y las maniobras sorpresivas. Sus actuaciones le valieron la Cruz de Hierro de Primera Clase y la Medalla al Mérito Militar. Acabada la guerra, continuó en el reducido ejército alemán al mando de un batallón.

El ascenso al poder del partido nazi y la política hitleriana de rearme dieron un giro crucial a su carrera. Ya con el rango de general, formó parte del cuartel general de Hitler desde el principio de la Segunda Guerra Mundial. En la campaña de Francia, al mando de la VII División Acorazada, tuvo un papel relevante en la ruptura de las líneas aliadas en el Mosa y la posterior penetración que condujo a la victoria alemana. Por su rapidez de movimientos, su unidad fue conocida como «la División Fantasma».

En 1941 fue enviado a Libia con el Afrika Korps para apoyar a los italianos en la guerra del desierto. Allí, su habilidad se puso de manifiesto al infligir una derrota tras otra a los británicos, pese a contar con medios muy inferiores. Finalmente, escaso de material y combustible, fue vencido por el VIII Ejército Británico en El-Alamein y hubo de retirarse.

En 1943 se hizo cargo de las defensas del Muro del Atlántico en Francia y del grupo de Ejércitos B, por lo que estuvo al mando de las fuerzas encargadas de repeler el desembarco de Normandía en junio de 1944. En julio fue herido en un ataque aéreo y, aún convaleciente, fue acusado de haber formado parte del complot para matar a Hitler. Para evitar un juicio público, decidió aceptar la opción de suicidarse que le ofreció el propio Füher.