La fonction de secrétaire général pour l'administration du ministère de la défense a connu, depuis sa création à la fin du 18ème siècle, une histoire mouvementée liée à des interrogations récurrentes sur la nature de son rôle : coordination ou véritable commandement. Finalement, cette fonction s'est stabilisée en 1962. Elle apparaît alors comme un des éléments importants de la réforme du ministère organisé, après la suppression des secrétariats d'Etat d'armée, autour de trois pôles placés chacun sous la responsabilité d'un grand subordonné du ministre : les armées sous la responsabilité opérationnelle du chef d'état-major des armées, le secteur de l'armement sous l'autorité du délégué général pour l'armement et l'administration sous l'autorité du secrétaire général pour l'administration (SGA).
L'article 4 du décret du 18 juillet 1962 qui fixe les attributions du ministre des armées indique en effet que « le ministre des armées est assisté en matière administrative, domaniale, financière et sociale, par un secrétaire général pour l'administration ».
Le décret du 8 mars 1999 crée officiellement un secrétariat général pour l'administration qui, à la différence de l'état-major des armées ou de la délégation générale pour l'armement, n'avait jusqu'alors d'existence juridique qu'à travers le secrétaire général, lequel assurait la « haute direction » des services qui lui étaient rattachés.
Cette réforme a constitué une étape importante sur la voie de l'insertion des services en charge des Anciens combattants au sein de la Défense, réalisée par le décret du 15 novembre 1999. En adossant cette administration à celle des armées, le Gouvernement, avec l'accord du Président de la République, a voulu garantir le maintien du service rendu aux anciens combattants et victimes de guerre à un niveau de qualité témoignant de la reconnaissance de la Nation.