Nur fünf Jahre, nachdem im Potsdamer Abkommen die Entmilitarisierung Deutschlands beschlossen worden war, wurde 1950 wegen der „kommunistischen Bedrohung“ (Anlaß war der nordkoreanische Angriff auf Südkorea) von den Westalliierten über eine Wiederbewaffnung der Bundesrepublik nachgedacht. Zwar herrschte in der Bevölkerung erheblicher Widerwille gegen diese Pläne, gleichzeitig aber auch eine starke Furcht vor einem sowjetischen Angriff. Noch während die Debatte um den Aufbau einer Armee lief, ließ Bundeskanzler Adenauer im August 1950 im Eifelkloster Himmerod deutsche Militärexperten unter Leitung des späteren ersten Bundesverteidigungsminister Theodor Blank Pläne für eine deutsche Armee erstellen.Zunächst war ein deutscher „Wehrbeitrag“ im Rahmen einer Europaarmee geplant, was aber im August 1954 am Veto der französischen Nationalversammlung scheiterte. Diese und andere Verzögerungen verhinderten die im Hinblick auf einen baldigen Einsatz gegen die Truppen des Ostblocks eigentlich vorgesehene Bildung einer Mobilmachungsarmee aus ehemaligen Frontsoldaten und Wehrmachtsoffizieren, die 1950 noch in großer Zahl zu rekrutieren waren. Dem Vorteil einer kriegserfahrenen und gut ausgebildeten Berufsarmee hätte bei dieser Version allerdings der Nachteil eines bruchlosen Fortlebens der Wehrmacht gegenübergestanden. Trotz des Rückschlages 1954 und der sich auf den Viermächtekonferenzen im Juni/Juli 1955 abzeichnenden Neutralität der Bundesrepublik liefen die Planungen auf Drängen Adenauers weiter. Er forderte Blank auf, bis 1959 12 Divisionen (ungefähr 500.000 Mann) aufzustellen und auszurüsten – angesichts der niedrigen Arbeitslosigkeit und der mittlerweile ins zivile Leben integrierten ehemaligen Soldaten eine unerfüllbare Aufgabe. Außerdem konnten nach 1955 nicht mehr wie ursprünglich geplant alte Kriegsbestände der US-Armee benutzt werden. Für den Mißerfolg wurde Verteidigungsminister Blank verantwortlich gemacht, der zugunsten von Franz Josef Strauß (CSU) zurücktreten mußte. Der Ausbau der Bundeswehr sollte noch bis 1967 dauern. Ein Grund dafür war Strauß’ Beharren auch „Qualität statt Quantität“: Er wünschte eine mit taktischen Nuklearwaffen ausgestattete, relativ kleine Bundeswehr statt eines großen Heeres mit konventioneller Bewaffnung. Dabei konnte er sich auf den US-Außenminister Dulles berufen, auf dessen Betreiben die NATO einen Beschluß zur atomaren Erstschlagsoption gefaßt hatte. Auf diesem Gebiet war die westliche Allianz (bzw. die USA) der Sowjetunion klar überlegen, während die UDSSR eine weit größere konventionelle Streitmacht in Europa stationiert hatte. Nach der Kubakrise, während der die Welt am Rand eines Atomkrieges stand, wurde dieses Konzept überdacht und 1967 mit einer Strategie der „angemessenen Erwiderung“ modifiziert. In Deutschland bemühte sich Strauß 1955 im Alleingang um eine Reduktion der Zielstärke der Bundeswehr, während Adenauer skeptisch war. Erst die Zustimmung Großbritanniens und Frankreichs zur nuklearen Abschreckung ließ ihn einlenken – die Bundesrepublik sollte keine wehrloser Mittelstaat sein. Auf eine entsprechende Anfrage der SPD am 2. April 1957 sagte er, Deutschland müsse sich an die NATO-Strategie anpassen; taktische Nuklearwaffen stellten nur eine „Weiterentwicklung der Artillerie“ dar. Diese Äußerung wurde von mehreren Atomwissenschaftlern (Göttinger 18) in einem offenen Brief scharf kritisiert. ;it Unterstützung der SPD entstand eine breite Bewegung gegen die atomare Bewaffnung: im Frühjahr 1957 waren zwei Drittel der Bevölkerung gegen Atomwaffen, seit Beginn des Jahres 1958 kam es zur Gründung von „Kampf dem Atomtod“-Ausschüssen und Massendemonstrationen in Tübingen, Frankfurt und Hamburg. Im April 1958 plädierten 52% in einer Umfrage für den Einsatz von Streiks, was von den Gewerkschaften und der SPD strikt abgelehnt wurde. Die Union versuchte, die Kampagne als „kommunistisch“ zu diffamieren und setzte die Stationierung von nuklearen Trägersystemen mit amerikanischen Atomraketen mit der Regirungsmehrheit im Bundestag durch. Trotz dieser unpopulären Entscheidung konnte die CDU bei den Bundestagswahlen im September 1957 und bei den Landtagswahlen im Juni 1958 einen großen Wahlsieg erringen. Die florierende Wirtschaft und die Rentenreform drängten die Atomwaffen als Wahlkampfthema in den Hintergrund. Nachdem auch noch eine Volksbefragung vom Bundesverfassungsgericht verboten worden war, gab die SPD auf und ließ das Thema fallen. Aus den massiven Protesten entwickelte sich ab 1960 die pazifistische Ostermarschbewegung. An den Märschen nahmen beim ersten Mal 1000 Menschen teil, auf dem Höhepunkt 1968 marschierten 300.000 für den Frieden (und ihre politischen Ziele).
Ein besonderes Problem für die Bundeswehr war die Bewältigung der Tradition. Die neue Armee war mit vier historischen Hypotheken belastet: Dem Einfluß militärischen Denkens auf die Politik (Militarismus) seit dem Kaiserreich, der Erhebung des Militarismus zur Staatsdoktrin während des Dritten Reiches, der Bildung eines „Staates im Staat“ und der Korrumpierbarkeit ihrer Vorgängerin im Dienste eines verbrecherischen Regimes. Einerseits war für einen Neuanfang ein radikaler personeller Schnitt notwendig, andererseits brauchte man auch erprobte militärische Fachleute, die deshalb besonders in der Planungsphase großen Einfluß hatten. 1957 waren 10.000 Offiziere und 44 Generäle und Admiräle in der Bundeswehr aktiv, die schon in der Wehrmacht gedient hatten. Nur an dieser Stelle wurde eine erneute konsequente Einzelfallprüfung auf etwaige NS-Belastung durchgeführt. Graf Baudissin entwickelte für die Bundeswehr ein grundlegend neues Konzept: Der Soldat sollte kein unreflektiert gehorsamer Kriegstechniker sein, sondern ein „Staatsbürger in Uniform“. Das Soldatengesetz vom 6. März 1956 gab den Soldaten deshalb erstmals alle Bürgerrechte inklusive des aktiven und passiven Wahlrechts und der Möglichkeit einer Parteimitgliedschaft. Kooperationswille, Intelligenz und Selbstdisziplin sollte auf allen Ebenen durch die „innere Führung“, das Gegenstück zur äußeren (taktischen) Führung, gefördert werden. Auf diese Weise entstand eine Armee, die (im Idealfall) ein pluralistisches Spiegelbild der demokratischen Gesellschaft war. Die konservativen Gegner dieser Reform glaubten an die Effizienz einer traditionellen Armee wie der Wehrmacht, äußerten ihre Kritik aber nur insgeheim; Baudissins Pläne setzten sich durch. Gleichzeitig wurden Vorbereitungen für eine Wehrverfassung getroffen, die das Primat der Politik, den ausschließlich friedenssichernden Auftrag der Bundeswehr und ihre Stellung als Dienerin der Demokratie festschrieben. Dieses theoretisch ideale Konzept wurde zwar nur bedingt realisiert, trotzdem unterschied sich die Bundeswehr auch in der Praxis stark von ihren Vorgängerinnen.
In der Diskussion um die Kontrolle der Bundeswehr erlitt Adenauer eine seiner wenigen Niederlagen. Er wünschte eine Armee mit einem westlich orientierten Offizierskorps, die nur durch die Bundesregierung kontrolliert wurde. Das Parlament dagegen favorisierte eine Vorlage des SPD-Abgeordneten Fritz Erler, in dem eine Aufgliederung des Oberbefehls, die Einsetzung eines Wehrbeauftragten und die Überprüfung von höheren Offiziersanwärtern durch einen parlamentarischen Personalausschuß vorgesehen waren. Die SPD fürchtete um ihren Einfluß als Opposition in dieser politisch wichtigen Frage und befürchtete die Entstehung einer „CDU-Parteiarmee“. Erlers Entwurf konnte die Wehrdebatte entscheidend beeinflussen, da auch die CDU/CSU-Parlamentarier um ihren Einfluß fürchteten. Vor allem die CSU mißtraute dem preußischen Militarismus: Sie versuchte erst, die Befugnisse des Verteidigungsministers weitgehend einzuschränken und besetzte den Posten später mit Strauß. Die CDU war über Adenauers Alleingang in dieser Frage verärgert und suchte deshalb einen Kompromiß mit der SPD. Adenauers stures Festhalten an einer reinen Regierungskontrolle führte zur Rebellion seiner Fraktion in Bundestag und Bundesrat nach der Vorlage eines „Blitzgesetzes“ zur Aufstellung einer Division 1955 – während das Wehrgesetz noch debattiert wurde. Das Gesetz mußte revidiert werden, dem Parlament wurde eine Mitwirkung zugesichert. Die „große Wehrkoalition“ gegen Adenauer beschloß einen Personalausschuß, gegen dessen Entscheidungen keine Revision möglich war und der teilweise auch zur Machtdemonstration des Parlaments gegenüber mißliebigen Bewerbern benutzt wurde. Zwar wurden nur etwa 100 von 600 Bewerbern abgelehnt, die sorgfältige Prüfung durch den Ausschuß hielt aber wahrscheinlich eine größere Anzahl von Wehrmachtsoffizieren von einer Bewerbung ab. Der Verteidigungsminister wurde zwar nicht, wie von Erler angestrebt, direkt der parlamentarischen Kontrolle unterworfen (auch er konnte nur durch ein konstruktives Mißtrauensvotum gegen die gesamte Regierung gestürzt werden), ein Verteidigungsausschuß und ein Wehrbeauftragter wurden aber eingesetzt. Damit erreichte die Regierung schließlich auch die Zustimmung der SPD zu den notwendigen Verfassungsänderungen am 6. März 1956. In einigen Punkten konnte sich Adenauer durchsetzen: Der Oberbefehl lag im Frieden beim Verteidigungsminister, im Kriegsfall beim Bundeskanzler, der Bundespräsident bekam lediglich das Ernennungsrecht für Offiziere und die Möglichkeit einer Wehrpflichtsarmee wurde offen gehalten. In der Bundestagsdebatte im Mai 1956 wurde schließlich gegen die Stimmen von SPD und FDP eine Wehrpflicht von 12 Monaten (statt der von der Bundesregierung ursprünglich geforderten 18) beschlossen.