Die Sage erzählt: 'Für den Festungsbau in Ulm wurden viele Steine benötigt. So wurden hauptsächlich Steine aus dem Süden der Region angefahren. Im heutigen Ludwigsfeld hatte eines der Fuhrwerke einen Radbruch. Das Fuhrwerk wurde repariert, aber die Steine blieben liegen. Mit diesen Steinen soll der erste Siedler sein Haus, sein Anwesen gebaut haben.'
Ob es so war, wer weiß?
Die ersten Siedler bauten von 1862 an hier ihre Häuser. Sie kamen von der Alb, waren in der Regel evangelische Bauernsöhne, die von zuhause fort mussten und hier Gelegenheit fanden, sich selbstständig zu machen. Obwohl ursprünglich keine eigene Siedlung geplant gewesen war, erhielt dieser Ort schon am 28.Februar 1865 den Namen des regierenden bayerischen Königs Ludwig II. Die Lage an einer wichtigen Verkehrsverbindung in Richtung Süden und das im weiten Umfeld unbebaute Land prädestinierten den Stadtteil für die Weiterentwicklung als Wohnort, die sich in mehreren Etappen vollzog und bis heute andauert.
1932 wurden am Postweg die ersten zwölf Siedlerhäuser eines bis ins Jahr 1938 fortgeführten Siedlungsprojektes erstellt. Nach dem Krieg wurden in Ludwigsfeld viele Neubürger angesiedelt.
Die katholische Filialkirche Mariä Himmelfahrt wurde 1952 erbaut und 1971 durch die jetzige Kirche 'Christus, unser Friede' ersetzt. Ein evangelischer Kirchenbauverein wurde 1959 gegründet und führte wie nachfolgend beschrieben zum Bau der evangelischen Andreaskirche.
In den sechziger Jahren entstanden viele Ein- und Mehrfamilienhäuser sowie die für Ludwigsfeld bis heute charakteristischen Hochhäuser.
