Men ännu hade inte Unionen tagit in de afro-amerikaner som fanns i sin armé. Trots att både viljan och modet fanns hos afro-amerikanerna så hade man fortfarande fördomar mot dem och de vägrades att tjänstgöra i armén. De flesta hade, vare sig man var Sydstatare eller Nordstatare, samma åsikt att afro-amerikanerna var undermåliga som människor, trots att slavarnas frihet var en av orsakerna till kriget. Men kriget svängde och det gick inte så bra som man hade trott för Nordstaterna, Lincoln lade fram ett förslag om att använda afro-amerikaner i Unionsarmén 1862. Sommaren 1862 började de första afro-amerikanska regementena bildas, de första var First Kansas Colored, i september Louisiana Native Guards och i oktober var det First South Carolina. Efter dessa var det dags för 54th Massachusetts Volunteer Infantry. Den 1:a januari 1863 undertecknade Abraham Lincoln Emancipationsakten där han proklamerade att alla slavar skulle vara fria i de stater som då ännu befann sig i uppror. (Emancipation Proclamation.) Med denna akt öppnades möjligheten att värva afro-amerikaner till Unionens armé. Under det Amerikanska inbördeskriget bildades det ungefär 166 regementen till vilka det värvades ungefär 180 000 afro-amerikaner som var fria män och före detta slavar och dessa organiserades till Unions arméns färgade trupper mellan 30 Juni, 1863 till 31 December, 1867. (Dessa regementen var 145 infanteri, 7 kavalleri, 12 tungt artilleri, 1 lätt artilleri och 1 ingenjörstrupp.) Totalt 1059 fartyg togs i bruk av Unionsflottan från 1861 till 1865, och mer än 28 000 afro-amerikanska sjömän tjänstgjorde i Unions flottan.