Fort Wagner hade ett manskap på totalt 1700 man, det var tungt beväpnat med kanoner. Det låg mycket otillgängligt till, den anfallande styrkan kunde bara anfalla en väg. Detta fort var den starkaste, enskilda jordfästning som man kände till i krigets historia. Kanonerna dundrade från allla håll och kanter, men trots det så förlorade de Konfedererade inte mer än 8 män, och 20 män som sårades före anfallet.
När överste Shaw och hans adjutant anlände till Morris Island, rapporterade de till general Strong. Han sade att man skulle storma Fort Wagner denna kväll. Överste Shaw fick erbjudandet om att leda anfallet eftersom general Strong kände till överste Shaws önskan att få kämpa med sitt regemente tillsammans med andra vita trupper. Han sade ja till detta och order sändes till hans regemente. Massachusetts 54:e Regemente anlände vid general Strongs högkvarter runt klockan 6 på kvällen. Där tog de en rast på 5 minuter. När generalen då såg det slitna regementet, som inte hade kunnat äta ordentligt på 3 dagar beklagade han att han inte kunde se till att de kunde få mat och dryck. Men det fanns inte tid. Det 54:e regementet skulle inleda anfallet mot Fort Wagner, männen hade en olycksbådande känsla. Denna strand skulle bli det sista som många av soldaterna skulle se, de överlevande skulle heller aldrig glömma denna plats. Även officerarna var nervösa, skulle soldaterna bevisa att de var goda soldater eller skulle de bara fly? Vad man inte visste då var att på grund av hur det gick i detta slag så skulle det påverka om armén skulle värva fler afro-amerikaner. Man väntade en halv timme, överste Shaw sade till överstelöjtnant Hallowell:
"Jag går i förväg med Unionsflaggan. Du behåller Massachusetts flagga; den kommer att ge dina män något att samlas under. Vi ska ta fortet eller dö där! Adjö!"
General Strong red framför 54:e och talade till männen: "Pojkar, jag är från Massachusetts, och jag vet att ni kommer att slåss för Massachusetts ära. Jag är ledsen att ni måste slåss när ni är trötta och hungriga, men männen i fortet är trötta och hungriga de med. De är blott 300 man bakom fortets väggar och de har slagits hela dagen. Avlossa inte era gevär utan gå in med era bajonetter och stick ned fienden vid deras linje." Han kallade fram fanbäraren och frågade: "Om denna man stupar, vem tar då upp fanan igen?" Och överste Shaw sade: "Det gör jag." Männen gav med hög röst samma svar. General Strong red iväg för att ge signalen för anfall. Överste Shaw talade till sina män: "Nu vill jag att ni ska visa er värdiga!" Han påminde dem också om att tusentals skulle titta på detta slag som skulle ske under kvällen.
Under tiden blev det mörkare och minuterna passerade, officerarna skakade hand med varandra under tystnad, soldaterna tog lågmält avsked av varandra och lyssnade efter kommandot om anfall. De vanliga preparationer man gjorde innan ett slag tog inte plats, det var underförstått att fortet skulle stormas med endast bajonetter. Männen fick de slutliga instruktionerna och anfallet inleddes. Fienden hade iakttagit förberedelserna, visste vad som skulle komma och väntade på anfallet. Kanoner från Sumter, Sullivan's Island och James Island började bombardera regementet.
Klockan var nu 19.45 och mörkret föll snabbt, 54:e började nu sitt anfall. Överste Shaw ledde anfallet med svärdet i sin hand, marschen på nästan en kilometer över sanden inleddes. När de kom till den passage som knappt rymde deras nuvarande formation, så tvingades de att ta sig fram bäst de kunde. Två av kompanierna tvingades att vada genom vatten upp till deras knän när vågorna slog mot stranden. De rörde sig så fort de kunde och försökte hålla sin formation så gott de kunde med tanke på det svåra underlaget och den trånga passagen. Det hade blivit ännu mörkare och endast mitten av kolumnen hade fri väg mot fortet. Regementet fortsatte framåt tills de var ungefär 200 meter från fortet.
Vid denna tidpunkt blev Fort Wagner till en kulle av eld från vilken det kom en ström av kulor och granater. När detta tumult av krig började och män stupade mångfaldigt så svarade det 54:e regementet den dödliga utmaningen med att snabba upp sin takt för att kunna anfalla fienden. De hade inte stannat upp, pausat eller ens kollat läget en enda gång under deras anfall. Och det gjorde de inte nu heller. Fort Wagners väggar var fortfarande målet och de fortsatte sitt anfall, nu mångfaldigt decimerade. Denna fruktansvärda eldkraft som regementet hade tagit emot ledde till de största förlusterna under hela anfallet. Slutligen var det bara ett dike som skilde dem från fienden. Överste Shaw ledde sitt regemente under hela anfallet, när han kommit upp på fästningsvallen ropade han till sina män: "Framåt 54:e!" Han föll sedan död ned till marken, skjuten genom hjärtat. Han blev endast 25 år.
Än så länge hade det 54:e regementet inte avlossat ett enda skott men nu när man hade kommit över krönet så började skott höras. 54:e var en lätt måltavla för fienden, och snart stog det klart att de inte skulle kunna ta fortet på grund av de svåra förluster de hade lidit. Snart var oddsen 10 mot 100 och det var också tydligt att fortet var betydligt starkare och bättre bemannat än vad man först hade trott. Allt detta skedde under en ganska kort period, det stog snart klart att de andra trupper som skulle ge dem understöd inte skulle komma än på ett tag. Man försökte dra sig tillbaka men det var lika dödligt som att anfalla. Men under kapten Emilio samlades i alla fall regementet och man drog sig tillbaka till en bättre position några hundra meter därifrån.
I en skyttegrav samlades soldater från olika regementen upp, klockan 01.00 kom en officer och frågade efter den officer som hade kommandot, som var kapten Emilio, och han blev informerad om de snart skulle bli avlösta. De marscherade sedan vidare bakåt och slog läger bakom de skyddande sanddynerna. Man försökte med ett ytterligare anfall men förgäves. Man led svåra förluster och tvingades till reträtt. Därmed var det stora slaget om Fort Wagner över. De konfedererades förluster uppgick till 181 dödade eller skadade. Unionsarméns förluster uppgick till 1 515 man. Sådana förluster markerade att detta slag var ett av de värsta under kriget. Nordstaterna hade varit med om mycket större slag om man ser till antalet soldater, men förlusterna hade dittills inte varit så svåra. Ett flertal vittnesmål talade om det 54:e regementets mod, även de konfedererade officerarna på Fort Wagner berömde 54:e regementets insatser.
Tidigt på morgonen den 19 juli när återstoden av det 54:e regementet väcktes stod det klar vilken fruktansvärd förlust man lidit. Soldater som hade irrat iväg under nattens förvirring började återförenas med sitt regemente. Kvar var bara ungefär 400 man. Man fick snart reda på hur det hade gått med överste Shaw, han hade blivit begravd tillsammans med sina soldater men innan så hade man plundrat han på kläder och tillhörigheter innan han som enda officer begravdes tillsammans med sina afro-amerikanska soldater. Hans föräldrar tyckte att man skulle sluta söka efter hans grav, de tyckte att det var bäst att han fick ligga ostörd tillsammans med de tappra män som hade stupat med honom. Av de som räknades som saknade som hörde till 54:e, blev ett 60-tal tillfångatagna, 20 av dem var sårade, resten dödades.
