У перші ж дні війни тисячі ростовчан були призвані до лав діючої армії. Мобілізація проходила організовано, з винятковим піднесенням. У точно встановлені терміни прибували на призовні пункти мобілізовані. Десятки тисяч радянських патріотів, які не отримали повісток, заявляли про добровільне бажання бути на фронті. У військкомати приходили тисячі юнаків і дівчат, вимагаючи, щоб їм дали право боротися за честь і незалежність Батьківщини.
У перші місяці війни у військкомати Ростова надійшло більше 60 тис. заяв радянських патріотів-добровольців. У їх числі були вчені (більше 60 наукових працівників тільки з держуніверситету), письменники Дону на чолі з М. А. Шолоховим, що став з перших днів війни військовим кореспондентом центральній пресі.
У числі перших, зустріли ворога, була 74-та стрілецька дивізія, сформована в СКВО ще в 20-і рр.. Дотримуючись своїм славним традиціям, війни дивізії протягом декількох діб утримували рубежі на річці Пруті, відбиваючи запеклі атаки гітлерівців.
Так само стійко зустріли ворога бійці 8-го механізованого корпусу під командуванням відомого героя громадянської війни на Дону генерала Д. І. Рябишева. Рішуче діяли танкісти 8-го мехкорпусу. Уміло, використовуючи бойові якості танків КВ і Т-34, вони завдали значної шкоди частинами 3-го німецького моторизованого корпусу.
З початку війни вступила в бій сформована в СКВО 19-а армія під командуванням генерала І. С. Конєва. У першій половині серпня разом з іншими арміями Західного фронту 19-а армія почала наступ і завдала серйозної шкоди ворогові під Єльня. У лавах цієї армії відзначилися ростовці, що складали значну частину її вояків.
Самовіддано працювали ті, хто залишився в місті. На зміну на фронт, приходили підлітки, люди похилого віку, жінки.
10 липня почалося формування Ростовського стрілецького полку народного ополчення. У міру того як ускладнювалася обстановка на фронті, потік заяв про вступ в народне ополчення зростав.
Ополченці у позаробочий час, переважно ввечері, вивчали військову справу, займалися стройовою підготовкою, опановували тактикою бою. Вдень же вони стояли біля верстатів, показуючи високі зразки трудового героїзму.
«Працювати не тільки за себе, але і за товариша, який пішов на фронт. Виконувати щодня не менше двох норм », - було девізом кожного залишився в тилу.
«Все для фронту, все для перемоги!», «Підтримаємо Червону Армію самовідданою працею!» - Під цими гаслами з перших днів війни йшла в Ростові боротьба на трудовому фронті. З кожним днем посилювалася допомогу фронту.
На підприємствах машинобудування налагоджували випуск танкових корпусів, мінометів, снарядів, мін, авіабомб. Підприємства легкої та місцевої промисловості переводили на випуск боєприпасів та стрілецької зброї, спеціальних тканин для парашутів, спорядження, предметів речового та продовольчого постачання армії.
Люди Ростова добре розуміли, що нав'язана їм війна вимагає величезних витрат. Тому окремі громадяни та колективи стали звертатися у відповідні органи, висловлюючи готовність допомогти фронту своїми особистими коштами. Восени 1941 р. трудящі Ростова приступили до збору теплих речей для воїнів армії. У Ростові тільки за п'ять днів було зібрано 530 кожушків, 638 пар валянок, близько 3,5 тис. тілогрійок, 1,1 тис. бурок, 218 тис. шапок-вушанок. До 25 вересня по місту було зібрано понад 47 тис. теплих речей різних найменувань.
Гітлерівці, використовуючи перевагу в танках, наближалися до міста. У запеклих боях безсмертний подвиг здійснила артилерійська батарея 606-го полку 317-ї стрілецької дивізії. Батарея, якою командував старший лейтенант С. А. Оганян, оборону на кургані Бербер-Оба, недалеко від села Великі Сали, який тепер називається Артилерійським.
17 і 18 листопада артилеристи вели важкі бої з ворожими танками. Вони, знищивши десятки машин, загинули на своєму бойовому посту, але не пропустили ворога. Їх героїчний подвиг був високо оцінений. Командирові батареї С. А. Оганяном і політрук С. В. Вавилову посмертно присвоєно звання Героя Радянського Союзу, всі батарейці нагороджені орденами.
21 листопада противник увірвався в місто. Військова рада 56-ї Окремої армії віддав наказ: сполукам відійти на лівий берег Дону і зайняти оборону на південному березі річки. Відхід і переправу через Дон військ 56-ї армії прикривали тридцять третього мотострілецький полк, 230-й полк НКВС і полк народного ополчення. Стійкий опір цих частин забезпечило виведення військ 56-ї армії на лівий берег Дону.
Героїчно билися з ворогом війни 230-го полку НКВС. Перший батальйон, несучи великі втрати, відійшов на лівий берег Дону через переправу на Будьонівському проспекті, другий батальйон відходив по 29-й лінії на Зелений острів. Батальйон не встиг ще зайняти окопи, як по наплавному мосту на острів прорвалися 12 фашистських танків. П'ять годин ворог обстрілював позиції батальйону, пропускаючи вперед танки. Тут зробили сої безсмертні подвиги В. Бондарєв та Г. Огарков. Узявши по зв'язці гранат, вони, знищили два фашистських танки. Маючи невелику кількість гранат і кулеметів, чекісти стояли на смерть. Незабаром артилерія 56-ї армії відкрила по острову вогонь. Фашисти змушені були вивести свої танки з Зеленого острова.
Невмирущою славою покрила себе рота, якою командував лейтенант Льовкін. У районі площі Карла Маркса рота зайняла кілька будинків і перетворила їх на неприступну фортецю. Усі воїни і командир роти билися, як личить героям. У бою лейтенант Льовкін від вибуху гранати втратив зір, але продовжував боротьбу, не пішов з поля бою. За мужність і героїзм Льовкін був нагороджений орденом Червоного Прапора. Кожен будинок, кожен камінь мостових в Ростові зберігає пам'ять про цих боях. 29 листопада 1941 частини 56-й і 9-ї армій повністю очистили Ростов від фашистських загарбників. Під Ростовом були розгромлені 14-я і16-а танкові дивізії, 49-й гірськострілецький корпус, 60-а моторизована дивізія, дивізія СС «Вікінг». Противник зазнав великих втрат у живій силі і техніці. У середньому дивізії ворога втратили від 50 до 70 відсотків особового складу.
Поразка німецько-фашистських військ на Дону і контрнаступ Південного фронту мали величезне і політичне значення. Розгром противника під Ростовом зірвав його плани прорватися на Кавказ і зміцнив становище радянських військ на лівому крилі радянсько-німецького фронту.
До середини липня війська гітлерівських 4-й і 6-ї армій увійшли до великої закрут Дону і зайняли станицю Боковська та міста Морозовськ, Міллерово. Розвиваючи наступ, гітлерівці намагалися оточити і знищити війська Південного і Південно-західного фронтів.
Героїчний опір наших воїнів завадило ворогові здійснити його задуми. Головні сили Червоної Армії були виведені з-під удару противника. Радянські війська відійшли на лівий берег Дону. 24 липня 1942 німецько-фашистські війська знову захопили Ростов.
У місті гітлерівці стали насаджувати так званий «новий порядок» - небувалий за розмахом і жорсткості режим, експлуатації та терору. З перших днів окупації фашисти розпочали плавномерному знищення жителів міста.
Найбільш активними формами боротьби ростовських людей, що опинилися на окупованій території, з'явилися збройна партизанська війна, діяльність підпілля, саботаж населенням політичних, економічних і військових заходів окупаційної влади.
Коли Червона Армія в лютому 1943 р. розгорнула бої за визволення Ростова, підпільники та партизани допомогли їй, вдаривши в тил фашистів.
Самовіддана боротьба партизанів і підпільників у тилу ворога золотою сторінкою увійшла в літопис Великої Вітчизняної війни. Величний подвиг, здійснений ростовськими людьми на окупованій території, показав, що вони в самих важких умовах залишалися вірними своїй Батьківщині.
У ніч на 8 лютого 28-а армія під командуванням генерал-лейтенанта В. Ф. Герасименко почала штурм Ростова. Форсувавши Дон, її війська розгорнули запеклі бої в прибережній частині міста. Особливо успішний наступ вів вільний стрілецький батальйон 159-ї бригади, яким командував старший лейтенант Г. Мадоян, який захопив привокзальний район.
Ворогові не вдалося зломити опір радянських воїнів. Вони утримали захоплений привокзальний район до підходу головних сил.
На захід від залізничного мосту діяли 248-я і 34-а стрілецькі дивізії. Вони визначили звільнення південно-західного передмістя Ростова. В обхід міста із заходу вели наступ кавалерійська група генерала Н. Я. Кириченко, частини 5-го Донського кавалерійського корпусу під командуванням генерала О. Г. Селіванова.
Хоробро билися за визволення Ростова гвардійці-кіннотники з 4-го і 5-го козачих корпусів Дону і Кубані. Вони форсували Дон в районі станиці Єлизаветинської, перерізавши залізницю і шосе Ростов-Таганрог. Батарея 2-го кінно-артилерійського дивізіону під командуванням Д. М. Пескова відбила атаку 16 танків, знищивши при цьому 6 машин і 30 фашистів.
До ранку 14 лютого частини 28-ї армії у взаємодії з 51-ю армією повністю оволоділи Ростовом.