Андрій Петрович Єршов народився в Москві в 1931 р. Закінчив механіко-математичний факультет Московського Державного Університету в 1954 р. за спеціальністю обчислювальна математика, є учнем Олексія Андрійовича Ляпунова. Будучи студентом четвертого курсу прослухав цикл лекцій "Принципи програмування", прочитаний Ляпуновим, і багато в чому визначив вибір програмування в якості життєвого шляху. У той же самий час Андрій Петрович почав працювати в ІТМіВТ АН СРСР, беручи участь у підготовці прийомних випробувань машини БЕСМ. Їм була розроблена в якості тестової задачі програма поводження матриці.
У 1954 році Єршовим у співавторстві з колегами були написані перші програми трансляції арифметичних виразів в машинні коди. У цьому експериментальному прообразі компіляторів вираження, перш ніж передати їх на обробку в ЕОМ, доводилося вручну переводити в двійкове або вісімкове подання, оскільки машини тих років не мали пристроїв введення символьної інформації
З 1957 року Єршов завідував відділом автоматизації програмування в ОЦ АН СРСР. А починав він з розробки алгоритмів, чисельних методів і стандартних програм для БЕСМ і "Стріли".
На другому році навчання в аспірантурі він приступив до організації відділу теорії програмування в ОЦ АН СРСР. Виконані ним дослідження зі створення програмує програми для БЕСМ були опубліковані в 1958 р. Їх результати склали першу в світі монографію з автоматизації програмування.
Поряд з науковою діяльністю Єршов з перших же кроків занять програмуванням брав участь у процесі викладання: ще студентом на прохання С.А. Лебедєва читав лекції з програмування для розробників БЕСМ, а в 1957 р. вперше з його участю були організовані заняття зі студентами на мехматі.
На запрошення академіка С.Л. Соболєва в 1960 р. Єршов починає працювати завідувачем лабораторії в Сибірському відділенні АН СРСР. Надалі переходить на роботу до створеного ПЦ, СВ АН СРСР, з яким і пов'язана його науково-педагогічна робота. Основні напрямки його діяльності пов'язані з питаннями автоматизації програмування та проблемами теоретичного програмування, об'єктами якого служать математичні абстракції програм. Його перу належать багато статей у вітчизняних та зарубіжних наукових виданнях і ряд книг. У 1970 р. був обраний членом-кореспондентом, а в 1984 р. академіком АН СРСР. Зарубіжні колеги удостоїли його честі і обрали членом ACM (1965 р.) і почесним членом Британського товариства з обчислювальної техніки (1974 р.).
Андрій Петрович брав активну участь у науковому житті в країні і за кордоном, його часто можна було бачити серед організаторів і виступаючих на семінарах, симпозіумах та інших заходах. Його доповіді викликали незмінний інтерес і нерідко служили приводом для широких обговорень. Так на Другій всесоюзній конференції з програмування в 1970 р., проходила в Академмістечку в Новосибірську, він переконано відстоював тезу, що програма нарешті стала товаром, і це вимагає відповідного ставлення з боку держави як до продукту, так і до його творця - програмісту.
Андрій Петрович Єршов був обраний віце-президентом конгресу IFIP, членом редакційних колегій багатьох наукових видань та Головою Наукової ради з комплексної проблеми "Кібернетика" АН СРСР.