Родился 7 сентября 1948 г. в с. Ванновское Тбилисского района Краснодарского края в рабочей семье. Отец в годы Великой Отечественной войны был разведчиком, мать работала в санчасти в Сталинградской области.
В 1971 г. окончил Саратовский монтажный техникум Минмонтажспецстроя СССР, в 1984 г. - заочное отделение Ростовского инженерно-строительного института (ныне - в составе Донского государственного технического университета) по специальности "промышленное и гражданское строительство, инженер-строитель".
Кандидат юридических наук. В 2006 г. в Московском гуманитарном университете защитил диссертацию на тему "Регламент Государственной думы как нормативно-правовая основа деятельности парламента России".
После школы подал документы на факультет автоматики и телемеханики Саратовского политехнического института, но экзамены не сдал. В 1967 г. был призван в армию. До 1969 г. служил связистом в ракетных войсках стратегического назначения.
С 1971 г. по 1986 г. работал в тресте "Спецжелезобетонстрой" Министерства монтажных и специальных строительных работ СССР. Занимал должность главного инженера предприятия. Участвовал в строительстве Волжской ТЭЦ, Каширской ГРЭС, Архангельского ЦБК, Норильского ГМК и др. объектов. Одновременно учился на заочном отделении Норильского индустриального института, но был вынужден оставить вуз из-за перевода на другое место работы.
В 1986 г. переехал в Московскую область. С января по октябрь 1986 г. работал в системе треста "Мособлсельстрой №4" Главного управления по строительству в Московской области (Главмособлстроя).
В ноябре 1986 г. возглавил трест "Кашира-агропромстрой" агропромышленного комплекса "Каширский" Министерства сельского хозяйства РСФСР.
В декабре 1991 г. постановлением главы администрации Московской области Анатолия Тяжлова был назначен главой администрации Каширского района.
17 декабря 1995 г. участвовал в выборах депутатов Госдумы РФ второго созыва. Был выдвинут движением "Наш дом Россия" по Коломенскому избирательному округу №106, однако в нижнюю палату парламента не прошел (занял третье место среди 17 претендентов; депутатом от округа стал кандидат от КПРФ Герман Титов).
В марте 1996 г. избран главой муниципального образования "Каширский район". Полномочия Ковалева как главы района были прекращены досрочно в декабре 1999 г. в связи с избранием в Госдуму РФ.
В 1999-2007 гг. - депутат Государственной думы Федерального собрания РФ III, IV и V созывов.
19 декабря 1999 г. избран депутатом Государственной думы РФ III созыва от Межрегионального движения "Единство" (№3 в региональной группе "Центр"). Входил в думскую фракцию "Единство - Единая Россия". В 2000-2001 гг. являлся заместителем председателя комитета Госдумы по вопросам местного самоуправления, с мая 2001 г. - заместителем председателя комиссии по геополитике. В январе 2002 г. возглавил комитет по регламенту и организации работы Государственной думы.
На президентских выборах 2000 г. был доверенным лицом Владимира Путина.
В сентябре 2003 г. вошел в общефедеральный список партии "Единая Россия" для участия в выборах в Госдуму РФ IV созыва. 7 декабря того же года был избран депутатом нижней палаты парламента. Входил в партийную фракцию. Занимал должность председателя комитета по регламенту и организации работы Госдумы.
2 декабря 2007 г. избран депутатом Госдумы РФ V созыва в составе федерального списка "Единой России" (номер 5 в региональной группе № 54, Московская область). Входил в одноименную фракцию. Возглавлял комитет по регламенту и организации работы Государственной думы. Депутатские полномочия были прекращены досрочно 11 апреля 2008 г. в связи с наделением Олега Ковалева полномочиями главы Рязанской области.
14 марта 2008 г. утвержден в должности губернатора Рязанской области депутатами облдумы по представлению президента РФ Владимира Путина. 12 апреля того же года официально вступил в должность. Сменил на посту руководителя региона Георгия Шпака.
10 июля 2012 г. глава государства принял досрочную отставку Олега Ковалева и назначил его временно исполняющим обязанности главы Рязанской области до вступления в должность избранного руководителя региона.
В единый день голосования 14 октября 2012 г. Олег Ковалев был избран губернатором Рязанской области, получив 64,43% голосов избирателей (баллотировался от "Единой России"). За его ближайшего соперника, кандидата от КПРФ Владимира Федоткина, отдали голоса 21,92%. 19 октября того же года Олег Ковалев официально вступил в должность губернатора. В рейтинге эффективности глав российских регионов, составленном Фондом развития гражданского общества в июне 2016 г., входил в третью группу руководителей субъектов РФ (т. н. средний рейтинг). Делил 65-69 места с главами Кабардино-Балкарской Республики, Новосибирской, Курской и Архангельской областей Юрием Коковым, Владимиром Городецким, Александром Михайловым и Игорем Орловым, с которыми набрал одинаковое количество баллов - 52.
14 февраля 2017 г. досрочно сложил полномочия губернатора области. В тот же день был подписан соответствующий указ президента РФ. Врио главы региона стал депутат Госдумы РФ Николай Любимов.
После ухода с поста руководителя Рязанской области стал советником врио губернатора региона Николая Любимова на общественных началах.
19 сентября 2017 г. постановлением избранного губернатора Рязанской области Николая Любимова был наделен полномочиями члена Совета Федерации РФ, представителя от исполнительного органа власти области.
Входит в состав регионального политического совета отделения партии "Единая Россия" в Рязанской области.
Общая сумма декларированного дохода за 2015 г. составила 4 млн 315 тыс. руб.
Общая сумма декларированного дохода за 2017 г. составила 5 млн 476 тыс. руб.
Общая сумма декларированного дохода за 2018 г. составила 8 млн 820 тыс. руб.
Награжден орденами Дружбы (2002), "За заслуги перед Отечеством" IV и III степеней (2005, 2008), Почета (2013).
Заслуженный строитель РФ (1997).
Женат, имеет троих детей. Супруга - Ольга Алексеевна Мишина, бывший помощник депутата Госдумы, возглавляла Межрегиональный нефтяной союз, была вице-президентом Российского топливного союза; с 2006 г. работала в Федеральном агентстве по государственным резервам. Сын - Андрей, предприниматель, совладелец ряда компаний (ООО "Торговая компания Кит", "Галерея вин" и др.). Дочери Наталья и Дарья.