阜阳市历史悠久，人文蔚盛。历史上以颍州（今阜阳市区）为中心的南部开发较早。西周以后，在今阜阳境内即建立了妫姓的胡子国，临泉境内的沈子国，颍上境内的慎等。春秋战国时，又出现了太和原墙的原阳，倪邱的新，临泉的寝等县邑。由此地域概念逐渐形成。秦代始置汝阴县，汉属汝南郡。三国魏置阴郡。北魏孝昌四年（公元532年）置颍州，隋设汝阴郡，唐设颍州，宋设顺昌府，元属汝宁府，明属凤阳府。清为颍州府。清雍正十三年，颍州更名阜阳。中华人民共和国成立后，设立阜阳地区专员公署，下辖八县一个行政办事处。 历史上颍、亳两州南北相望，随着封建政权更迭，而隶属不一，形成了两个既互相联系又相对独立的经济、政治、文化中心。明代洪武六年（公元1372年），颍、亳二州首次并为统一版图，“省谯县入亳州，寻降亳州的亳县，属颍州”。弘治九年（公元1496）亳县复升为州，与颍州为颍州府，又降亳州为亳县，正式纳入颍州管辖之内，形成了东西四百里，南北七百里的广大地域。不仅包括今阜阳市、亳州市全境，而且含今六安地区霍丘县的大部分地界。1998年2月，亳州市从阜阳市划出，由省直辖。2000年5月，国务院批准设立地级亳州市、涡阳、蒙城、利辛三县划归亳州市管辖。目前，阜阳市辖界首市和太和、临泉、颍上、阜南四县及颍州、颍泉、颍东三区。