Михай Гимпу родился 19 ноября 1951 года в селе Колоница Кишинёвского района Молдавской ССР. По его словам он — румын[2]. Закончил Кишинёвский государственный университет, по специальности юрист, работал адвокатом и шефом адвокатского бюро «Кредо». В 1978—1990 годах работал юристом, возглавлял юридические отделы различных предприятий, а также являлся судьёй одного из административных секторов Кишинёва[3].
В конце 1980-х годов стал одним из основателей Народного фронта Молдовы (НФМ). В 1990 году был избран в парламент и вошёл во фракцию Народного фронта. Покинул организацию в 1993 году. В 1994 году был избран членом молдавского парламента от Блока крестьян и интеллигенции. В 1997 году Гимпу возглавил созданную в 1993 году Партию Реформ (ПР). В апреле 2005 года партия изменила своё название и стала именоваться Либеральной партией Молдавии (ЛП). С 2007 по 2008 год являлся председателем муниципального совета Кишинёва[3].