Mendes was een veelbelovend klassiek pianist, maar raakte geïnteresseerd in jazz. Hij begon eind jaren 50 te spelen in nachtclubs tijdens de opkomst van de bossa nova. Mendes speelde met Antonio Carlos Jobim, die tevens als zijn mentor wordt gezien, en vele andere jazzmuzikanten door heel Brazilië.

Mendes vormde de groep Sexteto Bossa Rio en nam het album Dans Moderno op in 1961. Hij begon te touren door Europa en de Verenigde Staten, Mendes nam albums op met Cannonball Adderly en Herbie Mann en speelde in de Carnegie Hall. Mendes ging in de Verenigde Staten wonen omstreeks 1964 en nam twee albums met de groep Brazil '65. Toen de verkoop van het nieuwe album tegenviel, verving hij de Braziliaanse zangeres Wanda da Sah door de talentvolle Lani Hall. Daarmee nam hij het album op Sergio Mendes and Brasil '66.

Het album werd platina dat grotendeels was gebaseerd op het succes Mas Que Nada. Na deze baanbrekende plaat, ging Mendes commerciëlere nummers maken. Zo coverde hij het beroemde nummer van Burt Bacharach en Hal David The Look of Love wat meteen in de top 10 stond. Daarna volgden de covers van The Fool on the Hill (The Beatles) en Scarborough Fair (Simon and Garfunkel). Dit werden grote hits. Hierna zou hij jarenlang geen grote hits meer hebben tot Never Gonna Let You Go in 1983.

Sinds 1968 is Sergio Mendes de grootste Braziliaanse ster van de wereld. Hij trad onder meer op in het Witte Huis voor President Johnson en President Nixon.

De carrière van Mendes was over z'n hoogtepunt in de jaren 70, maar hij bleef zeer populair in Zuid-Amerika en Japan. Hij bleef de Braziliaanse muziek ontwikkelen, met onder andere Stevie Wonder, die de R&B-hit The Real Thing schreef. In de jaren 80 maakte hij weer succesvolle platen maar z'n echte succes komt pas met z'n album Brasileiro in 1992. Daarmee won hij een Grammy. In de jaren 90 ging hij albums maken zoals hij in het begin met Brasil '66 maakte. En ook anno 2006 lijkt Sergio Mendes weer de oude weg in te slaan met het album Timeless. Met sterren Stevie Wonder, Will.i.am, The Black Eyed Peas en vele anderen brengt hij oude nummers uit in een nieuw jasje.