José Pereira iniciou os estudos musicais na Banda Musical Lanhelense. Mais tarde, estudou na Escola Profissional de Música de Viana do Castelo, com Armando Gonzalez, e na Academia Nacional Superior de Orquestra, com Aníbal Lima. Frequentou masterclasses com Serguei Arantounian, Nicolas Chumashenco, Anotoli Swarzburg, Evélio Teles, Aníbal Lima, Gerardo Ribeiro, Lee-Chin Siow, Ilian Gronniz, Serguei Kravechenco, Vadim Répin e Thomas Brandies, entre outros. Em 2003 e 2004 recebeu, respetivamente, o 2.º Prémio e o 1.º Prémio em Violino – Nível Superior no Prémio Jovens Músicos da RDP – Antena 2.

Já trabalhou com os maestros Peter Rundel, Emilio Pomárico, Brad Lubman, Paul Hillier, Michael Sanderling, Olari Elts, Joseph Swensen, Stefan Asbury e Peter Etvoos, entre outros. Tocou com orquestras como a Orquestra Sinfónica do Porto Casa da Música, a Orquestra Metropolitana de Lisboa, a Orquestra Gulbenkian, a Orquestra Académica Metropolitana, a Orquestra Pedro Álvares Cabral e a OrquestrUtópica, entre outras. É membro fundador do Ensemble Contrapunctus e do Webern Trio, e apresenta-se regularmente com o Sond’Art Electric Ensemble, o Ensemble Darcos e o Musik Fabrik de Colónia. Em 2014 tocou a solo com a Orquestra de Sopros do Departamento de Comunicação e Arte da Universidade de Aveiro e com a Orquestra Clássica de Espinho.

Para lá de já se ter apresentado em todas as principais salas de concerto nacionais, e de integrar regularmente a programação dos principais festivais de música portugueses, também atuou em Valência, Roterdão, Huddersfield, Barcelona, Estrasburgo, Paris, Orleães, Bourges, Reims, Antuérpia, Madrid, Budapeste, Norrköping, Viena, Witten, Berlim, Amesterdão, Colónia, Zurique, Luxemburgo e Bruxelas. Em 2011, com o Remix Ensemble, apresentou-se no Wiener Festwochen (Viena), no Festival Agora (IRCAM – Paris) e, em 2012, no Festival Música de Estrasburgo e na Filarmónica de Berlim. É também com o Remix Ensemble que tem vários discos editados, com obras de Pauset, Azguime, Côrte-Real, Peixinho, Dillon, Jorgensen, Staud, Nunes, Bernhard Lang, Pinho Vargas, Wolfgang Mitterer, Karin Rehnqvist, Pascal Dusapin e Luca Francesconi, sendo que o disco dedicado a Dusapin mereceu destaque na revista Gramophone, sendo incluído na lista da Escolha dos Críticos de 2013.

Entre os principais projetos mais recentes, destaca-se a participação a solo com a Orquestra Metropolitana de Lisboa, a participação como Concertino Convidado na Orquestra Basel Sinfonietta, a estreia mundial da ópera Giordano Bruno de Francesco Filidei pelo Remix Ensemble Casa da Música, no Porto e em Estrasburgo, e também a estreia mundial de RI-TRATTO para violino solo, do compositor Heinz Holliger.

Atualmente, José Pereira é membro do Remix Ensemble Casa da Música, 2.º Concertino na Orquestra Metropolitana de Lisboa e professor de Violino na Academia Nacional Superior de Orquestra.