Alumno de José Romero y de Eduardo Cano en su ciudad natal, José Villegas y Cordero trabajó como copista en el Museo del Prado de Madrid y se formó en el estudio de Federico de Madrazo gracias a la ayuda de sus padres. A los veinte años marchó a Roma, donde residiría largas temporadas, en contacto con otros maestros de su generación como Fortuny, Pradilla o Rosales. En la capital italiana, tras pasar por diversos estudios y domicilios, su éxito comercial le permitió construirse una suntuosa casa de estilo hispanomusulmán en 1887, que acabaría por convertirse en un cenáculo de referencia entre los círculos artísticos y la sociedad romana del momento. En 1888 fue nombrado director de la Academia de España en Roma y entre 1901 y 1918 ejerció el cargo de director del Museo del Prado, donde tuvo ocasión de presentar las primeras exposiciones monográficas de la historia de la institución, dedicadas al Greco (1902) y Zurbarán (1905).

Aunque permaneció activo después de su salida del Museo del Prado, hacia primeros de 1921, las crónicas recogen que se encuentra recluido y aquejado de una progresiva pérdida de visión. Falleció en Madrid el 10 noviembre de ese mismo año.