Wie mehrere Dolmen in der Umgebung des Ortes beweisen, war die Gegend bereits im 4. Jahrtausend v. Chr. von Angehörigen der jungsteinzeitlichen Megalithkulturen besiedelt. Wegen seines Naturhafens könnte Port-Vendres eine phönizische oder griechische Gründung sein, doch bislang wurden keine diesbezüglichen archäologischen Spuren entdeckt, was auch für die römische Zeit gilt.

Im 18. Jahrhundert erlebte der Hafen die Stationierung von Kriegsschiffen und der gesamte Ort wurde modernisiert. Während des katalanischen Rückzugs (retirada) im Spanischen Bürgerkrieg lagen zwei Sanitätsschiffe im Hafen von Port-Vendres; vom 12. November 1942 bis zum 19. August 1944 war der Ort von deutschen Soldaten besetzt.

Port-Vendres isr der größte Fischereihafen des Roussillon.