Els caputxins van arribar a la ciutat gràcies a la voluntat del bisbe Joan Terés (1587-1603), que els va cedir l'esglèsia de Sant Fructós i també va participar en les despeses per la seva adaptació com a convent al 1589 amb l'arribada dels primers frares.
Donada la construcció simple de l'edifici i que no reunia les condicions necessàries, de 1617 a 1626 es duen a terme obres d'ampliació i millora. Finalment al 1639 abandonen l'edifici i busquen nou emplaçament on aixecar una nova casa. La tasca no va ser fàcil per la falta d'autorització i l'ocupació de la ciutat durant la Guerra dels Segadors al 1641 que va comportar la destrucció del poc que havien construït i de l'antic edifici.
Provisionalment són acollits a l'Hospici de Nens Orfres fins que finalment aixequen l'edifici i s'hi traslladen al 1662. La nova esglèsia queda dedicada a Sant Fructuós i Santa Tecla amb inauguració al 1670.
Amb l'ampliació del Barri del Port que arribava i arriba fins el carrer on està l'edifici i del que hi rep nom, es causen molèsties als frares per l'extracció de pedra. Al 1800 es traslladen a uns antics magatzems fins a aixecar nou edifici en terrenys del senyor Castellarnau. Al 1802 es col.loca la primera pedra del nou convent dirigit pel frare Jeroni de Vilabertran. Es traslladen al 1805.
Durant la Guerra de la Independència, el convent s'utilitza com a Hospital Militar fins al 1809. L'edifici resulta atacat i danyat al 1811. Curt episodi d'exclaustració al 1823 i al 1835 es veuen obligats a abandonar-lo per la desamortització. La parroquia queda sota l'advocació de Sant Joan desde 1840.
Els caputxins viuen un temps més a Tarragona amb nou emplaçament a la Rambla Nova i en altres indrets fins al 2007.
Fonts: Cardona, Pere. 'El Convent de frares menors caputxins a la ciutat de Tarragona' (1589-1989). Aproximació històrica. Tarragona: Diputació de Tarragona, 1994.