A Santa Casa da Misericórdia de Borba foi fundada como Irmandade do Espírito Santo em 26 de Junho de 1417. Só em Novembro de 1516 se tornou numa Santa Casa da Misericórdia, seguindo o exemplo da instituída em Lisboa. A sua Igreja terá sido a primitiva Matriz de Santa Maria do Castelo. No seu interior, o visitante pode admirar as abóbadas polinervadas, construídas no reinado de D. João III, o retábulo barroco em talha dourada, construído em 1731 pelo mestre entalhador Manuel de Mures, e o órgão de 1771 com a caixa pintada com motivos chineses, da autoria do pintor José de Sousa de Carvalho. Anexa à Igreja da Misericórdia existia o Hospital que, durante séculos, assistia os borbenses mais desfavorecidos. Neste hospital foram também tratados os soldados de várias nacionalidades que se bateram nas batalhas da Guerra da Sucessão Espanhola (1700), Guerra Peninsular (1808) e Guerra Civil (1828/1834). Existiam também casas para os romeiros e viajantes se alojarem enquanto se deslocavam em peregrinação.