De eerst bekende bewoner van dit pand was in 1573 Jan Pater, naar wie het straatje Patersteeg werd genoemd. In 1674 woonde er de adellijke weduwe van Twickelo, die er Fransiscaner paters huisvestte en in die tijd heette het straatje Twickelosesteeg. Jonkheer Johan Theodoor toe Boecop die in 1690 eigenaar werd van dit pand verbouwde het tot een 'paepsche kercke'. In die tijd was de naam Blauwehandsteeg al ingeburderd, naar het hoekpand aan de Oudestraat, dat de Blauwe Hand heette. Ten tijde van de restauratie in de jaren 50 was het pand in eigendom van de NV Sigarenfabriek La Bolsa.