In 1613 had Jan Jansz Oly, een rijke katholieke Amsterdammer, een stuk land gekocht aan de westkant van de stad. Dit deel van de stadsuitbreiding was bedoeld voor minder draagkrachtigen, die in die jaren in grote getale naar de stad kwamen om werk te zoeken. Op dit stuk land zijn in de navolgende jaren de woningen van het Sint Andrieshof en ook andere huizen gebouwd. Voor rijke katholieke families was het een vanzelfsprekende plicht (ook voor hun eigen zielenrust en om een plekje in de hemel veilig te stellen) om voor ouderen en armlastigen te zorgen, zo ook voor de families Oly en Nobel. De bouw van het hofje op een stuk grond van 80 bij 83 voet en 3 duimen werd bestemd voor armlastige vrouwen en werd betaald uit de nalatenschap van een oom van Jan Oly.

In 1617 werd het in gebruik genomen in zijn toenmalige vorm. Een stichtingsakte is er niet, in de tijd was een katholiek hofje verboden. Met de naamgever, Sint Andreas, had de familie een speciale band.
Erfgename Anna de Magistris beheerde het hofje sinds 1652. In 1662 werd zij een Begijn en ging op het Begijnhof wonen. Na haar dood in 1699 ging het beheer over in de handen van de pastoor van het Begijnhof en zijn opvolgers.