Wilhelminahofje Bouw, Aan begonnen, maar niet afgemaakt wegens verhuizing