La Casa Amarilla, de centro de investigación a ruina