Walkersaich wurde bereits 963 erstmals urkundlich erwähnt und gehörte damals zur Hofmark Zangberg.

Im Zuge der Gebietsreform ist Walkersaich 1973 in die Gemeinde Schwindegg integriert worden.

Das ehemalige Schloss, in dem sich heute die Schlosswirtschaft Walkersaich befindet, wurde 1602 von Hanns Christoph von Puech, dem damaligen Hofmarksherrn, erbaut.

Der relativ einfache, zweigeschossige Walmdachbau hat einen mit Gewölbe versehenen Hausgang (Fletz) und im zweiten Stock teilweise noch erhaltenen Stuckdecken aus dem späten 17. Jahrhundert.