Zrujnowany zabytkowy dwór Olszynka nie miał szczęścia do kolejnych właścicieli. Obiektem zainteresowany był nawet właściciel znanych gdańskich piekarni Grzegorz Pellowski. Miasto próbowało sprzedać bezskutecznie budynek, jednak wszystkich odstraszały ceny remontów zabytku.
Sam zespół dworski powstał w latach 1799-1802.
