Как вернуть предоплату за квартиру?

Добрый день! Мы решили купить квартиру, вторичка, ипотека. Заключили с агентом Продавца "договор предварительной оплаты" на 50 000 руб "в счет оплаты объекта и в обеспечение обязательств по совершению сделки". Банк рассматривал заявку в течение месяца.
До подписания договора мы смотрели квартиру. Нас предупредили, что есть неузаконенная перепланировка: кухня-гостиная, увеличение ванной комнаты в коридор и объединение лоджии с комнатой. Нас это устроило, т к с доработками это можно узаконить. Это все было месяц назад.
За день перед сделкой выяснилось, что Продавец увеличил и достроил лоджию. Агент об этом не знал. Для нас это была неприемлемая перепланировка и мы отказались от сделки.
Теперь они хотят вычесть из предварительной оплаты свои расходы.
Как заставить вернуть полную предоплату и оплатить наши расходы? Есть ли смысл идти в суд?
Если бы они сказали сразу об этом - мы отказались бы от покупки сразу.
Из документов только договор предоплаты, в котором ни слова про перепланировку.
Спасибо!