Вернут ли нам деньги в данной ситуации?

Мы купили дом за материнский капитал с доплатой, документы все оформили на меня и моих детей, с условием что к концу июня оставшуюся сумму мы внесём, но мы не успеваем отдать все, хозяин хочет сделку отменить, но та сумма которую мы уже отдали остаётся у него, или он должен её вернуть? По документам дом мой и моих детей, доли тоже расписаны на мою семью, у нотариуса все заверено, в том числе и сделка о том что мы должны внести деньги до июня, то есть договорённость письменная