Contrato imoveis pessoas fisicas

Comprei um apartamento a um ano e meio de um colega meu. No contrato eu sou obrigado a pagar R$ 25.000,00 dividido em 10 parcelas mensais de R$ 2.500,00 e assumo as prestações que são debitadas na conta dele e os demais custos com o imóvel.
Meses depois a empresa em que trabalhava passou por uma crise financeira, parou de me pagar e fui demitido. Devido a isso, atrasei os cheques e as prestações e aconteceu inclusive de atrasar três condomínios que ele pagou por mim. No contrato diz que em caso do não pagamento, tudo o que foi pago fica como indenização de aluguel e mora. Para não tomar o apartamento, o vendedor me cobrou um juros de 5% ao mês nas prestações, cheques e nos três condomínio que ele pagou. Consegui pagar tudo o que devia a ele, exceto os dois últimos cheques que venceram a uns seis meses. Como os dois últimos cheques ficaram muito caros, pedi um parcelamento, mas ele não aceitou e me propôs o seguinte, dos R$ 20.000,00 que paguei de entrada, ele me devolve metade em 10 parcelas ou entra na justiça para encerrar o contrato e não pagar nada.
Outro ocorrido foi a questão dos recibos, que o mesmo não me deu e cobrei e ele não me responde. A única coisa que me deu foi uma planilha com os débitos e algumas prestações pagas, mas sem assinar, onde mostra o caminho do arquivo no computador dele. No caso dos cheques, ele devolvia meu cheque quando eu passava o dinheiro e as prestações como era débito em conta, ele nunca me deu um recibo ou me mostrou o documento do banco, apenas a planilha.
Conversei com ele para devolver o dinheiro pago na estrada sem o juros e juntar para dar os R$ 25.000,00 de uma vez, mas o mesmo disse que o apartamento tinha valorizado 20% e teríamos que ver outro valor se quebrasse o contrato.
Esse apartamento é a única moradia minha, de minha mulher e nosso filho que está com um mês e meio de nascido.
Diante dessa situação, o que posso fazer?