"E se ele chama a policia ele terá algum respaldo legal para me tirar de lá imediatamente"
R: Luis, sendo essa pessoa a proprietária do imóvel, sim, ela pode chamar a policia e acusá-lo de invasão e vc ir dormir no chilindró.
"...ou ao longo do tempo "
R: Neste caso ela,como propreitária, aciona a justiça e requer sua saída.
A questão é que vc não sabe se ela é ou não a proprietária.
O fato do imóvel estar deteriorado ou a pessoa o estar enchendo de lixo não é motivo para invasão, deve comunicar às autoridades competentes para que tomem as medidas cabíveis, que incluirá multas ao proprietário.
Não se esqueça: invasão de domicílio é crime (não importando em que estado está o imóvel), dá cana. Veja o que diz o CP:
Art. 150 - Entrar ou permanecer, clandestina ou astuciosamente, ou contra a vontade expressa ou tácita de quem de direito, em casa alheia ou em suas dependências:
Pena - detenção, de um a três meses, ou multa.
§ 1º - Se o crime é cometido durante a noite, ou em lugar ermo, ou com o emprego de violência ou de arma, ou por duas ou mais pessoas:
Pena - detenção, de seis meses a dois anos, além da pena correspondente à violência.
§ 2º - Aumenta-se a pena de um terço, se o fato é cometido por funcionário público, fora dos casos legais, ou com inobservância das formalidades estabelecidas em lei, ou com abuso do poder.
§ 3º - Não constitui crime a entrada ou permanência em casa alheia ou em suas dependências:
I - durante o dia, com observância das formalidades legais, para efetuar prisão ou outra diligência;
II - a qualquer hora do dia ou da noite, quando algum crime está sendo ali praticado ou na iminência de o ser.
§ 4º - A expressão "casa" compreende:
I - qualquer compartimento habitado;
II - aposento ocupado de habitação coletiva;
III - compartimento não aberto ao público, onde alguém exerce profissão ou atividade.
§ 5º - Não se compreendem na expressão "casa":
I - hospedaria, estalagem ou qualquer outra habitação coletiva, enquanto aberta, salvo a restrição do n.º II do parágrafo anterior;
II - taverna, casa de jogo e outras do mesmo gênero.