Como você tem 20 anos, é considerado plenamente competente para tomar decisões sobre seus bens.
Se o celular é de sua propriedade (ou seja, está registrado em seu nome ou você o comprou), seu pai não tem o direito de retirá-lo de você, especialmente se foi feito de maneira coercitiva.
A primeira e mais recomendada abordagem é tentar resolver a situação de forma amigável. Uma conversa aberta e respeitosa pode ajudar a esclarecer a situação.
Se a conversa não for bem-sucedida e você se sentir injustamente prejudicado, você poderia considerar entrar com uma ação de reintegração de posse, solicitando a devolução do celular. No entanto, isso pode gerar um conflito familiar e ter consequências mais profundas no relacionamento com seu pai.
É sempre bom contar com a orientação de um advogado que possa avaliar sua situação específica.
Como você é maior de idade, seu pai não tem o direito legal de tomar seus pertences, como o celular, a não ser que exista algum motivo legal relevante. Essa ação pode ser considerada inadequada, principalmente se feita de forma coercitiva. Sugiro que primeiro tente resolver a situação de forma amigável, conversando com ele e buscando um entendimento.
Se isso não for possível e você sentir que seus direitos estão sendo violados, você pode buscar assistência jurídica para recuperar o bem e até questionar a atitude dele. Dependendo da situação, pode-se entrar com uma medida legal para garantir seus direitos de propriedade.
Você não nos diz qual foi o conflito que levou o seu pai a tomar essa atitude. Não estou dizendo que é o seu caso, mas se algum morador da residência comete crimes, pode dar "BO" para os demais moradores.
Já que a relação com o seu pai está tão ruim, considere sair da casa dele e viver por sua própria conta.
Apenas lembrando que o seu pai, na provável e presumível posição de proprietário da casa onde moram, também pode se valer do direito de propriedade e exigir que você saia.
Afinal de contas, com 20 anos de idade você já é plenamente capaz e único responsável por si mesmo.
Nesse caso, vale a "lição" do "Tio Ben" (personagem do filme "Homem-Aranha"): "com grandes poderes, há grandes responsabilidades".