Se tem como ele falar mal? Logico que tem...agora o que fez ou faz fora do serviço nao vai interferir em nada no emprego.

Mais eu posso entrar com medida de difamação? Acho que seria isso

A questão é: ele já disse ou fez algo contra você no seu ambiente de trabalho? Te agrediu? Ten ofendeu? Te ameaçou? Falou mal de você? Tem medida protetiva contra ele?

Se a reposta é não, você não faz nada. O simples fato de ele ingressar nas dependências de um órgão público (e se é PÚBLICO é por ser acessível a TODOS) em que você trabalha não dá ensejo a nenhuma conduta sua.

Ele falou mal de mim para um colega de trabalho (que é amigo do irmão dele) e com isso gera muita chacota, indireta. Estou tentando gravar. Isso caberia a medida projetiva?

Impedir ele de ir na repartição publica dificilmente o juiz ira atender.