Vai depender do conteúdo da ação. Dependendo do conteúdo será a justiça federal aí atuará como defensor a defensoria pública federal, mas se for competencia da justiça estadual, a defensoria pública do estado.

Sim, mas nesse caso também não caberia o que está no artigo 109, parágrafo 3°da CF? Sou leigo no assunto mas andei pesquisando, porém não achei nada específico

Corroboro o que disse o colega. Açãoes contra a Caixa São de competencia da justiça federal, os tribunais superiores interpretam a constituição, portanto é só cumprir, procure a defensoria pública federal mais proxima, se não tem em sua cidade, deve ter uma cidade polo.