pode se tratar com antibiótico de tempos em tempos para evitar que a erisipela volte?

Isso não tem indicação pois o antibiotico só resolve as infecções existentes no momento de seu uso de não tem poder de prevenir nem de tratar após a sua suspensão.
Além disso o uso prolongado de antimicrobianos traz outras complicações como as relacionadas à sua toxicidade, a mudança de toda a flora microbiana normal e protetora do corpo, matando as bactérias que nos protegem e selecionando bactérias resistentes entre as que causam doenças sendo assim, ele não só não previne infecções subsequentes como faz com que as próximas sejam por bactérias mais fortes.
O que se pode fazer para prevenir é avaliar e controlar fatores de risco como edema, diabetes, sedentarismo, insuficiência venosa, etc.