Vibonese calcio, la svolta non arriva