Тогда, видимо, было бы правильнее написать не "Правда их не выборами тогда называли, а голосованием", а ""Правда, мои бабушка и дедушка их не выборами тогда называли, а голосованием".
И никакого недопонимания не возникло бы.