En teoría solo tienes que empadronarte en otro sitio si vives más de 180 días consecutivos en ese sitio (y entonces ese año tendrias que pagar tus impuestos ahí en vez de en tu ciudad de origen), si no debes seguir empadronado donde siempre y en el destino eres considerado reseidente temporal.
Si vives más de 180 días en otro pueblo y te empadronas ahí tendrás que devolver lo que hayas desgravado antes.