Quizás dpaladin se refiere a que cualquier código un poco largo que introduce en la rutina de gestión de la propia interrupción le deteriora la cuenta de 1 segundo.
Si tienes la interrupción programada para que salte cada segundo, saltará cada segundo, ejecutará la rutina de gestión de la interrupción, y volverá a iniciar la cuenta de 1 segundo. Consecuentemente, si la rutina de gestión de la interrupción es larga, se introducirá un retraso.
Para evitarlo, procura que la rutina de la interrupción sea lo menor posible; generalmente se asigna simplemente un valor a una variable que actúa como bandera, y luego se detecta desde el programa principal que se ha activado esa bandera se actúa en consecuencia y se vuelve a resetear su valor.
Dpaladin, quizás si pusieras tu código podríamos ayudarte con más criterio.