Más estabilidad no se puede conseguir; son osciladores muy variables con la temperatura y muy sensibles al ruido electrónico.
Lo que sí puedes hacer es calibrarlo a tu gusto, dentro de los parámetros que marca la datasheet (-12% a +10,5%) y que puedes ver en la página 143 (tabla 21-4).
Otra opción, que no sé si el bootloader permite, es bajar la velocidad de la comunicación, disminuyendo así la criticidad del oscilador sobre la estabilidad de la comunicación.