Bueno que se caliente es normal, son 18A, ¿para cuantos amperios es ese mosfet? ¿se calianta al arrancar o siempre?, mide que V cae entre source y drain.
Una solucion simple es ponerle dos en paralelo, asi repartiran la I y se calentaran menos.
Si se calienta al arrancar el motor, puedes hacerle una "rampa de aceleracion" dandole 20% un segundo despues 40% 60% 80% y a tope, creo que podria resultar.
Veo en el esquema que tienes dos botones arrancar y parar, pero no incrementar y decrementar, o un potenciometro para variarle la velocidad.