Hola RICHI777,
No entiendo bien tu pregunta, creo que lo que quieres es una distro sin la interfez gráfica, si es eso, pues puede ser cualquiera, todas las distribuciones pueden ser muy simples o muy complejas, e instalar el interfaz grafico o no.
Quizá te recomiendo debían para este uso.
Ahora, si lo que buscas es una distro, donde solo instales lo que tu quieres, y además compilado para tu propio ordenador (nada de precompilaciones todo compilado desde código fuente) puedes probar con gentoo, pero pfff gentoo son palabras mayores, hasta los expertos en linux se les hace dificil, ya que básicamente te estas haciendo un sistema operativo a medida.puede ser lo mas simple posible a lo mas complejo y tu ordenador ira mejor que nunca ya que el sistema estará compilado para tu propio equipo.
Tiene tanto nivel de optimización que puedes elegir que trozos de kernel a compilar y cual desechar. Pero como te digo si te metes en esto lo vas a pasar mal hasta que lo hagas andar. Te lo digo por experiencia (aunque merece la pena por lo que aprendes, y por lo bien que va luego el ordenador)
En cuanto a maquina virtual, a mi me gusta mas virtualbox, que es totalmente gratis y muy buena.
Si lo que buscas es un servidor también te recomiendo debían
Un saludo. No se si es exactamente lo que quieras saber.