Hola, la primer respuesta es NO!, pero como siempre en el mundo de la informatica siempre hay alguien que inventa algo.
En realidad con algo de electronica de simulación de una linea telefonica y conocimientos en programación y comando AT de manejo del modem podrias realizar una interface "experimental" (realzo lo de experimental) ente dos PCs.
De ahi a usar el modem como una interface rs-232 olvidalo, el modem, como lo indica su nombre, es un modulador-demodulador, es decir su forma de conexión es analogica, traduce lo digital para que viaje por un medio analogico y viceversa.