desmontar driver

Hola amigos del foro

Mi problema es el siguiente:
Tengo una maq virtual en linux la cual tiene como SO huesped WinXP, esto con el proposito de experimentar con redes, hasta ahora he logrado enmascarar la conexion a internet para compartirla desde linux a win, ahora quiero hacerlo a la inversa, el problema es que uso un modem externo USB, mi sistema linux, al conectarlo, lo reconoce y le asigna controlador inmediatamente, lo que bloquea el reconocimiento de este en el SO de la maq virtual, lo que yo quisiera es lograr de alguna manera desmontar el controlador del modem, o parar el demonio o servicio que reconoce y asigna el driver del modem..

Agradezco sus respuestas

Muchas Gracias