Yo tambien tuve el mismo problema al compilar un proyecto que tenia echo con vb lo compile con la misma utilidad que trae vb, aunque no se muy buena, y el error estaba en el setup.lst.
Cuando creas el paquete se te crea una archivo llamado setup.lst y el error estaba en que en una de las lineas ponia DLLSelfRegisterEX, pues bien borre el Ex del fina dejando DLLSelfRegister, y todo funciono perfectamente, no se si tu error sera el mismo pero por aportar alguna idea.

Un saludo