Si sabes por ejemplo el caption que identifica al formulario que quieres comprobar, una forma podria ser:
Código:
Private Function ExisteFormAbierto(CaptionF as string) As Boolean
ExisteFormAbierto = False
For i = 0 To Forms.Count - 1
If Forms(i).Caption = CaptionF then
ExisteFormAbierto = True
exit function
End If
Next i
End Function Llama a esta funcion con el caption del formulario que quieres ver si esta abierto. Si devuelve false, no esta abierto.
Es decir, recorres las coleccion forms buscando el que quieras en concreto
Espero que te ayude.