Los abuelos paternos piden visitas

Les cuento, el abuelo paterno de mi hijo tiene problemas con el alcohol y la abuela o sea la mujer de este caballero ha vivido malos tratos por parte de él, muchas veces intervinimos en algunos hechos, por lo que decidí decirles que si querían ver a mi hijo podían hacerlo las veces que quieran pero en mi domicilio avisando previamente, cosa que no hicieron, dejaron de llamar y de verlo, por lo que ahora me llaman a mediación, mi pregunta es si yo legalmente puedo decirles que las visitas sean en mi domicilio para estar bajo mi supervisión ya que si se acuerda pernoctar en el domicilio de ellos no quiero correr el riesgo de que mi hijo vuelva a ver actos de violencia por culpa de la enfermedad de este caballero