Madre de mi hijo quiere llevarme a tribunales para restringir visitas

La posible denuncia radica en que el niño a presenciado algunas discusiones entre mi pareja y yo, lamentablemente el jueves 31 de octubre tuvimos una discusión, nos encerramos en la cocina de la casa a conversar y al salir yo enojado de la la cocina tire un portazo con el cual le pegue a mi mujer y ella me dio un manotazo en la espalda el cual fue presenciado por mi hijo. Lloro mucho, se asusto y el mismo decía "me da miedo que peleen". Ella tiene un hijo de 7 años, el mío tiene 8. Ambos estaban en casa en ese momento pero solo mi hijo vio la escena, decidimos conversar al instante los 4, pedimos disculpas y aclaramos que había sido un error que no se volvería a repetir. Quedamos todos muy afectados, pero de algún modo logramos seguir el día tranquilos. Lamentablemente al devolver a mi hijo con su madre (2 días después del episodio), el llego a su casa, espero que me fuera y rompió en llanto diciendo que "le daba mucha pena el papito y que le pegaran". Entiendo que le puedo estar generando un daño psicológico con esto, pero lamentablemente nos vimos sometidos a esa situación irregular y mal manejada por parte de los adultos. Ese mismo fin de semana tuve que dejar el departamento que arrende durante un año por problemas económicos, por lo tanto ya no cuento con ese lugar para las visitas. Estoy viviendo desde hace 5 días con mi actual pareja, pero dada la situación y atendiendo el daño que puedo causar a mi hijo, es que quiero recurrir a las casas de mis familiares para pasar los fines de semana completos que me tocan cada 15 días. Tengo miedo de que me pongan como un mal padre por lo relatado anteriormente, tengo temor de que nos alejen aun más con el niño. La separación con su mamá ya genero vernos menos, pero el amor y el gusto por vernos siguen vivo. Nos disfrutamos mucho cuando estamos y puedo entender que el no quiera ver a mi pareja, no así que quieran limitar nuestras visitas. Es posible que la mama de mi hijo pida restricción de visitas y prohibición de acercamiento de mi pareja hacia el niño? Me amenazo indicando que irá al psicólogo del colegio, para que le derive a psicólogo judicial y luego en tribunales exponer. Me aterra lo manejable que puede ser esta situación.
Soy un padre lo más presente posible, jamás he fallado con la pensión que haciende al monto que ella misma exigió en una anterior mediación. Le reajuste en marzo el dinero y jamás he fallado en las fechas. Nunca he dejado a mi hijo plantado y lo llamo todos los días. Lo amo y estoy acongojado por todo lo que pueda llegar a hacer su mamá en contra de nuestra relación padre e hijo. Cometí un error, ha visto discusiones, pero nada como lo del 31 de octubre. Por favor su ayuda para prepararme a lo que venga.