在我八九岁的时候父母离婚了，抚养权在父亲手里，但是他们总是一遇到事情就把我们推给母亲抚养权还能要回来吗？