监护权归我～小孩会被抢走吗？？

因为家里长辈过世的关係必须等到对年才能结婚

所以也没有办登记～小孩给父亲认领从父姓～户口跟健保都登记在男方那～男方也有抚养～但有约定监护权给女方～

小孩现在3个多月大～吵架次数越来越多～

男方动不动就跟我说要把小孩带走～叫我等小孩当兵在去看他

我想跟他分开～又怕他跟我抢小孩～

该怎么办呢？？