如果当时在离婚协议上注明房归你所有，男方不配合可到法院起诉，法官会调解，调解不成会开庭处理。所以不要太担心。