某民族自治县政府拟录用20名公务员，该县政府责成县人事局负责主考工作。县人事局组织了此次考试并录用了20名公务员，对其中5名少数民族考生按规定予以照顾。后来上级公务员主管机关认定此次考试无效。 问题： 上级公务员主管机关认定此次考试无效是否正确?