农村盖房违建应该归 县级以上人民政府农业农村主管部门管。具体依据如下：

法律依据

根据《中华人民共和国土地管理法》第七十八条，农村村民未经批准或者采取欺骗手段骗取批准，非法占用土地建住宅的，由县级以上人民政府农业农村主管部门责令退还非法占用的土地，限期拆除在非法占用的土地上新建的房屋。

执法职责

农业农村部门负责全国农村宅基地改革和管理有关工作，包括对农村村民非法占用土地建住宅的执法监管和查处。

相关部门职责

虽然自然资源部门和城乡规划部门也参与农村违建的监管，但对于农村村民非法占用土地建住宅的执法职责，明确由农业农村主管部门行使。

综上所述，农村盖房违建的管理和查处职责明确归县级以上人民政府农业农村主管部门。建议涉及此类问题时，向当地农业农村主管部门咨询或投诉，以获得准确和及时的处理。