行政处罚主体不合法该怎么处理

行政处罚主体不合法的，行政处罚无效。根据《行政处罚法》第三条规定，公民、法人或者其他组织违反行政管理秩序的行为，应当给予行政处罚的，依照本法由法律、法规或者规章规定，并由行政机关依照本法规定的程序实施。没有法定依据或者不遵守法定程序的，行政处罚无效。