解:$(1)$设垂直于墙的篱笆长为$x$米,
围成的矩形花园的面积为$S $平方米,
则平行于墙的篱笆长为$ (120-3x)$米
$S=x(120-3x)=-3(x- 20)²+1200$
∵$-3<0$
∴当$x=20$时,$S $取得最大值,为$1200$
∴$120-3x=120-3×20=60$
∴垂直于墙的篱笆长为$20$米,平行于墙的篱笆
长为$60$米时,花园面积最大,为$1200$平方米
$(2)$设购买牡丹$m $株,则购买芍药$2400-m $株
∵学校计划购买费用不超过$5$万元
∴$25m+15(2400-m)≤50000$
解得$m≤1400$
∴最多可以购买$1400$株牡丹