解:$(1)$设$A$种香料的单价为$x$元,则$B$种香料的单价为$(x-3)$元。
由题意得:$4x=6(x-3)$
$ 4x=6x-18$
$ 2x=18,$解得$x=9$
$ $则$x-3=6$
答:$A$种香料的单价为$9$元,$B$种香料的单价为$6$元。
$ (2)$设能购买$A$种香料$m_{件},$则能购买$B$种香料$(50-m)$件。
由题意得:$9m+6(50-m)≤360$
$ 9m+300-6m≤360$
$ 3m≤60,$解得$m≤20$
答:最多能购买$A$种香料$20$件。