解:$(1)$当$x=2,$$y=-1$时,代入方程$kx+2y=3k-4,$得
$ 2k+2×(-1)=3k-4$
计算,得$2k-2=3k-4$
移项,得$3k-2k=4-2$
$ $解得$k=2$
$ (2) $将方程$kx+2y=3k-4$整理为$(x-3)k+2y+4=0$
$ $因为不论$k$取何值,方程总有固定解,
所以$\begin {cases} x-3=0 \\2y+4=0 \end {cases}$
$ $解得$\begin {cases} x=3 \\y=-2 \end {cases}$
$ $即固定解为$\begin {cases} x=3 \\y=-2 \end {cases}$