$在△DNE和△QFM中$
${{\begin{cases} {{∠D=∠MQF}} \\ {∠DNE=∠QFM} \\ {NE=FM} \end{cases}}}$
$∴△DNE≌△QFM(\mathrm {AAS})$
$∴DE=QM=5-2=3$
$∴S=\frac {1}{2}BF×MQ=\frac {3(8-x)}{2}=12-\frac {3}{2}x$
(2)$∵四边形EFMN是正方形,$
∴$EF=EN$,$∠FEN=∠A=∠D=90°$,
∵$∠AEF+∠AFE=90°$,$∠AEF+∠DEN=90°$,
∴$∠AFE=∠DEN$,
∴$△ AEF≌△ DNE(\mathrm {AAS})$,
∴$AF=DE$.
∵$AD=5$,$AE=2$,
∴$DE=3$,
∴$x=AF=3$.
(3)①如图3中,当点$N$与$D$重合时,$x$的值最小,$△ FBM$的面积最大,
在$Rt△ AEF$中,$x = \sqrt{3^2 - 2^2} = \sqrt{5}$,
$\therefore S$的最大值$= 12 - \dfrac{3}{2}x = 12 - \dfrac{3\sqrt{5}}{2}$。
②如图4中,当点$M$在$BC$上时,$x$的值最大,$△ FBM$的面积最小,
此时易证$CN = AF = x$,
$\because EN = EF$,
$\therefore 2^2 + x^2 = 3^2 + (8 - x)^2$,
$\therefore x = \dfrac{69}{16}$;