证明:$(1)$∵四边形$ABCD$是矩形,
∴$AB// CD$,
∴$∠ MAB=∠ NCD$。
$ $在$△ ABM$和$△ CDN$中,
$ \begin {cases}AB=CD \\∠ MAB=∠ NCD \\AM=CN\end {cases}$
∴$△ ABM≌△ CDN(\mathrm {SAS})$。
$ (2) $连接$EF$,交$AC$于点$O$。
∵四边形$ABCD$是矩形,
∴$AD=BC$,$∠ ABC=90°$,
∴$AC=\sqrt {AB^2+BC^2}=5$。
∵$E$,$F $分别是$AD$,$BC$的中点,
∴$AE=BF=ED=FC$,
∴四边形$ABFE$是矩形,
∴$EF=AB=3$。
$ $在$△ AEO$和$△ CFO$中,
$ \begin {cases}∠ EOA=∠ FOC \\∠ EAO=∠ FCO \\AE=CF\end {cases}$
∴$△ AEO≌△ CFO(\mathrm {AAS})$,
∴$EO=FO$,$AO=CO=\frac {5}{2}$,
∴$O$为$EF$,$AC$的中点。
∵$∠ EGF=90°$,
∴$OG=\frac {1}{2}EF=\frac {3}{2}$,
∴$AG=OA-OG=1$或$AG=OA+OG=4$,
即$AG $的长为$1$或$4$。