解:$(2)$如图:

由题意,得点$D(3,4)$,$d(D,E)=\sqrt {2}$。
当点$E$在$x$轴上时,设$E(m,0)$。
$∵|4 - 0|>\sqrt {2}$,
$∴|3 - m|=\sqrt {2}$,
$∴m = 3+\sqrt {2}$或$m = 3-\sqrt {2}$;
当点$E$在$y$轴上时,设$E(0,n)$。
$∵|3 - 0|>\sqrt {2}$,$∴|4 - n|=\sqrt {2}$,
$∴n = 4+\sqrt {2}$或$n = 4-\sqrt {2}$。
$∴$点$E$的坐标为$(3+\sqrt {2},0)$或$(3-\sqrt {2},0)$或$(0,4+\sqrt {2})$或$(0,4-\sqrt {2})$。