解:$(1) $由新运算定义,
得$4△3=4^2-3^2=16-9=7$。
$ (2) $由新运算定义,
得$(x+2)△5=(x+2)^2-5^2=0$,
$ $即$(x+2)^2=25$,
$ $直接开平方得$x+2=\pm 5$,
$ $解得$x_1=3$,$x_2=-7$。
$ (3) $由新运算定义,
得$3△(x-8)=3^2-(x-8)^2=9-(x-8)^2$,
$ $解方程$9-(x-8)^2=0$,得$(x-8)^2=9$,
$ $直接开平方得$x-8=\pm 3$,
解得$x_1=11$,$x_2=5$。
分类讨论如下:
$ ① $当$11$是该直角三角形的斜边长时,
第三边的长为$\sqrt {11^2-5^2}=4\sqrt {6}$;
$ ② $当$11$是该直角三角形的直角边长时,
第三边的长为$\sqrt {11^2+5^2}=\sqrt {146}$。
综上所述,该直角三角形第三边的长为$4\sqrt {6}$
或$\sqrt {146}$。