$ (1) $证明:∵$AB=13,AC=12,BC=5,$
∴$AC^2+BC^2=12^2+5^2=144+25=169,$$AB^2=13^2=169,$
即$AC^2+BC^2=AB^2.$
∴$△ ABC$是直角三角形$.$
$ (2) $解:如图,连接$BE.$
∵$DE$是$AB$的垂直平分线,∴$AE=BE.$
$ $由$(1)$知$△ ABC$是直角三角形,且$∠ ACB=90°.$
$ $设$CE=x,$则$AE=AC-CE=12-x,$$BE=AE=12-x.$
$ $在$Rt△ BCE$中,$CE^2+CB^2=BE^2,$
$ $即$x^2+5^2=(12-x)^2,$
$ $解得$x=\frac {119}{24}.$
∴$CE$的长为$\frac {119}{24}.$