$ (1) $证明:∵四边形$ABCD$是正方形,$AC$是正方形的对角线,
∴$BC = CD,$$∠ ACB = ∠ ACD。$
$ $在$△ PBC$和$△ PDC$中,
$ \begin {cases}BC=DC, \\∠ PCB=∠ PCD, \\PC=PC,\end {cases}$
∴$△ PBC ≌ △ PDC。$
∴$PB=PD。$
∵$PE=PB,$
∴$PE=PD$
$ (2)\ \mathrm {P}E ⊥ PD$
证明:∵四边形$ABCD$是正方形,
∴$∠ BCD = 90°。$
$ $由$(1)$知,$△ PBC ≌ △ PDC,$且$PE = PB,$
∴$∠ PBC=∠ PDC,$$∠ PBC=∠ PEB。$
∴$∠ PDC=∠ PEB。$
∵$∠ PEB + ∠ PEC = 180°,$∴$∠ PDC + ∠ PEC = 180°。$
∴$∠ EPD = 360° - (∠ PDC + ∠ PEC) - ∠ BCD = 360° - 180° - 90°=90°。$
∴$PE ⊥ PD$