解：$(1)$在$Rt\triangle ABC$中，$∠C = 90°，$
$AB = 5\ \mathrm {cm}，$$BC = 3\ \mathrm {cm}$
由勾股定理，得$AB^2=AC^2+BC^2$
即$AC=\sqrt {AB^2-BC^2}=\sqrt {5^2-3^2}=4\ \mathrm {cm}$
由题意，得$P B = P A = 2t\mathrm {cm}，$且$t\leqslant 2$
则$P C = AC - P A=(4 - 2t)\mathrm {cm}$
在$Rt\triangle P CB$中，由勾股定理，得$P C^2+BC^2=P B^2$
∴$(4 - 2t)^2+3^2=(2t)^2，$解得$t=\frac {25}{16}$
∴当$t = \frac {25}{16}$时，点$P $在$AC$上，且$P A = PB$
$(2)$当点$P $在$∠BAC$的平分线上时，点$P $必在边$BC$上，
过点$P $作$PE\perp AB$于点$E$
又$∠C = 90°，$∴$AC\perp P C，$∴$PE = P C$
由$(1)$得$AC = 4\ \mathrm {cm}，$且$S_{\triangle ABC}=S_{\triangle AP C}+S_{\triangle AP B}$
∴$\frac 12\ \mathrm {A}C·BC=\frac 12\ \mathrm {A}C·P C+\frac 12\ \mathrm {A}B·PE，$
即$AC·BC=(AC + AB)·P C$
∴$P C=\frac {AC·BC}{AC + AB}=\frac {4×3}{4 + 5}=\frac 43\ \mathrm {cm}$
又$P C=(2\ \mathrm {t} - 4)\mathrm {cm}，$且$2\leqslant t\leqslant \frac 72$
∴$2\ \mathrm {t} - 4=\frac 43，$解得$t=\frac 83$
∴当$t=\frac 83$时，点$P $在$∠BAC$的平分线上
