解$:(1)$∵抛物线$y=x²-2mx+m²+2m-1$过点$B(3,5),$
∴把$B(3,5)$代入$y=x²-2mx+m²+2m-1.$
整理,得$m²-4m+3=0,$
解得$m=1,$$m_{2}=3.$
当$m=1$时,$y=x²-2x+2=(x-1)²+1,$其顶点$A$的坐标为$(1,1);$
当$m=3$时,$y=x²-6x+14=(x-3)²+5,$其顶点$A$的坐标为$(3,5)$
综上所述,顶点$A$的坐标为$(1,1)$或$(3,5)$
$(2)$∵$y=x²-2mx+m²+2m-1=(x-m)²+2m-1,$
∴顶点$A$的坐标为$(m,2m-1).$
由$\begin {cases}{x=m}\\{y=2m-1}\end {cases}$得$y=2x-1.$
∴$y$关于$x$的函数表达式为$y=2x-1$