解:$(1)$设抛物线的解析式为$y=ax(x-10)$
∵当$t=2$时,$BC=4$
∴点$C$的坐标为$(2$,$-4)$
将点$C$的坐标代入解析式得$2a(2-10)=-4$
解得$a=\frac {1}{4}$
∴抛物线的表达式为$y=\frac 14x^2-\frac 52x$
$(2)$由抛物线的对称性得$AE=OB=t$
∴$AB=10-2t$
当$x=t $时,点$C$的纵坐标为$\frac 14t^2-\frac 52t$
∴矩形$ABCD$的周长$=2(AB+BC)$
$=2[(10-2t)+(-\frac {1}{4}t²+\frac 52t)]$
$=-\frac 12t^2+t+20$
$=-\frac {1}{2}(t-1)²+\frac {41}{2}$
∵$-\frac {1}{2}<0$,$0<t<5$
∴当$t=1$时,矩形$ABCD$的周长有最大值,
最大值为$\frac {41}{2}$
$(3)$连接$AC$,$BD$相交于点$P$,连接$OC$
取$OC $的中点$Q$,连接$PQ$
∵$t=2$
∴$B(2$,$0)$,$A(8$,$0)$
∵$BC=4$,∴$C(2$,$-4)$
∵直线$GH$平分矩形$ABCD$的面积
∴直线$GH$过点$P$
∵四边形$ABCD$是矩形
∴点$P $是$AC$的中点
∵$Q $为$OC$的中点
∴$PQ=\frac {1}{2}OA$
由平移的性质可知,四边形$OCHG $是平行四边形
∴$PQ=CH$
∵$OA=8$
∴$CH=PQ=\frac {1}{2}OA=4$
∴抛物线向右平移的距离是$4$个单位