解:$(1)$把$A(-1,0)、$$C(0,-4)$代入$y=x^2+bx+c,$得
$\begin {cases} 1-b+c=0\\c =-4 \end {cases},$解得$\begin {cases} b=-3\\c =-4 \end {cases},$
∴抛物线对应的函数表达式为$y=x^2-3x-4。$
∵$y=x^2-3x-4=(x-\frac {3}{2})^2-\frac {25}{4},$
∴抛物线顶点$D$的坐标为$(\frac {3}{2},-\frac {25}{4})。$
$ (2)$在$y$轴上存在一点$M,$使得$\triangle BDM$的周长最小。
∵$B、$$D$是两个确定的点,
∴$BD$的长是定值,
∴要使$\triangle BDM$的周长最小,只需$DM+BM$最小即可。
如图,作点$D(\frac {3}{2},-\frac {25}{4})$关于$y$轴的对称点$D'(-\frac {3}{2},-\frac {25}{4}),$连接$BD'$交$y$轴
于点$M,$则$DM=D'M,$
∴$DM+BM=D'M+BM,$
∴当点$B、$$M、$$D'$共线时,$DM+BM{最小}。$
在$y=x^2-3x-4$中,令$y=0,$得$0=x^2-3x-4,$解得$x=4$或$x=-1,$
∴$B(4,0)。$
设直线$BD'$对应的函数表达式为$y=mx+n,$将点$B、$$D'$的坐标代入,得
$\begin {cases} 4m+n=0\\-\frac {3}{2}m+n=-\frac {25}{4} \end {cases},$解得$\begin {cases}\ \mathrm {m}=\frac {25}{22}\\n =-\frac {50}{11} \end {cases},$
∴直线$BD'$对应的函数表达式为$y=\frac {25}{22}x-\frac {50}{11}。$
令$x=0,$得$y=-\frac {50}{11},$
∴点$M$的坐标为$(0,-\frac {50}{11})。$