解:
(1) $\because$ 反比例函数 $y=\frac{k}{x}$ 的图象经过 $A(a,-1),B(-1,3)$ 两点,
$\therefore k=-1× 3=a×(-1),$
$\therefore k=-3,a=3,$即 $A(3,-1),$
$\therefore$ 反比例函数的表达式为 $y=-\frac{3}{x}。$
$\because$ 一次函数 $y=mx+n$ 的图象经过 $A(3,-1),B(-1,3)$ 两点,
$\therefore \begin{cases} -1=3m+n \\ 3=-m+n \end{cases},$
解得 $\begin{cases} m=-1 \\ n=2 \end{cases},$
$\therefore$ 一次函数的表达式为 $y=-x+2。$
(2) $\because$ 直线 $AB:y=-x+2$ 交 $y$ 轴于点 $C,$
$\therefore C(0,2),$即 $OC=2,$
$\therefore S_{\mathrm{四边形}COMN}=S_{△ OMN}+S_{△ OCN}=\frac{1}{2}|k|+\frac{1}{2}OC· ON=\frac{1}{2}×3+\frac{1}{2}×2× t = t+\frac{3}{2}。$
$\because S_{\mathrm{四边形}COMN}>3,$
$\therefore t+\frac{3}{2}>3,$
解得 $t>\frac{3}{2},$
$\therefore t$ 的取值范围是 $t>\frac{3}{2}。$