解:
(1) 将点$A(1,6)$代入$y=\frac{m}{x},$
得$6=\frac{m}{1},$解得$m=6,$
则反比例函数表达式为$y=\frac{6}{x},$
将点$B(3n-6,2)$代入$y=\frac{6}{x},$
得$2=\frac{6}{3n-6},$解得$n=3,$
即$B(3,2),$
将$A(1,6)$、$B(3,2)$代入$y=kx+b,$得$\begin{cases}k+b=6\\3k+b=2\end{cases},$
解得$\begin{cases}k=-2\\b=8\end{cases},$
故一次函数表达式为$y=-2x+8;$
(2) 由图象可知,不等式$kx+b>\frac{m}{x}$的解集为$1<x<3;$
(3) 令$y=-2x+8$中$y=0,$
得$x=4,$即$C(4,0),$
$S_{△ AOB}=S_{△ AOC}-S_{△ BOC}=\frac{1}{2}×4×6-\frac{1}{2}×4×2=8,$
则$△ OCD$的面积为$\frac{3}{4}×8=6,$
设点$D(x,-2x+8),$
则$\frac{1}{2}×4×|-2x+8|=6,$
即$|-2x+8|=3,$
当$-2x+8=3$时,$x=\frac{5}{2},$$y=3,$即$D(\frac{5}{2},3);$
当$-2x+8=-3$时,$x=\frac{11}{2},$$y=-3,$即$D(\frac{11}{2},-3),$
故存在点$D,$坐标为$(\frac{5}{2},3)$或$(\frac{11}{2},-3)。$