解:
(1) $\because$ 正方形$OABC$的顶点$C$的坐标为$(0,3),$
$\therefore OA=AB=BC=OC=3,$$∠ OAB=∠ B=∠ BCO=90°。$
$\because AD=2DB,$
$\therefore AD=\frac{2}{3}AB=2,$
$\therefore$ 点$D$的坐标为$(-3,2)。$
把$D(-3,2)$代入$y=\frac{m}{x},$得$m=-6,$
$\therefore$ 反比例函数的表达式为$y=-\frac{6}{x}。$
$\because AM=2MO,$
$\therefore MO=\frac{1}{3}OA=1,$
$\therefore$ 点$M$的坐标为$(-1,0)。$
把$M(-1,0),$$D(-3,2)$代入$y=kx+b,$得
$\begin{cases}-k+b=0\\-3k+b=2\end{cases},$
解得$\begin{cases}k=-1\\b=-1\end{cases},$
$\therefore$ 一次函数的表达式为$y=-x-1。$
(2) 把$y=3$代入$y=-\frac{6}{x},$得$x=-2,$
$\therefore$ 点$N$的坐标为$(-2,3),$即$NC=2。$
设点$P$的坐标为$(x_P,y_P)。$
$\because △ OPM$的面积与四边形$OMNC$的面积相等,
$\therefore \frac{1}{2}MO·|y_P|=\frac{1}{2}(MO+NC)· OC,$
即$\frac{1}{2}×1×|y_P|=\frac{1}{2}×(1+2)×3,$
$\therefore |y_P|=9,$解得$y_P=\pm9。$
当$y_P=9$时,代入$y=-x-1,$易得$x_P=-10;$
当$y_P=-9$时,代入$y=-x-1,$易得$x_P=8。$
$\therefore$ 点$P$的坐标为$(-10,9)$或$(8,-9)。$