解:
(1)
∵直线$y = -2x + 8$过点$A(1,a),$$B(b,2),$
∴$a = -2 + 8,$$2 = -2b + 8.$
∴$a = 6,$$b = 3,$
∴$A(1,6),$$B(3,2).$
∵双曲线$y = \frac{k}{x}$过点$A,$
∴$k = 1\times6 = 6.$
∴所求反比例函数的表达式为$y = \frac{6}{x}.$
(2)不等式$\frac{k}{x} < -2x + 8$的解集为$1 < x < 3$或$x < 0.$
(3)如答图,作点$A$关于$y$轴的对称点$C,$则$C(-1,6),$
连接$BC$交$y$轴于点$P,$连接$PA,$则此时$\triangle ABP$的周长最小.
设直线$BC$的函数表达式为$y = mx + n,$
则$\begin{cases}3m + n = 2\\-m + n = 6\end{cases}$
解得$\begin{cases}m = -1\\n = 5\end{cases},$从而$BC:y = -x + 5.$
在$y = -x + 5$中,当$x = 0$时,$y = 5,$故$P(0,5).$