$解:(3)因为点P(x,y)经过变换τ$
$得到的对应点 P'(x',y')与点P关于原点对称,$
$所以τ(x,y)=(-x,-y).$
$由题意得点P的坐标为(x,2x),$
$所以τ(x,2x)= (-x,-2x)$
$所以\begin{cases}{-x=ax+2bx,}\\{-2x=ax-2bx,}\end{cases}$
$即\begin{cases}{(-1-a-2b)x=0,}\\{(-2-a+2b)x=0.}\end{cases}$
$因为x为任意实数,$
$所以\begin{cases}{-1-a-2b=0,}\\{-2-a+2b=0,}\end{cases}$
$解得\begin{cases}{a=-\frac 32,}\\{b=\frac 14.}\end{cases}$
$则a的值为-\frac 32,b的值为\frac 14 .$