(2) 解:$a^2+b^2+4b-8a+11$
$=(a^2-8a+16)+(b^2+4b+4)-9$
$=(a-4)^2+(b+2)^2-9$
因为$(a-4)^2≥0,$$(b+2)^2≥0,$
所以当$a=4,$$b=-2$时,代数式有最小值,最小值为$-9。$
(3) 解:设$AC=x,$则$BD=12-x,$
因为$AC⊥ BD,$
所以四边形$ABCD$的面积$S=\frac{1}{2}AC· BD=\frac{1}{2}x(12-x)$
$=\frac{1}{2}(-x^2+12x)$
$=-\frac{1}{2}(x^2-12x+36)+18$
$=-\frac{1}{2}(x-6)^2+18$
因为$-\frac{1}{2}(x-6)^2≤0,$
所以当$x=6$时,$S$有最大值$18,$即四边形$ABCD$面积的最大值为$18。$