解:(1) 先化简原式:
$\begin{aligned}&5a^2 - [3a - (2a - 3) + 4a^2]=&5a^2 - (3a - 2a + 3 + 4a^2)\\=&5a^2 - a - 3 - 4a^2\\=&a^2 - a - 3\end{aligned}$
将$a=-2$代入化简后的式子:
原式$=(-2)^2 - (-2) - 3 = 4 + 2 - 3 = 3$
(2) 计算$a^2 - b^2$:
$\begin{aligned}&a^2 - b^2=&(a^2 - ab) + (ab - b^2)\\=&8 + (-4)\\=&4\end{aligned}$
计算$a^2 - 2ab + b^2$:
$\begin{aligned}&a^2 - 2ab + b^2=&(a^2 - ab) - (ab - b^2)\\=&8 - (-4)\\=&12\end{aligned}$
综上,(1) 式子的值为$\boldsymbol{3};$(2) $a^2 - b^2$的值为$\boldsymbol{4},$$a^2 - 2ab + b^2$的值为$\boldsymbol{12}。$