答案：解：$(2x^2 - 3x)(x^2 + ax + b)$
$=2x^2 \cdot x^2 + 2x^2 \cdot ax + 2x^2 \cdot b - 3x \cdot x^2 - 3x \cdot ax - 3x \cdot b$
$=2x^4 + 2ax^3 + 2bx^2 - 3x^3 - 3ax^2 - 3bx$
$=2x^4 + (2a - 3)x^3 + (2b - 3a)x^2 - 3bx$
因为$x^3$的系数为$-5$，$x^2$的系数为$-6$，所以可得：
$\begin{cases}2a - 3 = -5 \\ 2b - 3a = -6\end{cases}$
解第一个方程：$2a - 3 = -5$
$2a = -5 + 3$
$2a = -2$
$a = -1$
将$a = -1$代入第二个方程：$2b - 3×(-1) = -6$
$2b + 3 = -6$
$2b = -6 - 3$
$2b = -9$
$b = -4.5$
综上，$a$的值为$-1$，$b$的值为$-4.5$。

答案：(1)解：$(\frac{1}{2}a^2b - 1)\cdot(-2a)$
$=\frac{1}{2}a^2b\cdot(-2a) - 1\cdot(-2a)$
$=-a^3b + 2a$
(2)解：$2x - x(x - 1)$
$=2x - x^2 + x$
$=-x^2 + 3x$
(3)解：直角三角形面积为$\frac{1}{2}×3m×(4m - 1)$
$=\frac{1}{2}×(12m^2 - 3m)$
$=6m^2 - \frac{3m}{2}$
(4)解：$(\frac{1}{3})^x\cdot(27^x - 3^x) = 80$
$3^{-x}\cdot(3^{3x} - 3^x) = 80$
$3^{-x}\cdot3^{3x} - 3^{-x}\cdot3^x = 80$
$3^{2x} - 3^{0} = 80$
$3^{2x} - 1 = 80$
$3^{2x} = 81$
$3^{2x} = 3^4$
$2x = 4$
$x = 2$
答案依次为：(1)$-a^3b + 2a$；(2)$-x^2 + 3x$；(3)$6m^2 - \frac{3m}{2}$；(4)$2$