全員同じ高校に通っているので、おそらく学校の課題でしょう。
単独で出題されるとかなり難しい問題だと思います。
「単独で」といったのは、この問題の前に、次のような問題があったと予測されるからです:
問題2 $x^3+y^3=(x+y)^3-3xy(x+y)$であることを用いて,$x^3+y^3+z^3-3xyz$を因数分解せよ。
※計算式全体を画面におさめるため、文字が小さく表示される場合があります。スマートフォンでは画面を横にしてみるといいかも。
【問題2の解】
$x^3+y^3+z^3-3xyz$
$=(x+y)^3-3xy(x+y)+z^3-3xyz$
$=(x+y)^3+z^3-3xy(x+y)-3xyz$
$=\{(x+y)+z\}\{(x+y)^2-(x+y)z+z^2\}-3xy(x+y+z)$
$=(x+y+z)(x^2+2xy+y^2-zx-yz+z^2)-3xy(x+y+z)$
$=(x+y+z)(x^2+2xy+y^2-zx-yz+z^2-3xy)$
$=(x+y+z)(x^2+y^2+z^2-xy-yz-zx)$ …(答)
この問題は、当塾の高1テキストにも掲載しています。
この結果を公式として使えば問題1はすぐに解けます:
【問題1の解(その1)】
問題2の結果に,$x=a$,$y=-2b$,$z=1$を代入すれば,
$a^3-8b^3+1+6ab$
$=(a-2b+1)(a^2+4b^2+1+2ab+2b-a)$ …(答)
問題2を公式として記憶していなかった場合は、問題2の計算をなぞるような解法になります:
【問題1の解(その2)】
$a^3+6ab-8b^3+1=a^3-(2b)^3+6ab+1$
$=(a-2b)^3+6ab(a-2b)+6ab+1$
$=(a-2b)^3+1+6ab(a-2b)+6ab$
$=\{(a-2b)+1\}\{(a-2b)^2-(a-2b)+1\}+6ab(a-2b+1)$
$=(a-2b+1)(a^2-4ab+4b^2-a+2b+1)+6ab(a-2b+1)$
$=(a-2b+1)(a^2-4ab+4b^2-a+2b+1+6ab)$
$=(a-2b+1)(a^2+2ab+4b^2-a+2b+1)$ …(答)
でも、この式変形に気づくのは結構大変です。やはり問題2の結果はともかく、計算の流れは覚えておいた方が良いと思います。
大島学習塾のホームページには、
公式集のページもあります。そちらも参考にしてみてください。