из первого уравнения выражаем y
y=5x+1
подставляем это во второе уравнение
(5х+1)^2 - 13x=23
25x^2 + 10x + 1 - 13x=23
25x^2 -3x - 22=0
решаем обычное квадратное уравнение
D= (-3)^2 - 4*25*(-22)=9+220=229. тут корень не извлекается из 229. может где-то в расчетах ошиблась, но вроде бы все верно.
дальше нужно найти корни, но они с корнями получатся