В данном разделе рассматриваются методы решения следующих алгебраических задач:
- нахождение корней конечного уравнения ;
- решение системы линейных алгебраических уравнений;
- решение нелинейной системы конечных уравнений;
- нахождение собственных чисел и собственных векторов матрицы.

Пусть дана непрерывная на некотором промежутке функция . Необходимо найти принадлежащие этому промежутку корни уравнения

(1)

Как правило, алгоритм приближенного метода состоит из двух этапов:

- поиск приближенного значения корня или содержащего его отрезка;

- уточнение приближенного значения до некоторой заданной степени точности.

Иногда ограничиваются только первым этапом. При этом могут использоваться решения близких задач, графические методы, физические соображения и т.д. На втором этапе для уточнения приближенного значения обычно строится последовательность, элементы которой в пределе сходятся к точному значению корня. Сам метод решения при этом называется итерационным или методом последовательных приближений.

Одним из итерационных методов является метод деления отрезка пополам (дихотомии, бисекции).

На первом этапе должен быть найден отрезка  такой, что  < 0.

Тогда отрезок  содержит нечетное число корней уравнения (1) нечетной кратности ( - корень кратности p, если , ).

Начальное приближение x0 = .

На втором этапе выбирается тот из двух отрезков , , на концах которого функция  имеет значения разных знаков и за  принимается середина этого отрезка, и т. д.. Таким образом, строится последовательность , сходящаяся при  к . После каждой итерации отрезок, содержащий корень уменьшается вдвое. Инерционный процесс продолжается до тех пор, пока длина полученного отрезка не станет меньше заданной величины . За приближенное решение принимается средняя точка последнего промежутка.

Другой вариант условия окончания итерационного процесса  ( по величине невязки ).

В некоторых случаях несколько большей скоростью сходимости обладает метод хорд, у которого на втором этапе при выборе очередного приближения внутри отрезка, содержащего корень, учитывается величина невязки на концах отрезка: точка выбирается ближе к тому концу, где невязка меньше ( но в некоторых случаях это может замедлить сходимость по сравнению с методом дихотомии ).

Геометрический смысл заключается в замене кривой хордой. Очередное приближение находится как точка пересечения хорды с осью абсцисс.

Если  - отрезок содержащий корень, то уравнение хорды

. (2)

Для точки пересечения хорды с осью абсцисс  имеем

.

принимается за очередное приближение к корню. Далее выбирается тот из промежутков , на концах которого функция имеет значения разных знаков и т. д.. При этом, если  дважды непрерывно дифференцируемая функция и знак  сохраняется на рассматриваемом промежутке, то полученные приближения будут сходиться к корню монотонно.

Если знаки  и  сохраняются на исходном промежутке, содержащем корень, то у всех получаемых промежутков один конец будет общим, а именно тот, на котором совпадают знаки функции и второй производной. Например, если , то последовательные приближения к корню вычисляются по формуле

(3)

и корень принадлежит последовательности вложенных отрезков 

Если оставить неподвижным тот конец промежутка, где знаки и противоположны, то после вычисления  получаем промежуток не содержащий корень уравнения. Дальнейшее развитие событий зависит от поведения конкретной функции и величины промежутка. Возможна как сходимость метода ( при этом соседние приближения находятся по разные стороны от корня).

Рассмотрим сходимость метода хорд и оценки погрешности приближенных решений.

Пусть на исходном промежутке  функция  дважды дифференцируема, знаки  и  сохраняются и 

Из формулы (3) получаем

.

Прибавляя слева  и применяя к разности  и

формулу конечных приращений (формулу Лагранжа), далее получаем

(4)

Из формулы (4) добавляя справа в скобке * и группируя члены, получаем

.

Так как знаки разностей  и совпадают,

,

Причем  и  одного знака. Тогда 

Следовательно,

(5)

где 

Из (5) получаем

Отсюда следует, что погрешность приближенного решения  стремится к нулю при . В этом случае говорят, что метод сходится. И когда убывание погрешности приближенного решения характеризуется неравенством вида (5) говорят также, что метод имеет линейную скорость сходимости. (Сходится со скоростью геометрической прогрессии.)

Из формулы (4) также следует неравенство, в котором погрешность приближенного решения оценивается через разность двух последовательных приближений

(6)

Здесь  и  на рассматриваемом отрезке.

Другой вариант оценки погрешности приближенного решения через невязку дает сама формула конечных приращений

Отсюда (с учетом, что  ) получаем

(7)

Фомы (6) и (7) позволяют установить, что для получения приближенного решения с заданной точностью (т.е. такого , для которого  будет меньше заданного числа) достаточно выполнить такое количество итераций , после которого будет выполнено хотя-бы одно из условий

или 

Геометрический смысл метода Ньютона (метода касательных) заключается в том, что на отрезке содержащем корень уравнения (1) график функции  заменяется отрезком касательной, проведенной к графику  при  или . (Предполагая что функция  дифференцируема на .)

При этом используется только одна точка, поэтому не обязательно задавать отрезок , содержащий корень, достаточно задать некоторое приближение .

Уравнение касательной в точке 

.

Для точки пересечения с осью 0x получаем

, и т. д.

(8)

Объем вычислений в методе Ньютона на каждом шаге выше, чем в предыдущих методах, т. к. в точке  вычисляются значения функции и ее производной, что компенсируется более высокой скоростью сходимости этого метода.

Но в отличие от предыдущих методов метод Ньютона сходится не при всяком выборе начального приближения на отрезке, содержащем корень уравнения.

Легко проверить, что примером достаточных условий сходимости метода будет сохранение знака второй производной f(x) на некотором промежутке, содержащем корень, и выбор начального приближения с той стороны от корня, где знак функции совпадает со знаком второй производной.

При этом последовательные приближения будут сходится к корню монотонно.

Другой вариант достаточного условия сходимости получается при исследовании скорости сходимости вблизи корня

Перепишем формулу (8) в виде

Используя для разности  разложение по формуле Тейлора до членов второго порядка, получим

.

Отсюда

, (9)

где .

Из неравенства (9) следует, что

при  (10)

Условие (10) можно рассматривать как ограничение на выбор начального приближения: выполнение неравенства

достаточно для сходимости метод.

Если погрешности приближенных решений, полученных некоторым методом, удовлетворяют неравенству вида (9) (где ), то говорят, что метод имеет квадратичную скорость сходимости.

Наличие показателя степени 2 в правой части неравенства (9) определяет большее убывание погрешности приближенных решений, полученных методом Ньютона, по сравню, например, с методом хорд.

Оценки погрешности приближенных решений могут быть получены в аналогичном методу хорд виде. Из формулы (8) следует

отсюда получается формула, аналогичная (4)

( x* - xn ) = ( xn+1 - xn )f'(xn).

Из этой формулы вытекает оценка (6)

.

Для погрешности приближенного решения также справедлива и оценка (7)