אלגוריתם גאוס-ניוטון

		ערך זה זקוק לעריכה: הסיבה לכך היא: תיקוני סגנון.
		אתם מוזמנים לסייע ולתקן את הבעיות, אך אנא אל תורידו את ההודעה כל עוד לא תוקן הדף. אם אתם סבורים כי אין בדף בעיה, ניתן לציין זאת בדף השיחה.	עריכה

אלגוריתם גאוס-ניוטון הוא אלגוריתם לפתרון בעיות ריבועים פחותים לא-לינאריות. האלגוריתם, המיוחס לקרל פרידריך גאוס, הוא למעשה תיקון של שיטת ניוטון לאופטימיזציה, ללא שימוש בנגזרות ממעלה שנייה.

הבעיה

בהינתן ${\displaystyle m}$ פונקציות בעלות ${\displaystyle n}$ פרמטרים כאשר ${\displaystyle m\leq n}$ , הבעיה היא להביא את הסכום ${\displaystyle S(p)=\sum _{i=1}^{m}\left({\frac {f_{i}(p)}{2}}\right)^{2}}$ לערכו הקטן ביותר על ידי שינוי ${\displaystyle p}$ , כאשר ${\displaystyle p=(p_{1},\ldots ,p_{n})}$ .

האלגוריתם

אלגוריתם גאוס-ניוטון הוא הליך איטרטיבי, כלומר יש לספק ערך התחלתי ל-${\displaystyle p}$ , שנקרא לו ${\displaystyle p^{0}}$ . ערכים עוקבים של ${\displaystyle p^{k}}$ ניתנים אחר כך על ידי חזרה על היחס:

${\displaystyle p^{k+1}=p^{k}-{\Big (}J_{f}(p^{k})^{\top }J_{f}(p^{k}){\Big )}^{-1}J_{f}(p^{k})^{\top }f(p^{k})}$

כאשר ${\displaystyle f=(f_{1},\ldots ,f_{m})}$ ו-${\displaystyle Jf(p)}$ היעקוביאן של ${\displaystyle f}$ ב-${\displaystyle p}$ .

את המטריצה ההופכית אין צורך לחשב במפורש. במקומה, אנו משתמשים ב-${\displaystyle p^{k+1}=p^{k}+\delta ^{k}}$ ואז ניתן לחשב את העדכון ${\displaystyle \delta ^{k}}$ על ידי פתירת מערכת לינארית: ${\displaystyle J_{f}(p^{k})^{\top }J_{f}(p^{k})\delta ^{k}=-J_{f}(p^{k})^{\top }f(p^{k})}$ .

יישום טוב של אלגוריתם גאוס-ניוטון מספק חיפוש אלגוריתם: במקום הנוסחה מלמעלה עבור ${\displaystyle p^{k+1}}$ , אנו משתמשים ב-${\displaystyle p^{k+1}=p^{k}+\alpha ^{k}\delta ^{k}}$ , כאשר המספר ${\displaystyle \alpha ^{k}}$ הוא ברגע אופטימלי.