3-7. 이변수함수의 극값과 안장점 (Extreme Values and Saddle Points)

[이전글] 3-6. 접평면(Tangent Plane), 선형화(Linearization) 및 전미분(Total Differential)

[다음글] 3-8. 라그랑주 승수법(Lagrange Multipliers)

★본문의 더보기는 증명과 풀이입니다.

 

이변수함수 $f(x, y)$의 극대·극소(Local Extrema) 및 안장점(Saddle Point)을 구하는 방법과, 닫힌 유계 영역에서의 최대·최소 정리(Absolute Extrema)에 대해 알아본다.

1. 극값과 임계점 (Critical Points)

[정의 1] 극대값과 극소값 (Local Extrema)

점 $(a, b)$를 포함하는 영역 $R$에서 정의된 함수 $f(x, y)$에 대하여:

1. $(a, b)$ 중심의 어떤 열린 원판(open disk) 내의 모든 $(x, y)$에 대해 $f(a, b) \ge f(x, y)$이면, $f(a, b)$를 극대값(local maximum value)이라 한다.
2. $(a, b)$ 중심의 어떤 열린 원판 내의 모든 $(x, y)$에 대해 $f(a, b) \le f(x, y)$이면, $f(a, b)$를 극소값(local minimum value)이라 한다.

[정리 1] 극값에 대한 1계 편도함수 판정법 (First Derivative Test for Local Extreme Values)

$f(x, y)$가 영역의 내점(interior point) $(a, b)$에서 극값을 갖고, 그 점에서 1계 편도함수가 존재하면 다음이 성립한다.$$f_x(a, b) = 0 \quad \text{and} \quad f_y(a, b) = 0$$

[증명]

$f(x, y)$가 $(a, b)$에서 극값을 갖는다고 하자.

1. 일변수함수 $g(x) = f(x, b)$를 정의하면, $g(x)$는 $x = a$에서 극값을 갖는다. 일변수함수의 미분법에 의해 $g'(a) = 0$이므로, $g'(a) = f_x(a, b) = 0$이다.
2. 마찬가지로 일변수함수 $h(y) = f(a, y)$를 정의하면, $h(y)$는 $y = b$에서 극값을 갖는다. 따라서 $h'(b) = f_y(a, b) = 0$이다.
3. 그러므로 $f_x(a, b) = 0$ 이고 $f_y(a, b) = 0$ 이다. 

[정의 2] 임계점 (Critical Point)과 안장점 (Saddle Point)

• 임계점(Critical Point): 함수 $f(x, y)$의 정의구역 내점 중 $f_x = 0$ 이고 $f_y = 0$ 이거나, $f_x$ 또는 $f_y$가 존재하지 않는 점 $(a, b)$를 의미한다.
• 안장점(Saddle Point): 미분가능한 함수 $f(x, y)$의 임계점 $(a, b)$ 주변의 모든 열린 원판에서 $f(x, y) > f(a, b)$인 점과 $f(x, y) < f(a, b)$인 점이 동시에 존재하는 경우, 점 $(a, b, f(a, b))$를 안장점이라고 한다.

←임계점은 $f_x = 0, f_y = 0$ 인 점뿐만 아니라, 편도함수가 존재하지 않는 점도 포함된다. (예: $z = \sqrt{x^2 + y^2}$ 의 원점)

 

2. 2계 편도함수 판정법 (Second Derivative Test)

함수 $f(x, y)$와 그 1계, 2계 편도함수들이 점 $(a, b)$를 포함하는 원판에서 연속이고 $f_x(a, b) = 0$, $f_y(a, b) = 0$일 때, 헤세 행렬식(Hessian determinant 또는 Discriminant $D$)을 다음과 같이 정의한다.

$$D = f_{xx}f_{yy} - (f_{xy})^2 = \begin{vmatrix} f_{xx} & f_{xy} \\ f_{xy} & f_{yy} \end{vmatrix}$$

[정리 2] 2계 편도함수 판정법

1. $D > 0$ 이고 $f_{xx} < 0$ 이면 $\Rightarrow$ $f(a, b)$는 극대값이다.
2. $D > 0$ 이고 $f_{xx} > 0$ 이면 $\Rightarrow$ $f(a, b)$는 극소값이다.
3. $D < 0$ 이면 $\Rightarrow$ $(a, b)$는 안장점(Saddle point)이다.
4. $D = 0$ 이면 $\Rightarrow$ 판정불가(Inconclusive)하며, 다른 방식으로 조사해야 한다.

[증명]

1. 테일러 정리(Taylor's Theorem) 적용

점 $(a, b)$ 근방의 임의의 점 $(a+h, b+k)$에 대해, 이변수함수의 2차 테일러 정리(2nd-order Taylor expansion)를 적용하면 다음과 같이 나타낼 수 있다.

$$f(a+h, b+k) - f(a, b) = h f_x(a, b) + k f_y(a, b) + \frac{1}{2} \left[ h^2 f_{xx}(c, d) + 2hk f_{xy}(c, d) + k^2 f_{yy}(c, d) \right]$$

여기서 점 $(c, d)$는 $(a, b)$와 $(a+h, b+k)$를 잇는 선분 위의 어떤 점이다.

이때 $(a, b)$가 임계점이므로 $f_x(a, b) = 0$, $f_y(a, b) = 0$ 입니다. 따라서 식은 다음과 같이 정리된다.

$$\Delta f = f(a+h, b+k) - f(a, b) = \frac{1}{2} \left[ h^2 f_{xx}(c, d) + 2hk f_{xy}(c, d) + k^2 f_{yy}(c, d) \right]$$

$(h, k)$가 $(0, 0)$으로 아주 가까워지면 $2계 편도함수들의 연속성에 의해 (c, d) \to (a, b)$가 된다. 따라서 증명의 편의를 위해 괄호 안의 이차형식(Quadratic form)을 다음과 같이 나타낸다.

$$Q(h, k) = A h^2 + 2B hk + C k^2$$

(단, $A = f_{xx}(a,b)$, $B = f_{xy}(a,b)$, $C = f_{yy}(a,b)$)

이제 $Q(h, k)$의 부호가 $(h, k) \neq (0, 0)$일 때 항상 양수(극소)인지, 항상 음수(극대)인지, 혹은 부호가 바뀌는지(안장점) 분석하면 된다.

2. 완전제곱식 변형을 통한 부호 판정

$k \neq 0$ 일 때, $Q(h, k)$를 $k^2$으로 묶어 내고 완전제곱식으로 정리한다.

$$Q(h, k) = k^2 \left[ A \left( \frac{h}{k} \right)^2 + 2B \left( \frac{h}{k} \right) + C \right]$$

$\lambda = \frac{h}{k}$ 라 두면, 괄호 안의 식은 $\lambda$에 대한 2차식 $P(\lambda) = A\lambda^2 + 2B\lambda + C$ 가 됩니다.

이 2차 방정식 $A\lambda^2 + 2B\lambda + C = 0$ 의 짝수 판별식 $D'$을 구해보면:

$$D' = B^2 - AC = (f_{xy})^2 - f_{xx}f_{yy} = -D$$

즉, $D' = -D$ 임을 알 수 있다.

3. 경우별 부호 분석

$D > 0$ 인 경우 ($D' < 0$):

• 판별식이 음수($D' < 0$)이므로, 2차식 $P(\lambda)$는 모든 $\lambda$에 대해 항상 동일한 부호를 가진다.
• $P(\lambda)$의 부호는 최고차항의 계수인 $A = f_{xx}$의 부호에 의해 결정된다.
• $f_{xx} > 0$ 이면: 모든 $(h, k) \neq (0, 0)$에 대해 $Q(h, k) > 0$ 이므로 $\Delta f > 0$, 즉 $f(a+h, b+k) > f(a, b)$가 되어 극소값을 가진다.
• $f_{xx} < 0$ 이면: 모든 $(h, k) \neq (0, 0)$에 대해 $Q(h, k) < 0$ 이므로 $\Delta f < 0$, 즉 $f(a+h, b+k) < f(a, b)$가 되어 극대값을 가진다.

$D < 0$ 인 경우 ($D' > 0$):

• 판별식이 양수($D' > 0$)이므로, $P(\lambda) = 0$은 서로 다른 두 실근을 갖는다.
• 이는 $\lambda(=h/k)$의 값(즉, $(a, b)$로 접근하는 방향)에 따라 $Q(h, k)$의 부호가 양수가 되기도 하고 음수가 되기도 함을 의미한다.
• 따라서 특정 방향에서는 $f(a, b)$보다 크고, 다른 방향에서는 $f(a, b)$보다 작아지므로 $(a, b)$는 안장점(Saddle Point)이 된다.

$D = 0$ 인 경우 ($D' = 0$):

• $P(\lambda)$가 중근을 가지므로 $Q(h, k) = 0$이 되는 방향이 존재한다.
• 이 경우 2차 항만으로는 부호를 결정할 수 없으며, 3차 이상의 고계 테일러 항들을 추가로 분석해야 하므로 판정 불가(Inconclusive)가 된다.

[예제 1] $f(x, y) = x^2 + y^2 - 6x + 8$ 의 극값을 구하여라.

[풀이]

편도함수를 구하여 임계점을 찾는다:$$f_x = 2x - 6 = 0 \implies x = 3$$

$$f_y = 2y = 0 \implies y = 0$$

임계점은 $(3, 0)$ 하나뿐이다.

식을 완전제곱식으로 변형하면:$$f(x, y) = (x - 3)^2 + y^2 - 1$$

모든 $(x, y)$에 대해 $(x - 3)^2 + y^2 \ge 0$이므로 $f(x, y) \ge -1$이다.

따라서 $f(3, 0) = -1$ 은 극소값(및 최솟값)이다.

[예제 2] 안장점을 갖는 함수

$f(x, y) = 3x^2 - 2y^2$ 의 극값 및 안장점을 조사하여라.

[풀이]

편도함수를 구해 임계점을 구한다:$$f_x = 6x = 0, \quad f_y = -4y = 0 \implies (0, 0)$$

2계 편도함수 및 판정식 $D$ 계산:$$f_{xx} = 6, \quad f_{yy} = -4, \quad f_{xy} = 0$$

$$D = f_{xx}f_{yy} - (f_{xy})^2 = (6)(-4) - 0 = -24 < 0$$

$D < 0$ 이므로 점 $(0, 0)$ 은 안장점이며, 극값은 존재하지 않는다.

[예제 3] 2계 편도함수 판정법

$f(x, y) = 2xy - x^2 - y^2 - 4x + 6$ 의 극값을 구하여라.

[풀이]

1계 편도함수 계산:  $$f_x = 2y - 2x - 4 = 0 \implies y - x = 2$$$$f_y = 2x - 2y = 0 \implies x = y$$

두 연립방정식을 만족하는 해가 없으므로 임계점이 존재하지 않는다.

(만약 $f(x, y) = 2xy - 2x^2 - y^2 - 4x + 6$ 이라면)

$f_x = 2y - 4x - 4 = 0$

$f_y = 2x - 2y = 0 \implies x = y$

대입하면 $2x - 4x - 4 = 0 \implies -2x = 4 \implies x = -2, y = -2$

임계점: $(-2, -2)$

2계 편도함수 및 $D$ 값 계산:$$f_{xx} = -4, \quad f_{yy} = -2, \quad f_{xy} = 2$$

$$D = (-4)(-2) - (2)^2 = 8 - 4 = 4 > 0$$

$D > 0$ 이고 $f_{xx} = -4 < 0$ 이므로 $f(-2, -2)$ 에서 극대값을 갖는다.

$$f(-2, -2) = 2(-2)(-2) - 2(-2)^2 - (-2)^2 - 4(-2) + 6 = 8 - 8 - 4 + 8 + 6 = 10$$

[예제 4] $f(x, y) = x^3 + y^3 - 3xy$ 의 모든 임계점을 구하고 극값 및 안장점을 분류하여라.

[풀이]

편도함수 구하기:$$f_x = 3x^2 - 3y = 0 \implies y = x^2$$ $$f_y = 3y^2 - 3x = 0 \implies x = y^2$$

$y = x^2$을 $x = y^2$에 대입:실수 해는 $x = 0$ 또는 $x = 1$ 이다.$$x = (x^2)^2 = x^4 \implies x^4 - x = 0 \implies x(x-1)(x^2+x+1) = 0$$

• $x = 0 \implies y = 0 \Rightarrow (0, 0)$
• $x = 1 \implies y = 1 \Rightarrow (1, 1)$

2계 편도함수 조사:$$f_{xx} = 6x, \quad f_{yy} = 6y, \quad f_{xy} = -3$$ $$D(x, y) = (6x)(6y) - (-3)^2 = 36xy - 9$$

각 임계점 분류:

• 점 $(0, 0)$: $D = -9 < 0 \implies$ 안장점
• 점 $(1, 1)$: $D = 36 - 9 = 27 > 0$ 이고 $f_{xx}(1, 1) = 6 > 0 \implies$ 극소값$$f(1, 1) = 1 + 1 - 3 = -1$$

4. 닫힌 유계 영역(Closed and Bounded Region)에서의 최대·최소

최대·최소 구하는 3단계 순서

1. 내부 조사: 영역 내부에서 $f$의 임계점들을 찾아 함수 값을 구한다.
2. 경계 조사: 영역의 경계선(Boundary) 위에서 $f$의 극값 후보들을 조사한다.
3. 비교: 내부 임계점과 경계의 값들을 모두 비교하여 최댓값(Absolute Maximum)과 최솟값(Absolute Minimum)을 선택한다.

[예제 5] 삼각형 영역에서의 최댓값과 최솟값

영역 $R$이 좌표평면 상에서 $x \ge 0$, $y \ge 0$, $x + y \le 4$ 로 둘러싸인 닫힌 삼각형 영역일 때, 함수 $f(x, y) = x + 2y - x^2$ 의 최댓값과 최솟값을 구하여라.

[풀이]

내부(Interior) 조사:

$$f_x = 1 - 2x = 0 \implies x = 1/2$$

$$f_y = 2 \neq 0$$

$f_y$가 0이 될 수 없으므로, 영역 내부에는 임계점이 존재하지 않는다.

경계(Boundary) 조사:

구간 1 ($x = 0, 0 \le y \le 4$):$$f(0, y) = 2y$$ $y=0$일 때 $f(0,0)=0$, $y=4$일 때 $f(0,4)=8$

구간 2 ($y = 0, 0 \le x \le 4$): $$f(x, 0) = x - x^2$$ 미분: $f'(x) = 1 - 2x = 0 \implies x = 1/2$.

$f(0,0) = 0$

$f(1/2, 0) = 1/4$

$f(4,0) = 4 - 16 = -12$

구간 3 ($x + y = 4 \implies y = 4 - x, 0 \le x \le 4$): $$g(x) = f(x, 4-x) = x + 2(4-x) - x^2 = 8 - x - x^2$$ 미분: $g'(x) = -1 - 2x = 0 \implies x = -1/2$ (범위 $0 \le x \le 4$ 밖에 있으므로 제외)

끝점 확인: $x=0 \implies f(0,4) = 8$, $x=4 \implies f(4,0) = -12$.

값 비교 및 최종 결론:

• 후보값들: $0, 8, 1/4, -12$
• 최댓값: 8 (점 $(0, 4)$에서 발생)
• 최솟값: -12 (점 $(4, 0)$에서 발생)

5. 판정 불가($D = 0$) 상황에서의 해결법

2계 편도함수 판정법에서 $D(a, b) = 0$이 나오면 판정법은 '무용지물(Inconclusive)'이 된다. 이 경우에는 3차 이상의 고계 테일러 전개를 이용하거나, 함수의 기하학적 형태(직관적 분석)를 직접 조사해야 한다.

[예시]

다음 세 함수는 모두 점 $(0,0)$에서 $f_x = 0, f_y = 0$ 이고 판정식 $D = 0$ 이 나오는 대표적인 예시이다.

1. $f(x, y) = x^4 + y^4$
   • $D(0,0) = 0$ 이지만, $(0,0)$을 제외한 모든 점에서 $x^4 + y^4 > 0$ 이다.
   • 따라서 $f(0,0) = 0$ 은 절대적 극소값(Local Minimum)이다.
2. $f(x, y) = -x^4 - y^4$
   • $D(0,0) = 0$ 이지만, $(0,0)$을 제외한 모든 점에서 $-x^4 - y^4 < 0$ 이다.
   • 따라서 $f(0,0) = 0$ 은 절대적 극대값(Local Maximum)이다.
3. $f(x, y) = x^4 - y^4$
   • $D(0,0) = 0$ 이지만, $y=0$ 축을 따라가면 $x^4 > 0$ (양수), $x=0$ 축을 따라가면 $-y^4 < 0$ (음수)가 된다.
   • 양수와 음수가 동시에 존재하므로 점 $(0,0)$은 안장점(Saddle Point)이다.

Tip: $D=0$ 일 때는 $(a,b)$ 근방에서 함수값의 부호가 어떻게 변하는지(주변 값과의 크기 비교) 직접 조사하는 것이 정석이다.

 

6. 헤세 행렬(Hessian Matrix)과 고유값(Eigenvalue) 관점

선형대수학을 배웠다면 2계 편도함수 판정법을 헤세 행렬(Hessian Matrix)과 고유값(Eigenvalue)의 관점으로 해석할 때 훨씬 명확하게 이해할 수 있다.

함수 $f(x, y)$의 2차 편도함수로 구성된 헤세 행렬 $H$는 다음과 같다.

$$H = \begin{bmatrix} f_{xx} & f_{xy} \\ f_{yx} & f_{yy} \end{bmatrix}$$

이때 판정식 $D$는 다름 아닌 헤세 행렬의 행렬식(Determinant) $\det(H)$ 이며, 행렬식은 두 고유값의 곱 $\lambda_1 \lambda_2$ 와 같다.

• $D > 0 \implies \lambda_1, \lambda_2$의 부호가 동일함
  • $f_{xx} > 0$ 이면 두 고유값이 모두 양수 $\Rightarrow$ 양의 정의(Positive Definite) $\implies$ 극소
  • $f_{xx} < 0$ 이면 두 고유값이 모두 음수 $\Rightarrow$ 음의 정의(Negative Definite) $\implies$ 극대
• $D < 0 \implies \lambda_1, \lambda_2$의 부호가 서로 다름
  • 한쪽 방향은 아래로 오목, 다른 쪽 방향은 위로 오목 $\Rightarrow$ 부정의(Indefinite) $\implies$ 안장점

 확장성: 이 고유값 판정법은 변수가 3개 이상인 $n$변수함수 $f(x_1, x_2, \dots, x_n)$의 극값을 구할 때도 동일하게 확장 적용된다.

 

 

★3-7. 이변수함수의 극값과 안장점 (Extreme Values and Saddle Points) 14문제와 풀이

 

•