선형독립과 선형종속

2023. 1. 1. 23:45BOOTCAMP/boostcamp AI Tech Pre-Course

선형독립

- 재료 벡터들의 스팬 안에 해가 존재하며, 밖에 있으면 해가 존재하지 않다.
 
- 스팬 안에 상수 벡터가 들어와 있으면 해가 존재하는데, 그 해가 과연 유니크할 것인지와 유일하게 하나만 존재하는지 여러개가 존재할 수 있을 건지를 봐야한다. 
 
- 기준이 되는 부분이 linear independence. 상수 벡터가 평면에 들어와 있으면 두개의 벡터의 적절한 크기를 찾아서 두개의 벡터의 평행사변형, 정확하게 b벡터에 일치하도록 하는 솔루션에 부합하는 길이를 찾는게 선형결합에서의 길이를 늘리고, 줄이는 해를 찾는 과정이다.
 
- 평행 사변형의 길이는 하나로 픽스가 되는데, 해가 여러개 존재하면 평행사변형을 여러개를 만들 수 있다는 의미이며, 여러 가능성이 있을 때, 주어진 세개의 벡터가 선형 의존이 되고, 유일하게 해가 하나만 존재하면 선형 독립이 된다.
 
- 직관적으로 예를 들면 서로 다른 평형사변형의 꼭짓점을 닿게 하려면 평면의 바깥 쪽에 존재하는 벡터가 이전의 2개의 벡터 스팬 안에 포함이 되어서 하나가 추가되어 직선, 평면을 만들어주고, 스팬을 늘려주게 된다.
 
- 늘려주는 스팬 안에 들어와있고, 세개의 스팬과 두개의 스팬이나 평면에서 증가할 수 없게 되는데, 이를 평형 의존이라고 하며, 꼭짓점을 주어진 벡터가 평형 사변형을 여러개를 만들 수 있다.
 
- V3, V1만으로 만들 수 있고, 선형 결합의 가중치는 평형 사변형을 만들 수 있는 여러 가지가 계수가 하나가 아닌 여러개가 존재할 수 있으며, 선형 의존적인 상황이 생기게 된다.
 
- 직관적인 이해를 갖고, linear independence를 보면 실질적인 정의가 하나씩 벡터들을 순차적으로 찾아가면서 추가된 벡터가 전의 벡터들의 스팬을 늘려가서 체크하는 주어진 벡터들이 선형 의존적이라고 판단하게 된다.
 
- 주어진 p개의 벡터가 있을 때, 하나씩 해보면 j = 1:p, 스팬을 체크해보는데, 현재 추가를 한 결과, 우리의 스팬을 올려주는 거면 좋은 것이고, 첫번째부터 p개의 벡터라면서 선형독립이 되며 6번째 벡터에서 들어오게 되어서 만족하게 된다. 
 
- 3차원 공간에 벡터를 4개가 있으면 기본적으로 벡터 4개가 무엇인지 안봐도 항상 선형 의존이 되는데, 하나는 라인이고, 하나는 포함이 안되고, 3개의 벡터들의 스팬은 3차원 벡터를 다 커버하게 된다.
 
- 스팬 자체가 전체 집합에 맞게 되고, 도망갈 곳이 없게 되어 4번째 벡터는 3개의 벡터 안에 포함하게 되며, 그렇게 될 시에 Ax = b의 형태를 보면 재료 벡터가 디멘젼이 주어진 벡터의 갯수는 4개이고, 선형 의존이 되고, 평형 사변형 꼭짓점을 만족하는 여러 솔루션이 존재하게 된다.
 
- 이 경우에는 미지수의 갯수는 총 4개가 되고, 방정식의 갯수만큼의 미지수의 갯수보다 방정식의 갯수가 적으면 해가 무수히 많아질 수 밖에 없다.
 
- 선형 독립, 선형 의존이 되는 것은 해가 존재할 때, 해가 무수히 많은지 하나만 있는지는 전제조건은 2개의 스팬 안에 들어와서 그 경우에 해가 하나인지 여러개인지 두개의 벡터가 선형 의존이냐, 독립이냐에서 갈라진다.
 
- 두번째 벡터가 첫번째 스팬 안에 포함되는 경우. 두번째 벡터가 첫번째 스팬안에 들어오려면 모든 상수배를 다 써야하며, 그것이 결국 두번째 벡터가 상수배로 표현이 될 때, 두개의 벡터 방향성이 같을 때에 무수히 많은 해가 존재하게 된다. 

선형종속

- 상수 파트를 0으로 만들면 이렇게 만든 방정식을 생각해보면 주어진 재료 벡터와 0. 해가 존재할 때, 0으로 만들면 주어진 b는 어떤 벡터에도 포함이 된다.
 
- 상수배를 계수를 세팅하면 B 벡터가 0벡터가 주어지면 스팬 안에 들어왔는지를 보는 것이 아닌 솔루션이 하나 이상일때, 최소한의 솔루션은 가중치를 만들어주면 되기에 재료 벡터가 뭐든 상관없이 0을 세팅하면 최소한의 하나의 솔루션을 찾을 수 있다.
 
- 하찮은 솔루션이라 하여  a trivial solution. 저 해 이외의 해가 존재할 때, linearly dependent라고 함. 두개의 벡터가 평형 사변형 꼭짓점을 보면 시퀀스를 보면 더하면 시퀀셜하게 그만큼 가고, 최종적인 꼭짓점에 도달하게 한다.
 
- 솔루션에서 0이 아니라는 것은 원점에서 많이 간 것이며, 원점에 있기에 원점에서 출발하여 더 멀어진 곳에 갔을 때, 다시 원점으로 도달 했을 때의 꼭짓점이다.
 
- 다시 돌아올 수 있게 할 때, 다른 솔루션이 존재할 때, linear dependent의 상황이라 볼 수 있으며, 솔루션이 하나 이상있어야하고, 그것은 0이 아닐 것이다.
 
- 하나라도 0이 아닌 솔루션은 nontrivial solution이 존재할 때, linearly dependent라고 하며 그 경우를 생각하면 계수가 0이고, 아닌지 볼때, 가장 마지막 0이 아닌 수를 놔두고, 그 전에 있던 벡터를 옮겨주는 것이다.
 
- 스팬이 기존의 벡터의 선형 결합이 되는지, 상황이 일맥상통하는지 알 수 있으며, V2가 선형결합이 된다.
 
- 0이 아닌 것을 주인공으로 놓고, 그 전에 있었던 것을 우변으로 넘기고, 1로 만들어 놓고, 그전 선형 벡터로 만들어 놓고, 어느 하나가 0이 아닐 때의 상황과 동치한다.
 
- 스팬을 통해 늘려가게 되고, V1, V2가 스팬 안에 포함되면 스팬의 전체와 V3까지 포함한 스팬이나 평면에 머물러 있게 된다.
 
- linear independence를 볼 때, 솔루션이 여러개가 있고, 0이 아닌 솔루션을 가지는 경우가 존재하면 실제로 주어진 b일 경우에 여전히 해를 여러 개가 생기도록 만들어줄 것인지 생각해봐야 한다.
 
- V1, V2, V3 중에 하나 이상 존재해야하며, 어떤 형태의 솔루션을 찾았다고 할 때, 평형 사변형을 통하여 그 값이 3, 2, 1일 때, 솔루션이 여러개가 존재한다는 것은 벡터들이 원점으로부터 다시 돌아올 수 있는 루트가 있다.
 
- 특정한 b가 존재하여 솔루션이 도달할 때, 여기를 마치 원점으로 삼고, 어딘가 떨어져 나갔다가 다시 돌아올 수 있는 상황이 생기는데, 무조건 여러개의 솔루션이 존재하게 됨.

2V1 + 3V2 - V3 = 0

 
- 솔루션이 존재할 때, 유니크한 경우는 유일하게 평형 사변형이 유일하게 하나의 평형 사변형으로 존재하여 꼭짓점을 만족할 때, 그 경우 linearly independet가 된다.

 

부분공간의 기저와 차원

Span and Subspace
subspace: span과 유사한 개념

- 3차원 공간을 모두 포함하는 3차원 집합, [1, 2, 3], [5, 4, 2].
subspace에 더불어서 부분 집합은 하나의 조건이 추가, 추가가 되는 조건은 무엇인가 닫혀있는 것이며 이는 선형 결합에 닫혀 있을 때, subspace라고 한다. 
 
- 곱셈에 닫혀있는 집합에 2가 무조건 포함되어있다는 단서가 있음. 곱셈에 닫혀있다는 건 원소 2개를 뽑아서 곱셈을 하는 것이고, 그 값이 안에 들어가 있으면 항상 곱셈을 지킨다고 할 수 있다.
 
- 2 x 2 =4, 2와 4를 뽑았으면 2 x 4 = 8. 집합은 곱셈에 닫혀있는데, 닫혀있는 것의 대상이 되는 것이 선형 결합의 대상. 벡터들의 부분집합이 있고, [1, 2, 3]과 [5, 4, 2]가 부분집합에 있다는 것이다.
 
- 적당한 선형결합을 만들고, 적당히 안에 들어가 있을 때, 어떤 벡터이든 선형 결합을 하여 안에 존재하도록 하며, 이 조건을 만족할 때, 부분집합을 단순히 서브셋이 아닌 서브 스페이스라고 한다.
 
- 서브 스페이스는 여기서 뽑은 선형 결합을 어떻게든 안에 포함되어 있어야하기에 스팬이라는 개념과 유사하게 됨. 재료 벡터 3개를 갖고, 선형결합 모두를 포함하는 집합은 선형결합을 다 뽑아낸 선형 결합이 있을 것이다.
 
- 연쇄 작용이 있는데, 2라는 것이 하나가 있어서 4 곱하기 2는 8. 연쇄적으로 입력하면 결과가 나오는 구조, 스팬이 [1, 2, 3]과 [4, 5, 6]이 있으면 [5, 7, 9]라는 벡터가 있고, 이것을 -1, +1이 있는 [3, 3, 3]을 하면 2개의 벡터도 저 안에 있는 것이다.
 
- 선형 결합을 해서도 무조건 안에 있을지 생각을 해봐야하고, 이것은 결국 첫번째 벡터의 V1 + 5V2 재료벡터의 선형결합에서 벗어날 수가 없다.
 
- span이 서브 스페이스 안에 닫혀있게 되느네, 서브스페이스에서 요소로서 생각해볼 수 있는 베이시스로 많은 적용분야에 전개할 수 있다.
 
- 일단 베이시스라는 것은 어떤 서브스페이스가 있으면 그 벡터들은 항상 스팬으로 표현이 되고, 평면이 먼저 주어진 것이다.
 
- 이 서브 스페이스의 기저는 이 평면에서 벡터 하나를 잡으면 모두 뒤덮을 수는 없으며, 두번째 벡터를 하나 추가하면 주어진 평면을 모두 풀리 스팬 할 수 있고, 이것을 이 서브스페이스의 기저벡터다라고 부르게 된다.
 
- 여기서 기저벡터라고 부르려면 추가해야할 점이 리니어리 인디벤던트를 해야함. 3개의 벡터를 모아놓고보니, 중복을 허용하지 않은 그 중복이 리니얼리 인디펜던트를 만족하는 것이 중복을 허용 안하는 것이다.
 
- 중복이라는 것은 스팬 안에 서브스페이스 한 포인트가 기저 벡터들로 선형 결합을 표현할 때, 선형 결합의 가중치는 딱 한가지만 존재하는데, 평형 사변형의 꼭짓점을 나타내는 딱 한 지점이다.
 
- 기저 벡터가 유니크할 것인지, 평면이 있을 때 스팬할 수 있는데, 약간 기울어진 각도가 90도가 넘는 벡터를 구할 때에 주어진 서브스페이스로 중복없게 하기에 기저 벡터는 유니크하지 않다.
 
- 서로 다른 기저벡터를 썼을 때, 평형 사변형을 그려야 하고, 그 가중치와 계수 값이 1.1과 0.8이라고 할 때, 서브스페이스를 둔각이었을 때, 105, 88로 기저 벡터가 달라진다.
 
- 체인지 오브 베이시스는 서브스페이스와 점도 똑같은데, 표현하는 기저벡터가 달라졌을 때, 그 기저벡터는 또다른 코인시더로 왔다 갔다 한다.
 
- 서브스페이스의 디멘전은 3차원의 [1, 2, 3]. 디멘전은 그렇듯할 정의가 있는데, 서브 스페이스의 갯수를 디멘전이라고 하며 결국 변하지 않은 것은 기저 벡터의 갯수가 되는 것이다.
 
- [1, 2, 3]을 3차원에 사는 벡터로 보며 디멘전의 정의는 같은 개념인데, 서브 스페이스로서 3차원의 공간에서 여전히 전체 집합에 포함된다.
 
- 여기서 3차원 공간에서 기저 벡터를 살펴보면 기저 벡터로서 제일 간단한 것을 생각해보면 스탠다드 베이시스 벡터라 하는데, [1, 0, 0], [0, 1, 0], [0, 0, 1].
 
- 축이 있고, 정확히 수직이 예쁜 길이, 이러한 기저 벡터가 있고, 또한 간단한 기저 벡터의 가중치와 계수 값만 달라지는데, 1 * [1, 0, 0] +
2 * [0, 1, 0] + 3 * [0, 0, 1]. 디멘젼을 일맥상통하게 볼 수 있다. 
컬럼 스페이스 오브 매트릭스
 
- 재료 벡터로서 사용되어 선형결합을 생각할 수 있어서 스팬이 결국 서브 스페이스를 만족하여 컬럼들의 스팬으로 이뤄지는 그 서브 스페이스를 컬럼 스페이스라고 볼 수 있다.
 
Col A = Span {[1, 1, 0], [1, 0, 1], [2, 1, 1]} -> Col A = Span{[1, 1, 0], [1, 0, 1]}
랭크 오브 매트릭스 
 
rank A = dim Col A 
 
- 기저 벡터의 갯수를 디멘전이라 부르고, 이를 매트릭스의 랭크라고 부른다.