벡터의 개념은 수학과 물리학, 머신러닝에서 조금씩 다른데, 수학의 벡터가 더 일반화된 개념이므로 수학의 백터 개념으로 다른 것을 이해하는 것이 편리하다.
선형 대수에서 중심에 있는 개념은 벡터(vector)와 벡터 공간(vector space)이라고도 불리는 벡터 집합이고 이것에 대한 선형 변환(linear transformation) —행렬—, 다중 선형 변형(multi linear transformation) —텐서—을 다루는 것이 선형 대수라 할 수 있다.
벡터(와 행렬, 텐서)는 연립 방정식에 대한 표현으로도 생각할 수 있는데, 벡터에 대한 선형 변환은 결국 연립 방정식의 해를 구하는 것으로 생각할 수 있다. $x + y = 1$를 만족하는 해는 무수히 많고, $x - y = 1$을 만족하는 해도 무수히 많지만, 그 둘이 연립되었을 때 이것을 동시에 만족하는 해는 유일하다. 벡터는 이렇게 방정식이 연립 되었을 때 그 해를 구하기 위한 접근 방법이라고 볼 수 있다. 벡터의 연산 —투영(projection), 내적(inner proudct), 노름(norm) 등— 은 바로 이 연립 방정식을 풀기 위한 —혹은 근사(approximation)을 구하기 위한— 방법들인 것이다.
이 문서를 포함하여 이하 선형대수 페이지에서 스칼라는 소문자, 벡터는 소문자 굵은 글자, 행렬은 대문자 굵은 글자 표기를 따른다.
체 $F$에서 벡터공간(vector space) 또는 선형공간(linear space) $V$는 다음의 8가지 조건을 만족하는 두 연산, 합과 스칼라 곱을 가지는 집합이다.—순서적으로 벡터 공간이 먼저 정의되고, 벡터는 그 벡터 공간의 원소로 정의된다. 합(sum)은 $V$의 두 원소 $\bold{x, y}$에 대하여 유일한 원소 $\bold{x + y} \in V$를 대응하는 연산이다. 스칼라 곱(scalar multiplication)은 체 $F$의 원소 $a$와 벡터공간 $V$의 원소 $\bold{x}$마다 유일한 원소 $a\bold{x} \in V$를 대응하는 연산이다.
이 연산을 보면 벡터의 합과 스칼라 곱에 대해서만 정의가 되는데, —벡터 간의 곱은 부분 공간에 존재함— 이것 때문에 행렬과 텐서도 결국 벡터 공간의 원소가 된다.
벡터공간은 정확하게 ‘$F$-벡터공간 $V$’라 표기해야 하지만, 혼란의 여지가 없으면 체 $F$를 생략하고 ‘벡터공간 $V$’라 적는다. $F = \mathbb{R}$이면 실수 벡터공간, $F = \mathbb{C}$이면 복소수 벡터공간이 된다.
모든 벡터공간 $V$에 대해 다음의 성립한다.