“나는 다음 세기가 복잡성의 세기가 될 것이라고 생각한다.”

2000년 1월, 스티븐 호킹¹

복잡성(Complexity)이란 무엇인가? 그것은 일정 부분의 불확실성, 즉 우리 분별력의 한계에서 기인하거나 현상에 도사린 불확실성과 일치한다. 하지만 복잡성이 곧 불확실성인 것은 아니다. 복잡성은 다채롭게 조직된 시스템 한가운데에 있는 불확실성이다.² 그런데 우리가 복잡하다고 느끼는 감정은 근원은 무엇일까? 그것은 실체에 대한 선형적인 인과 모델, 즉 투입에 대한 지식이 산출을 예측하기에 적합하다는 가정이 들어맞지 않을 때 느끼는 감정이다.³

선형

지하철 자판기에서 천원으로 음료수 한 캔을 뽑을 수 있다고 할 때 음료수 다섯 캔을 뽑기 위해서는 얼마의 돈이 필요한지 예측할 수 있다. 이런 것이 선형적 인과 모델이다. 선형적 인과 모델은 근대 문명과 매우 밀접한 연관을 갖고 있다. 이를테면 무언가를 갖는 게 좋은 일이라면 그것을 더 많이 갖는 건 더 좋은 일일 거라고 말할 때 우리는 선형적 인과 모델을 받아들인 셈이다.⁴ 수학에서 선형성(Linearity)은 다음과 같이 정의할 수 있다. ​

가 의미하는 바는 무엇인가? 전체는 부분의 총합과 같다는 것이다. 이것이 선형적 사고다. 반면에 복잡성 사고는 “전체가 부분의 총합보다 크다”는 것을 뜻한다.⁵ 전체는 부분의 총합과 같다는 선형적(환원적) 사유는 현대사회에 심대한 영향을 끼쳤다. 근대적인 대학의 학과 구조 역시 식 ①과 같이 환원적이다.

그러니 수학으로 선형성을 정의할 수 있다고 하여 오직 근대적 수학/과학만이 환원적이라고 착각하지는 말지어다! 서양의 철학, 심리학, 의학, 생물학 사이의 깊은 심연을 떠올리면 금방 이해가 될 것이다.

비선형

선형성이 작동하는 체계(System)를 단순계(Simple system)라 한다. 반면에 복잡성이 작동하는 체계를 복잡계(Complex system)라고 한다.⁶ 주의할 점이 있다. 선형적이지 않다고 해서 반드시 복잡한 것은 아니다. 즉 비선형방정식이 곧 복잡계의 수학을 의미하는 것은 아니다.

등을 공부하게 되는데, 이것은 모두 비선형이지만 복잡계의 수학은 아니다. 그렇다면 복잡계의 수학은 무엇일까?

프랙털

앞에서 복잡계의 특징으로 전체가 부분의 총합보다 크다는 것을 말했다. 또 하나의 복잡계의 특징은 “부분 속에 전체가 있다”는 것이다. 이를 ‘자기유사성’이라고 하는데 이러한 현상은 구름, 해안선, 번개, 은하단, 인체 속의 혈관계, 금융시장의 상승과 하강 패턴 등 다양한 상황에서 발견할 수 있다. 이러한 자기유사적 현상을 기술해주는 수학적 구조가 바로 프랙털(fractal)이다.⁷

프랙털 구조를 발견한 이는 폴란드의 수학자 브누아 망델브로인데, ‘fractal’이라는 용어는 ‘부러진’이라는 뜻의 라틴어 ‘fractus’로부터 창안한 것이다. 대표적인 프랙털 구조로 망델브로 집합, 칸토어 집합, 시에르핀스키 삼각형, 페아노 곡선, 코흐 곡선 등이 있다. 이 중에서 망델브로가 1980년 발견한 ‘망델브로 집합’은 다음과 같은 점화식으로 표현되는 수열 의 절댓값이 무한대로 발산하지 않는 복소수 c의 집합으로 정의된다.

이런 c의 집합을 복소평면에 나타내면 [그림4]와 같은 도형이 나타난다.⁸

카오스

프랙털 기하학은 부분 속에 전체가 있다는 ‘자기유사성’의 구조를 비선형적으로 표현한 것이다. 데카르트가 창안한 해석기하학은 하나의 방정식을 취하여 그것을 만족하는 수의 집합을 구한다. 반면에 프랙털 기하학은 방정식을 푸는 대신에 그것을 반복한다. 방정식은 설명이 아닌 과정이 되고 정적이라기보다는 동적이 된다.⁹ 하나의 수가 수식에 대입되어 새로운 수가 나오게 되고 그 새로운 수는 다시 대입되어 같은 과정을 반복하게 된다. 이와 같은 방정식을 로지스틱 방정식(logistic equation)이라고 한다. 로지스틱 방정식이 중요한 이유는 그것이 카오스 이론의 대표적 사례이기 때문이다. 1975년 오스트레일리아의 생태학자 로버트 메이는 동물 개체군이나 식물 개체군의 변화 모형에 일반적으로 쓰이는 방정식들이 카오스를 야기할 수 있음을 강조했는데 이때 예시로 든 방정식이 식 ③와 같은 로지스틱 방정식이었다.

‘카오스(chaos)’는 ‘결정론적 혼돈(deterministic)’의 준말로 뜻하는 어떤 계(系, system)가 일정한 법칙에 따라 변화하고 있음에도 불구하고 그 나타나는 양상이 매우 복잡하고 불규칙하여 미래의 상태를 예측할 수 없는 경우를 말한다. 이처럼 무질서하게 보이는 혼돈 상태도 사실은 논리적 법칙이 존재한다는 이론이 바로 카오스 이론이다. 미분 방정식은 모든 물리법칙의 기초가 된다. 하지만 그 미분 방정식의 지배를 받는 모든 운동의 근본은 카오스이다.¹⁰

방정식 ③에서 는 현 세대 개체수이고, 은 다음 세대 개체수이다. 은 매개변수로서 개체수 증가 비율을 나타낸다. (1- )는 개체수가 많아졌을 때, 증가를 억제하는 여분 항이다. 의 값이 작을 때 이 모형은 정상 상태에 도달한다. 개체수는 증가하다 지나치게 늘어나면 다시 줄어들어 평형 상태에 도달한다. [그림 5]를 보라. 만약 매개변수가 2.7의 값을 가지면 최종 개체수는 0.6296이 된다. 그러나 매개변수가 3을 넘으면 갑자기 그래프 선이 두 개로 갈라진다. 개체수는 하나의 값으로 수렴하지 않고, 두 지점 사이에서 진동한다.

매개변수를 더 크게 하면 진동은 다시 분열되어 4개의 각각 다른 값으로 귀착되는 일련의 숫자들을 만들어내 4년 주기로 반복된다. 이제 개체수는 규칙적으로 4년 주기로 오르내린다. 주기는 처음에 1년에서 2년으로, 다시 두 배가 되어 4년이 된다. 하지만 그 주기적인 행태는 역시 안정적이다. 즉 최초의 개체수가 서로 다르더라도 그것은 똑같이 4년을 주기로 한 사이클에 귀착된다. 이러한 분기(Bifurcation)는 더욱 빨리 온다. 4, 8, 16, 32, … 그리고는 갑자기 주기성이 사라진다. 즉 카오스 상태로 전환되는 것이다.

카오스 이론은 단순한 비선형 방정식이 매우 복잡한 역학을 만들어 낼 수 있으며, 무작위로 보이는 것은 실은 숨겨진 질서를 드러낼 수 있다는 깨달음으로 이어졌다. 카오스 이론은 태양계 행성들의 운동, 일기 예보, 생태학의 개체수 역학, 변광성, 지진 모형, 그리고 우주 탐사선의 효율적 계산에 이르기까지 과학의 전 영역에서 수없이 많이 변주되어 사용되고 있다.¹¹

고도로 조직되었으면서도 고도로 자유로운

앞의 글 「도표와 수학」에서 나는 고도로 자유로우면서도 고도로 조직된 도표의 대표적 사례로 미적분을 꼽았다. 그것은 미분이 0에 접근하지만 절대로 0에 도달하지 않는다는 무한소의 개념을 내포하고 있었기 때문이다. 이와 달리 ‘결정론적 혼돈(deterministic)’을 의미하는 ‘카오스’는 ‘초기 조건의 민감성’이라는 차원에서 고도로 조직되었으면서도 고도로 자유로운 도표의 사례라고 할 수 있을 것이다.

이 글에서 나는 ‘복잡성과 수학’을 이야기하면서 선형과 비선형, 프랙털과 카오스를 이야기했다. 그런데 엄밀히 말해서 카오스 이론과 (카오스의 범주에 속하는) 프랙털 기하학이 복잡성의 영역을 대표한다고 할 수는 없다. 왜 그런가? 카오스 이론은 미래의 비예측성을 강조하기는 하지만, 초기 상태의 시스템 민감성과 비선형체제 감시의 중요성이 개방체제 이론과 동일한 합리주의적 결정론을 전제하기 때문이다. 즉, 카오스 이론은 투입의 결과가 다음 단계의 결과에 영향을 주는 반복적 재귀 프로세스의 아이디어에 기초하고 있는데,¹² 이와 같은 방법론은 필연적으로 복잡성 체계의 현상을 생성시키기 위해 재조합될 수 있는 필수적인 규칙과 원리에 대한 명료화를 지향하기 때문에 경우에 따라서는 복잡성을 이해하는 데 장애물이 될 수도 있는 것이다.

그렇다면 복잡계를 가장 정확하게 묘사할 수 있는 수학 분야는 무엇일까? 가장 유력한 분야는 ‘비선형 동역학계(nonlinear dynamical system)’이다. 프랙털의 구조를 보여주는 망델브로 집합(식 ②)이나 카오스 이론을 기술하는 로지스틱 방정식(식 ③) 역시 비선형 동역학계의 영역에 포함된다. 비선형 동역학은 우주의 움직임을 수학적으로 모형화할 때 변화가 생기는 궁극적인 성질을 연구하는 학문으로 기본적으로 비선형적일 수밖에 없다. (스티븐 호킹으로 대표되는) 이론물리학과 유사하며 이공계와 사회과학에까지 넓게 활용된다.¹³ 어쩌면 이러한 간학문적/다학제적 접근이야말로 복잡성 과학/철학의 근본적인 특징이 아닐까 싶다. 수학과 자연과학, 수학과 사회과학의 연결과 융합 속에서 복잡계의 수학은 진정한 의미를 지닐 수 있을 것이다.

---