1.3. СТАТИСТИЧЕСКАЯ МОДЕЛЬ.

Грубая идея состоит в следующем. Для количественной оценки близости точек всплесков поступим так. Вычислим число f(Х,Y) - сумму квадратов чисел f[k], где f[k] - расстояние в годах от точки всплеска с номером "k" графика объема Х до точки всплеска с номером "k" графика объема Y. Если оба графика делают всплески одновременно, то моменты всплесков с одинаковыми номерами совпадают, и все числа f[k] равны нулю. Рассмотрев достаточно большой фиксированный запас различных реальных текстов Н и вычисляя для каждого из них число f(Х,Н), отберем затем только такие тексты Н, для которых это число не превосходит числа f(Х,Y). Подсчитав долю таких текстов во всем запасе текстов Н, получаем коэффициент, который, - при гипотезе о распределении случайного вектора Н, - можно интерпретировать как вероятность р(Х,Y). Более подробно описание р(Х,Y) см. в [416], [438], [419], [375]. Если коэффициент р(X,Y) мал, то летописи Х и Y зависимы, то есть описывают приблизительно один и тот же "поток событий". Если же коэффициент велик, то летописи X и Y независимы, то есть сообщают о разных "потоках событий".

Перейдем теперь к более детальному описанию статистической модели. Конечно, для реальных графиков объема одновременность их всплесков может иметь место лишь приблизительно. Для оценки того, насколько одновременно оба графика делают всплески, математический аппарат статистики позволяет определить некоторое число p(X,Y), измеряющее несовпадение лет, подробно описанных в летописи X, и лет, подробно описанных в летописи Y. Оказывается, если рассматривать наблюдаемую близость всплесков обоих графиков как случайное событие, то число p(X,Y) можно рассматривать как вероятности этого события. Чем меньше это число, тем лучше совпадают годы, подробно описанные в X, с годами, подробно описанными в Y. Дадим математическое определение коэффициента p(X,Y).

Рассмотрим интервал времени (A,B) и график объема vol X(t), который достигает локальных максимумов в некоторых точках m₁,...,m_n-1. Мы считаем для простоты, что каждый локальный максимум (всплеск) достигается ровно в одной точке. Эти точки (то есть годы) m_i разбивают интервал (A,B) на некоторые отрезки, вообще говоря, разной длины. См.рис.3.6. Измеряя длины получившихся отрезков (в годах), то есть измеряя расстояния между точками соседних локальных максимумов m_i и m_i+1, мы получаем последовательность целых чисел a(X)=(x₁,...,x_n). То есть, число x₁ - это расстояние от точки A до первого локального максимума. Число x₂ - это расстояние от первого локального максимума до второго. И так далее. Число x_n - это расстояние от последнего локального максимума m_n-1 до точки B.

Эту последовательность можно изобразить вектором a(X) в евклидовом пространстве Rⁿ размерности n. Например, в случае двух локальных максимумов (то есть если n=3), мы получаем целочисленный вектор a(X)=(x₁,x₂,x₃) в трехмерном пространстве. Назовем вектор a(X)=(x₁,...,x_n) ВЕКТОРОМ ЛОКАЛЬНЫХ МАКСИМУМОВ летописи X.

Для другой летописи Y мы получим, вообще говоря, другой вектор a(Y)=(y₁,...,y_m). Будем считать, что летопись Y описывает события на интервале времени (C,D), длина которого равна длине интервала (A,B), то есть B – A = D - C. Чтобы сравнить графики объемов летописей X и Y, мы предварительно совместим друг с другом два отрезка (A,B) и (C,D) одинаковой длины (наложим их друг на друга). Конечно, число локальных максимумов у графиков vol X(t) и vol Y(t) может быть различно. Однако без ограничения общности можно считать, что число максимумов одинаково, а потому векторы a(X) и a(Y) двух сравниваемых летописей X и Y имеют одинаковое число координат. В самом деле, если число максимумов у двух сравниваемых графиков различно, то можно поступить так. Будем считать некоторые максимумыми КРАТНЫМИ, то есть считать, что в этой точке слились вместе несколько локальных максимумов. При этом, длины соответствующих отрезков, отвечающих этим кратным максимумам, можно считать равными нулю. Пользуясь этим соглашением, можно очевидно уравнять число локальных максимумов у графиков объемов летописей X и Y. Конечно, такая операция, - введение кратных максимумов, - неоднозначна. Фиксируем пока какой-либо вариант введения кратных максимумов. В дальнейшем мы избавимся от указанной неоднозначности, минимизировав нужные нам коэффициенты близости по всем возможным способам введения кратных максимумов. Отметим, что введение кратных максимумов означает, что у вектора a(X) на некоторых местах появляются нулевые компоненты, то есть отрезки нулевой длины.

Итак, сравнивая летописи X и Y, можно считать, что оба вектора a(X)=(x₁,...,x_n) и a(Y)=(y₁,...,y_n) имеют одно и то же число координат и поэтому лежат в одном и том же евклидовом пространстве Rⁿ. Отметим, что у каждого из этих векторов сумма его координат - одна и та же и равна B – A = D - C, то есть длине интервала времени (A,B). Итак:

x₁ + ... + x_n = y₁ + ... + y_n = B - A.

Рассмотрим теперь множество всех целочисленных векторов c=(c₁,...,c_n), у которых все координаты неотрицательны и их сумма c₁+...+c_n равна одному и тому же числу, а именно B - A, то есть длине временнóго интервала (A,B). Обозначим множество всех таких векторов через S. Геометрически, эти векторы можно изобразить так. Будем считать, что все они выходят из начала координат, то есть из точки O в Rⁿ. Рассмотрим концы все такие векторов c=(c₁,...,c_n). Все они лежат на "многомерном симплексе" L, определяемом в пространстве Rⁿ одним уравнением

c₁ + ... + c_n = B - A,

где все координаты c₁,...,c_n являются вещественными неотрицательными числами. Множество S геометрически изображается как множество "целых точек" на симплексе L, то есть множество всех точек из L, имеющих целочисленные координаты.

Ясно, что концы векторов локальных максимумов a(X) и a(Y) для летописей X и Y принадлежат множеству S. См. рис.3.7.

Фиксируем теперь вектор a(X)=(x₁,...,x_n) и рассмотрим все векторы c=(c₁,...,c_n) (с вещественными координатами), принадлежащие симплексу L и такие, что они удовлетворяют еще одному дополнительному соотношению:

(с₁ - x₁)² + ... + (c_n - x_n)² ≤ (y₁ - x₁)² + ... + (y_n - x_n)².

Множество всех таких векторов c=(c₁,...,c_n) мы обозначим через K. Математически эти векторы описываются как удаленные от фиксированного вектора a(X) на расстояние, не превышающее расстояния r(X,Y) от вектора a(X) до вектора a(Y). Говоря здесь о расстоянии между векторами, мы имеем в виду расстояние между их концами. Напомним, что величина

(y₁ - x₁)² + ... + (y_n - x_n)²

равна квадрату расстояния r(X,Y) между векторами a(X) и a(Y). Поэтому множество K - это часть симплекса L, попавшая в "n-мерный" шар радиуса r(X,Y) с центром в точке a(X).

Подсчитаем теперь, сколько "целочисленных векторов" содержится в множестве K и сколько - в множестве L. Полученные числа обозначим через m(K) и m(L) соответственно. В качестве "предварительного коэффициента" p'(X,Y) мы возьмем отношение этих двух чисел:

p'(X,Y)=m(K)/m(L),

то есть

Так как множество K составляет лишь часть множества L, то

0 < p'(X,Y) < 1.

Если векторы a(X) и a(Y) совпадают, то p'(X,Y)=0. Если векторы, напротив, далеки друг от друга, то число p'(X,Y) близко к единице и даже может оказаться равным единице.

Отметим здесь полезную, хотя и необязательную для дальнейшего, интерпретацию числа p'(X,Y). Предположим, что вектор c=(c₁,...,c_n) случайным образом пробегает все векторы из множества S, причем он с единаковой вероятностью может оказаться в любой точке этого множества. В таком случае говорят, что случайный вектор c=(c₁,...,c_n) распределен РАВНОМЕРНО на множестве S, то есть на множестве "целых точках" (n-1)-мерного симплекса. Тогда определенное нами число p'(X,Y) допускает вероятностную интерпретацию. Оно равно вероятности случайного события, заключающегося в том, что случайный вектор c=(c₁,...,c_n) оказался на расстоянии от фиксированного вектора a(X), не превышающем расстояния между векторами a(X) и a(Y). Чем меньше эта вероятность, тем менее случайна наблюдаемая нами близость векторов a(X) и a(Y). Другими словами, в этом случае их близость указывает на наличие какой-то ЗАВИСИМОСТИ между ними. И эта зависимость тем больше, чем меньше число p'(X,Y).

Равномерность распределения случайного вектора c=(c₁,...,c_n) на симплексе L (точнее, на множестве S его "целых точек") может быть обоснована тем, что этот вектор изображает расстояния между соседними локальными максимумами функции объема "глав" исторических летописей или каких-то аналогичных текстов, описывающих заданный период времени (A,B). При рассмотрении всевозможных летописей, говорящих об истории всевоможных государств во всевозможные исторические эпохи, естественно предполагать, что локальный максимум может "с равной вероятностью" появиться в произвольной точке временно'го интервала (A,B).

Описанное построение было выполнено в предположении, что мы фиксировали некоторый вариант введения кратных максимумов у графиков объема летописей. Таких вариантов, конечно, много. Рассмотрим все такие варианты и для каждого из них подсчитаем число p'(X,Y), после чего возьмем наименьшее из всех получившихся чисел. Обозначим его через p''(X,Y). То есть, мы минимизируем коэффициент p'(X,Y) по всем возможным способам введения локальных максимумов у графиков vol X(t) и vol Y(t).

Наконец, вспомним, что при подсчете коэффициента p''(X,Y) летописи X и Y оказались в неравноправном положении. Дело в том, что выше мы рассматривали "n-мерный шар" радиуса r(X,Y) с центром в точке a(X). Чтобы устранить возникшее неравноправие между летописями X и Y, просто поменяем их местами и повторим описанную выше конструкцию, взяв теперь за центр "n-мерного шара" точку a(Y). В результате получится некоторое число, которое мы обозначим через p''(Y,X). В качестве "симметричного коэффициента" p(X,Y) мы возьмем среднее арифметическое чисел p'(X,Y) и p''(X,Y), то есть

p(X,Y)= (p''(X,Y) + p''(Y,X)) / 2.

Для наглядности поясним смысл "предварительного коэффициента" p'(X,Y) на примере графиков объема с всего лишь двумя локальными максимумами. В этом случае оба вектора a(X)=(x₁,x₂,x₃) и a(Y)=(y₁,y₂,y₃) являются векторами в трехмерном евклидовом пространстве. Концы этих векторов лежат на двумерном равностороннем треугольнике L, отсекающем от координатных осей в пространстве R³ одно и то же число B - A. См.рис.3.8. Если расстояние от точки a(X) до точки a(Y) обозначить через |a(X)-a(Y)|, то множество K - это пересечение треугольника L с трехмерным шаром, центр которого находится в точке a(X), а радиус равен |a(X)-a(Y)|. После этого нужно подсчитать количество "целых точек" (то есть точек с целочисленными координатами) в множестве K и в треугольнике L. Взяв отношение получившихся чисел, мы и получим коэффициент p'(X,Y).

При конкретных вычислениях удобно пользоваться приближенным способом вычисления коэффициента p(X,Y). Дело в том, что подсчет числа "целых точек" в множестве K довольно затруднителен. Но оказывается эту трудность можно обойти, перейдя от "дискретной модели" к "непрерывной модели". Хорошо известно, что если (n-1)-мерное множество K в (n-1)-мерном симплексе L достаточно велико, то число "целых точек" в K примерно равно (n-1)-мерному объему множества K. Поэтому с самого начала в качестве "предварительного коэффициента" p'(X,Y) можно брать просто отношение (n-1)-мерного объема K к (n-1)-мерному объему L, то есть

Например, в случае двух локальных максимумов в качестве коэффициента p'(X,Y) следует взять отношение:

Конечно, при малых значениях B-A, "дискретный коэффициент" и "непрерывный коэффициент" различны. Но в наших исследованиях мы будем иметь дело с временны'ми интервалами B-A в несколько десятков и даже сотен лет, так что для интересующих нас целей можно, не делая большой ошибки, уверенно пользоваться "непрерывной моделью" p'(X,Y). Точные математические формулы для подсчета "непрерывного коэффициента" p'(X,Y) приведены в работе [375], с.107.

Укажем еще одно уточнение описанной статистической модели. При работе с конкретными графиками объема исторических текстов следует "сглаживать" эти графики, чтобы устранить мелкие случайные всплески. Мы проводили такое сглаживание графика, "усредняя по соседям", то есть заменяя значение функции объема в каждой точке t на среднее арифметическое трех значений функции, а именно, в точках t-1, t, t+1. В качестве "окончательного коэффициента" p(X,Y) следует взять его значение, подсчитанное для таких "сглаженных графиков".

Сформулированный выше принцип корреляции максимумов подвердится, если для большинства пар заведомо зависимых текстов X и Y коэффициент p(X,Y) окажется "малым", а для большинства пар заведомо независимых текстов, напротив, "большим".

_