close

Вход

Забыли?

вход по аккаунту

?

Геометрические алгоритмы в задаче анализа независимых компонент с переполненным базисом..pdf

код для вставкиСкачать
УДК 681.3.07; 004.032.26
ГЕОМЕТРИЧЕСКИЕ АЛГОРИТМЫ В ЗАДАЧЕ АНАЛИЗА НЕЗАВИСИМЫХ
КОМПОНЕНТ С ПЕРЕПОЛНЕННЫМ БАЗИСОМ
Е.Н. Бормонтов, В.И. Клюкин, Д.А. Тюриков
Проведено исследование точности восстановления смешивающей матрицы с использованием
геометрических алгоритмов. Предложен новый алгоритм поиска коэффициентов матрицы смешивания.
Рассмотрена проблема восстановления источников в условиях переполненного базиса
Ключевые слова: геометрический алгоритм, адаптивный фильтр, искусственная нейронная сеть (ИНС)
Адаптивные
фильтры,
использующие
метод анализа независимых компонент (АНК),
являются
сравнительно
новыми
и
перспективными
разработками
в
области
цифровой обработки сигналов. Первоначальная
структура, предложенная Herault и Jutten (рис.1),
где S(t) – набор векторов-строк сигналов
источников, X(t) –наблюдаемых сигналов,
получаемый из S(t) с помощью неизвестной
матрицы смешивания А согласно (1), W – матрица
весов нейронной сети (НС), использовала
рекуррентную НС, в дальнейшем более
целесообразным
оказалось
применение
однослойных ИНС прямого распространения [1].
Из рис.1 следует, что сигналы на выходах ИНС
имеют вид (2), т.е. задача фильтрации сводится к
поиску значений коэффициентов матрицы весов
W.
Х = АS
(1)
значительно проще в программировании, но
эффективен только для супергауссовых сигналов.
Однако, как будет показано ниже, при некоторой
модификации,
возможности
геометрических
алгоритмов могут быть значительно расширены.
Для простоты ограничимся случаем m=2,
когда на вход адаптивного фильтра поступают
два вектора-строки измеряемых сигналов X. Из
сравнения диаграмм рассеяния источников S
(рис. 2а) и полученных смесей X (рис. 2б) видно,
что умножение на матрицу смешивания А
эквивалентно повороту независимых компонент
на некоторые углы φ1 и φ2 в плоскости x1Ox2, т.о.
коэффициенты А можно представить следующим
образом:
⎛ cos(ϕ1 ) cos(ϕ 2 ) ⎞ ,
⎟⎟
A = ⎜⎜
⎝ sin(ϕ1 ) sin(ϕ 2 ) ⎠
(3)
Рис. 1. Блок-схема адаптивного фильтра на ИНС
Y=WX,
(2)
Классическая задача АНК с квадратной
матрицей смешивания А достаточно эффективно
решается с помощью алгоритмов fastICA [1] и
натурального градиента [2]. Для неквадратных
матриц смешивания m×n при m>n решение легко
сводится к классическому простым понижением
размерности входных данных. В противном
случае, когда количество смесей m меньше
количества источников n, можно выделить два
основных подхода: использование метода
переполненного базиса [3] или геометрических
алгоритмов
[4-6].
Применимость
первого
ограничивается математической сложностью и
большими вычислительными затратами, второй
Бормонтов Евгений Николаевич – ВГУ, д-р физ.мат. наук, профессор, тел. 8-915-581-75-22
Клюкин Владимир Иванович – ВГУ, канд. техн.
наук, доцент, тел. 8-903-656-77-88
Тюриков Дмитрий Александрович – ВГУ, аспирант,
тел. (473) 290-57-15
Рис. 2. Геометрическая интерпретация
умножения на матрицу А
следовательно восстановление матрицы А
сводится к отысканию углов φi количество
которых в общем случае равно n .
Ввиду серьезных ограничений известного
алгоритма geoICA [6] предлагается новый
геометрический
алгоритм
histgeo,
схему
функционирования которого можно представить
следующим образом:
- строится диаграмма рассеяния компонент
вектора X;
- рассчитывается распределение
вероятностей f=f(φ) (рис. 3);
плотности
- значения f(φ) обрабатываются с помощью
цифрового фильтра скользящего среднего;
- определяются
места
возможной
локализации минимумов функции
g(φ), где
g(φ) – обработанная фильтром f(φ);
- с помощью алгоритма градиентного спуска
уточняются значения φi;
- используя (3), вычисляются коэффициенты
матрицы оценки M;
Рис. 4. Оценка смешивающей матрицы для 3х
сигналов с распределением Лапласа
- сходство матриц А и М оценивается с помощью
ошибки взаимного влияния Er(A, M) [6]:
⎛ − 0.878 − 0.124 − 0.596 ⎞ (6)
⎟⎟
MgeoICA = ⎜⎜
⎝ − 0.480 − 0.992 − 0.803 ⎠
⎛ − 0.588 − 0.857
Mhistgeo = ⎜⎜
⎝ − 0.809 − 0.515
0.122
0.993
⎞ (7)
⎟⎟
⎠
Таблица 2
Ошибка взаимного влияния Е(А, М)
Er(A, Mhistgeo)
№ этапа
Er(A, Mgeoica)
1
0.067
0.051
2
1.573
0.042
Рис. 3. Функция обучения ИНС
Er( A, M ) = min M ∈П A − MLP ,
На втором этапе с помощью матрицы А
(4)
где П - группа всех обратимых действительных
матриц (n×n), L – масштабирующая матрица, P –
матрица перестановок.
Анализ работы алгоритма histgeo и
сравнение его с geoICA проводилось в среде
математического моделирования Matlab 7.5 в два
этапа. На первом сгенерированные случайным
образом три сигнала S с распределением Лапласа,
коэффициенты эксцесса которых приведены в
верхней строке табл.1, смешивались с помощью
матрицы А
⎛ − 0.820 − 0.119 − 0.718⎞ ,
⎟⎟
A = ⎜⎜
⎝ − 0.482 − 0.818 − 0.972⎠
(5) а затем с использованием рассматриваемых
алгоритмов вычислялась оценка М матрицы (5).
Результаты оценки углов φi приведены на рис.4,
где тонкие линии соответствуют исходной
матрице А, а толстые – восстановленной М, вид
М для geoICA и histgeo – в (6), (7),
соответственно, ошибка взаимного влияния – в
верхней строке табл.2. Видно, что в этом случае
оба алгоритма одинаково успешно справились с
поставленной задачей.
Таблица 1
Коэффициенты эксцесса сигналов S
№ этапа
1
2
kurtS1
31.7
6.2
kurtS2
35.9
7.3
⎛ − 0.617 − 0.546 − 0.752 ⎞
⎟
A = ⎜⎜
0.210 − 0.617 ⎟⎠
⎝ 0.618
(8)
смешивались три аудиосигнала, которые, строго
говоря (это следует из нижней строки табл.1), уже
не являются супергауссовыми, что обычно сильно
снижает точность работы геометрических
алгоритмов. Действительно, из диаграммы
рассеяния (рис.5), вида матриц М (9), (10) и
значений ошибки взаимного влияние (нижняя
строка табл.2) следует, что алгоритму geoICA не
удалось решить задачу (только один из углов
определен верно), в то время как результаты
histgeo оказались более убедительными, о чем
свидетельствует и форма восстановленных
сигналов (рис.6), полученная с помощью
алгоритма наикратчайшего пути [4].
⎛ − 0.062 − 0.940 − 0.948 ⎞
⎟
MgeoICA = ⎜⎜
0.319 ⎟⎠
⎝ − 0.998 0.341
(9)
⎛ − 0.934 − 0.719 − 0.766 ⎞ (10)
⎟
Mhistgeo = ⎜⎜
0.695 − 0.643 ⎟⎠
⎝ 0.358
kurtS3
40.1
26.4
Рис. 5. Оценка смешивающей матрицы
для 3х аудиосигналов
Приведенные данные показывают, что
алгоритм histgeo позволяет верно оценивать
элементы матрицы смешивания в условиях
недостатка информации об источниках сигналов,
причем даже с не сильно выраженной
супергауссовой формой. Конечно с увеличением
количества источников, входящих в смесь, делать
правильную оценку матрицы смешивания
становится труднее, т.к. экстремумы функции
g(φ) становятся менее выраженными и не
Рис. 6. Форма исходных сигналов и восстановленных с помощью алгоритма наикратчайшего пути
исключено попадание решения в один из
локальных
минимумов.
Возможно,
что
дальнейшая оптимизация алгоритма поиска
позволит расширить границы применимости
геометрических методов и повысит точность его
работы в сложных условиях.
Литература
1. A. Hyvarinen, J. Karhunen, E. Oja. Independent
component analysis. John Wiley & Sons, 2001.
2. S. Amari, A. Cichocki A new learning algorithm
for blind signal separation. In Advances in Neural
Information Processing Systems, pp. 757-763, San Mateo
(Calif.), 1996.
3. T. Lee, M.S. Lewicki, T.J. Sejnowski, Blind
source separation of more sources than mixtures using
overcomplete representations IEEE Signal Processing
Letters, vol. 6, no. 4, pp. 87–90, 1999.
4. P. Bofill, M. Zibulevsky. Blind separation of
more sources than mixtures using sparsity of their shorttime
fourier transform. Proc. of ICA 2000, pp. 87–92, 2000.
5. C.G. Puntonet, A. Prieto, C. Jutten, M.R.
Alvarez, J. Ortega. Separation of sources: a geometry-based
procedure for reconstruction of n-valued signals. Signal
Processing, vol. 46, pp. 267–284, 1995.
6. F.J. Theis. A geometric algorithm for
overcomplete linear ICA. B. Ganslmeier, J. Keller, K.F.
Renk, Workshop ReportI of the Graduiertenkolleg, pages
67-76, Windberg, Germany, 2001.
Воронежский государственный университет
GEOMETRIC ALGORITHMS FOR OVERCOMPLETE INDEPENDENT COMPONENT
ANALYSIS
E.N. Bormontov, V.I. Kljukin, D.A. Tjurikov
A study of accuracy of recovery the mixing matrix using geometric algorithms is done. A new algorithm for finding
coefficients of the mixing matrix is proposed. Source recovering for case of overcomplete
independent component analysis is considered
Key words: geometrical algorithm, adaptive filter, artificial neural network
Документ
Категория
Без категории
Просмотров
4
Размер файла
781 Кб
Теги
анализа, компонентов, базисов, алгоритм, независимой, pdf, задачи, геометрические, переполненным
1/--страниц
Пожаловаться на содержимое документа