close

Вход

Забыли?

вход по аккаунту

?

3113.РАЗРАБОТКА КОМПЬЮТЕРНЫХ ПРОГРАММ И ВАРИАЦИОННО-СТАТИСТИЧЕСКИЙ АНАЛИЗ ЭКСПЕРИМЕНТАЛЬНЫХ ДАННЫХ В ПЛОДОВОДСТВЕ

код для вставкиСкачать
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
На правах рукописи
Фролова
Светлана Викторовна
РАЗРАБОТКА КОМПЬЮТЕРНЫХ ПРОГРАММ И
ВАРИАЦИОННО-СТАТИСТИЧЕСКИЙ АНАЛИЗ
ЭКСПЕРИМЕНТАЛЬНЫХ ДАННЫХ В ПЛОДОВОДСТВЕ
Специальность 06.01.07- плодоводство, виноградарст]
Автореферат
Диссертации на соискание ученой степени
кандидата сельскохозяйственных наук
МИЧУРИНСК - 2003
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Диссертационная работа выполнена в Мичуринском государственном
аграрном университете (МичГЛУ)
Научные руководители:
доктор сельскохозяйственных наук,
профессор, лауреат государственной премии
Российской Федерации, заслуженный деятель науки
Российской Федерации
Потапов Виктор Александрович
кандидат физико-математических наук, доцент
Петрушин Владимир Николаевич
Официальные оппоненты:
доктор сельскохозяйственных наук,
профессор Бутенко Анатолий Иванович
кандидат сельскохозяйственных наук Щербенёв Геннадий Яковлевич
Ведущая организация:
Саратовский государственный аграрный университет им.
Н.И.Вавилова.
Зашита диссертации состоится 24 « декабря » 2003 г. в 13 й на
заседании диссертационного совета Д 220.041.01. при Мичуринском
государственном аграрном университете (МичГЛУ) по адресу: 393760,
Тамбовская область, г. Мичуринск ул. Интернациональная, 101.
С диссертацией можно ознакомиться в библиотеке Мичуринского
государственного аграрного университета.
Автореферат разослан 21 « ноября » 2003 г.
Отзывы на автореферат в двух экземплярах, заверенные и скреплённые
гербовой печатью, просим направлять учёному секретарю диссертационного
совета.
Учёный секретарь диссертационного совета Д220.041.0!.. кандидат
сельскохозяйственных наук, старший научный сотрудник
Н.В. Андреева
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Обшан характеристика работы
Актуальность цаботы
Установлено, что применение статистических методов позволяет
определить необходимое количество основных показателей,
которые
относительно полно характеризовали бы конкретную совокупность,
сформировать репрезентативные выборки из генеральных совокупностей,
сделать надежные заключения о различиях, установить наличие или
отсутствие связей между различными признаками.
Важной задачей вариационной статистики, которая успешно решается
при грамотном использовании се методов,
является оптимизация
экспериментов, означающая получение максимально возможного количества
информации при минимальных затратах труда, средств и времени на
проведение исследований.
Математическая статистика позволяет оценить экспериментальные
данные в отношении точности результатов и достоверности выводов, т.е.
установить те допустимые пределы, в которых сделанные выводы являются
опрелелёнными и достаточно надежными. Большое значение статистические
методы имеют для разыскивания связи, сопряженности, соотношения или
корреляции между изучаемыми показателями.
Методы математической статистики не вскрывают сущности и причин
явлений (хотя и значительно помогают этому), но описывают, формулируют
количественную сторону этих явлений.
Знание современных методов статистической обработки необходимо не
только для количественной характеристики наблюдений и полученных в
опыте данных, но и на всех этапах эксперимента от планирования до
интерпретации окончательных результатов.
На кафедре плодоводства Мичуринского государственного агрзрного
университета (МичГАУ,
бывший Плодоовощной институт имени
И.В.Мичурина) профессором Будаговским В.И. селекционным путем были
получены морозостойкие и зимостойкие слаборослые клоновые подвои
яблони. На их основе стато возможным создание и
возделывание
интенсивных высокопродуктивных слаборослых садов в средней полосе
России и других регионах с суровыми климатическими условиями.
Исследования с этими подвоями по многим аспектам ведутся в
ряде научных учреждений России и других стран, необходимость
применения статистических методов в оценке различий, а также специфика
опытов в плодоводстве и явились основанием для выполнения настоящей
диссертационной работы.
Цель и задачи исследований
Цель работы - разработка комплексной компьютерной программы
вариационно-статистического анализа экспериментальных данных в
плодоводстве.
•
.
ф->>д 1^«-)ной литере тур**
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Члллчн
разработка,
написание, ., тестирование
(проверка
правильности работы) программы на примерах различных плоловых
объектов по разлелам:
и вычисление среднею
арифметическою, среднею квадратичною
отклонения, ошибки среднею арифметического,
коэффициента
вариации, точности определения среднего арифметическою;
определение существенности различий между выборками;
и определение
существенности
различий
между
сопряженными
выборками;
и определение % сопряженности и существенности различий при данной
проценте сопряженности;
и определение необходимою числа повторносгей;
и выбраковка сомнительных показателей;
и опенка принадлежности выборки к нормальному распределению;
и определение коэффициента корреляции, уравнение ретрессии;
а дисперсионный анализ однофакторнога опыта, заложенного по
стандартной схеме;
•• •
и дисперсионный анализ однофаюорного опыта, заложенного по методу
рендомизированиых повторений;
и дисперсионный анализ однофакгорного опыта, заложенного по методу
рендомизированиых
повторений, с восстановлением
выпавших
делянок;
^и дисперсионный анализ двухфакюрного опыта;
и схема опрелеления существенности различий одночисловых данных по
трушговым средним.
Анализ и оценка полученных тестов для различных показателей роста
и плодоношения яблони.
Научная новизна и п р а к т и ч е с к а я ценность
Впервые был предложен системный программный подход к
вариационно-статистическому
анализу экспериментальных
данных
в
плодоводстве. Разработанная программа содержит плотно взаимосвязанные
между собой алгоритмы обработки данных, т.е.'для одних и тех же выборок
выводится к анализу комплекс различных характеристик, а также имеется
сравнительная характеристика для различных генеральных совокупностей
(одновременно можно сравнивать статистические характеристики или
устанавливать существенность различия перебором попарно 100 выборок).
Впервые предложена компьютерная программа определения существенности
различий между сопряженными выборками, а также процента сопряженности
и
определения
существенности
различий
при
данном
проценте
сопряженности. Впервые предложена программа определения необходимою
количества повторносгей и выбраковки сомнительных
показателей.
Приведены алгоритмы определения принадлежности выборки нормальному
распределению и построения уравнения линейной зависимости. Впервые
предложено
использование
программного
хчгоритма
проведения
дисперсионного анализа с выпавшими во время опыта данными. Впервые
4
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
повторений. Впервые предложен компьютерный вариант схемы
дисперсионного анализа с различным количеством новторностей.
С теоретической точки зрения - приведен алгоритм использования теории
больших уклонений для оценки объема повторной выборки при отсутствии
сведений о распределении генеральной совокупности, использование
которого позволяет плодоводам корректно ставить опыты и эксперименты и
правильно использовать для анализа полученных результатов атгоритмы
вариационной статистики.
Впервые предложена схема оценки
существенности различий одночисловых данных по групповым средним.
Апробация работы
Основные результаты исследований были доложены на заседаниях
кафедры плодоводства МнчГау; международных
научно-методических
конференциях «Методика исследований и вариационная статистика в
научном плодоводстве» (Мичуринск, 1998), «Роль сортов и новых
технологий в интенсивном садоводстве» (Орёл, 2003)
Публикация результатов исследований
По материалам диссертации опубликовано 8 статей и методические
рекомендации.
Объём и структура диссертации
Диссертация изложена на 150 страницах машинописного текста и
включает обоснование, восемь глав, выводы и практические рекомендации;
содержит 28 таблиц, 1 рисунок, список использованной Л1пературы состоит
из 148 источников, в том числе на иностранном языке -15.
На защиту выносятся следующие основные положения:
1. Новые и усовершенствованные методики исследований
плодовых объектов в вариационной статистике.
2. Обоснование применения теории больших уклонений для оценки
объема повторной выборки при неизвестном распределении
генеральной совокупности.
3. Применение алгоритмов обработки экспериментальных данных с
использованием новых информационных технологий с
саженцами плодовых деревьев.
Результаты исследований
Во введении обоснована актуальность темы, определена научная
новизна и практическая ценность.
ГЛАВА 1. Обзор литературы
Осуществлён обзор публикаций и других литературных данных,
касающийся исследовании и достижений в вариационной статистике, а также
в плодоводстве, в частности сведения о сорто-полвойных комбинациях и
вариационно-статистических
исследованиях
непосредственно
в
плодоводстве.
ГЛАВА 2. Условия и объекты исследований
Условия проведения исследований
Исследования проведены в 1998 - 2003 гг. при кафедре плодоводства
Мичуринского государственного аграрного университета (МнчГЛУ) 5
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
бывший Плодоовощной институт им. И.В. Мичурина (1931-1994 гг.) и
Мичуринская государственная сельскохозяйственная академия (1994-1999),
в питомнике учхоза "Комсомолец".
Объектами исследований, проведения первичных учетов, являлись
данные кафедры плодоводства МичГЛУ. Экспериментальные замеры,
полученные автором в питомнике учхоза "Комсомолец" - конкретные формы
подвоев, сортоподвойные комбинации (саженцы сортов: Уэлси, Северный
Синап, Жигулевское, Лобо на подвоях 54-118,62-396, 69-6-217).
ГЛАВА 3 . Средние величины н их характеристики
Описываются основные вариационно-статистические характеристики и
алгоритмы, которые использованы при создании программы, а также
Теоретическое обоснование и примеры их использования по различным
показателям плодовых культур (величины окружности штамбов саженцев,
количество почек, высота стебля и др.). Для определения тех или иных
величин в программе при обработке данных использовались следующие
формулы.
Если сумму всех вариант (xi •*- х2 + ...+х„) обозначить через У_х, а
число всех вариант через п, то формула для определения среднего
- Ух
арифметического примет следующий вид: х - • —
п
для вычисления дисперсии и среднею квадратичного отклонения
,
2 S(JC-.v)"
используются формулька - — *
—
л—1
JC - отдельное наблюдение
Л(х-х)
0"= S = \|——
— , где
х - среднее арифметическое выборки
п - объём выборки
Коэффициент вариации вычисляют по формуле:
S ,Лп
х • среднее арифметическое выборки
V = — -100, где
г
~t t
х
. S - среднее квадратичное отклонение выборки
Формула вычисления ошибки средней арифметической имеет вид:
т = —к?,
где т— ошибка выборочного среднего арифметического;
V/J
s — среднее квадратическое отклонение;
п — число игыерений, повторностей.
Точность среднего арифметического определяют по формуле:
р = — • 100, где т— ошибка выборочного среднего арифметического;
х
х-среднее арифметическое выборки
Критерий существенности или достоверности разности:
/ - -jl=L^™=- =
Ы* пи
пи
,
где d-разность средних арифметических
mj - ошибка этой разности
6
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
ГЛАВА 4 . Показатели учётов
Важной задачей любого исследователя является вычисление объёма
вторичной выборки для оценки числовых характеристик распределения
любого количественного признака, являюшегося одним из биологических
показателей растения.
Объекты исследований приведены в таблице:
I. Длина окружности штамбов яблони сорта Пении шафранный на третий гол
после посадки (см)
10.6 11.9 11,5 11,5 J.4..
10.2 12.4 12,1 10,4 11,7 12.1 12,7
13,8
14J
14.8
10.6"
11,6
11,9
11.8
12.2
11,8
12Л
11,6
14,6
13,4
10,7
12,2
12,9
11,8
10,9
10.9
123
"2.
12,4
14.0
12,1
123
12,2
12,1
12,7"
133
12,0
12.7
12,7
113 9,7
10,9 11.6
10,7 12.2
13.6 13,7
11,2 12,2
11,9
11,8
10,6
10,9
12,7
10,7
"г»
13,0
14.8
11,6
12,9.
12.2
14,8
14,8
12,1
14,1
Объём выборки п=75, размах варьирования R = J f w ~Хт ~,4,8~9,7 = WC»»).
Среднее значение X = \2Цсм), дисперсия а 2 = 1,43.
Выборка репрезентативна (т.е.
даёт устойчивые оценки чистовых
характеристик распределения генеральной совокупности), так как при
у-0,996 т 0,894 размах выборки составляет 0,9+0,95 размаха генеральной
совокупности. Проверка по критерию Пирсона показала, что с надёжностью
у-0,99
у нас нет оснований отвергнуть гипотезу о нормальном
распределении генеральной совокупности. Следовательно, можно считать,
что выборочная средняя подчиняется t-распределению Стьюдента. Объём
вторичной выборки при этом определяется по формуле:
t Уа
.V
«ч)е / - значение критерия Стьюдента для выбранной надёжности
выборки.
Л - выборочная точность оценки среднего значения.
у объёма первичной
При 7=0,95; Д=0,5 см мы получили п-23.
Такой объём вторичной выборки дал результаты, которые наталкивают на
мысль о неустойчивости оценок
2. Значения средни» и cooi BCICI вующш им дисперсий
! 12,3
11,8
12,3
12.2
12,5
1,73
1,87
1,08
0,72
2,0
Пять различных выборок объёмом 23 дают приемлемую оценку
средней, но значения
а2 отличаются слишком значительно, чтобы их
считать устойчивой оценкой.
. Если же делать расчёт объёма выборки на основании эмпирических
данных, используют теорию больших уклонений,
Л'
7
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
_
l^l
" " гоет(//(U -Л).Н(Ы • Л ) ) '
IW л - обьем в горочной выборги.д&ощий ро«*нтерьА1ьнуюоценгу средней
с погрешностью Л и ьале-шностыо/.
n
ч
/• *
Ее 1 '
v ; —V
f =
-*-
Л так /t
Af = -
и
нормированное ь аблюдаемое змачеие окружности штамба
Л пи) JI
•х«„„
Х*ни\П ~ ХвпьН
-\р - абсолютная потрсшносп».
л=-
Хтьш\1* Л mm в
Объём вторичной выборки при Y"0.95; д=0,5 см по эмпирическим
данным равен 35.
По пяти рахчичным выборкам этого объёма получены следующие
оценки средней и дисперсии:
X
о2
12,2
1,58
1 12,5
1,56
i 12,4
1,73
12,3
1,39
12.3
1,77
По сравнению с вычислениями в предположении нормального
распределения получены гораздо более устойчивые оценки числовых
характеристик генеральной совокупности.
С учётом ошибки в оценке среднего квадратичного отклонения, объём
вторичной выборки получаем из формулы
Л'
При у^0,95; Ппи^ЗО.
При таком объёме вторичной выборки получены (по пяти различным)
следующие оценки числовых характеристик генеральной совокупности:
12,0
1,48
I2J
1,62
12,5
12,05
12,4
1.41
12,3
1,31
Полученные оценки близки к эмпирическим, причём их изменчивость
существенно ниже той, которая получается без учёта ошибки среднего
квадратического отклонения.
Такая оценочная разница обусловлена рядом причин: критерий Пирсона
является мягким критерием, т.к. оценивает плотность распределения
вероятностей и слишком зависит от способа группировки данных; оценка
объёма вторичной выборки по t- распределению Стьюдента по идеально
плавно меняющейся симметричной кривой без всяких ограничений на
значение аргумента, что в природе встретить практически невозможно;
числовые оценки, получаемые из первичной выборки, приближенны, и дают
приближенное значение объёма вторичной выборки. Поэтому целесообразно
8
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
для расчёта объёма применять теорию больших уклонений, которая не
требует предварительной оценки распределения количественного признака,
пригодна как для непрерывных так к дискретных случайных величин, либо,
при применении каких-либо распределений, учитывать ошибки в оценках
параметров этих распределений по первичной выборке.
Формула для определения необходимой численности выборки (п):
t 2 (l±k)o 2
п -
, где
Л"
i - критерий ожидаемой вероятности результата
с/среднее квадратическое отклонение (определяют предварительно пробными
выборками);
Л- допустимая погрешность при изучении конкретного показателя, определяется
исследователем;
к - коэффициент.
Уравнение кривой нормального распределения должно иметь такой вид:
Она представляет непрерывную, плавную, симметричную кривую, которая
называется нормхтьной вариационной кривой, где
Рх — пютность вероятности появления переменной х;
о— среднее квадратическое отклонение;
п — постоянное число, равное 3,14159...;
е—основание
натуральных логарифмов, равное 2,71823...;
х— варьирующий признак.
Нормированное отклонение определяется формулой:
ГЛАВА 5 . Оценка различий
Получаемые статистические характеристики необходимы не столько сами по
себе, сколько для сравнения или сопоставления между собой пар выборок,
для которых получены данные величины, так как порой очень важно оценить
существование или отсутствие влияния изучаемого фактора на исследуемые
величины.
Имеется много разных способов определения существенности
различий между выборками. Одним из таковых является t -критерий
существенности Сгьюлента. Существенность разности определяется
по формуле:
,_J*13J „ - * • • • '
\Рх,
-Л,
'
где J-разность средних, Sj- ошибка этой разности.
Но t -критерий указывает на существенность различий лишь в том
случае, когда они (различия) закономерны, неслучайны. А как быть, если эти
различия незакономерны, но каждый элемент выборки (после воздействия на
9
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
опытные растения исследуемым фактором) превосходит (либо меньше)
соответствующий ему элемент искомой выборки. Такие выборки выделены в
отдельный класс и называются сопряженными. Для выявления
существенности различий между такими выборками имеется следующая
формула.-
Д5Угде
S 4-ОшиОкаpawocmu средних арифметических,
d - Разность мело)у соответствующими парами выборок,
п - Количество элементов,
Xd - средняя разность.
Коэффициент корреляции вычисляется по формуле:-
Т.У
\Lx
гдехиу-
значения величин на&1К>даемых признаков.
г- Коэффициент линейной связи, близость его к 0 означает либо отсутствие
связи либо - связь нелинейную.
Вычисление значений коэффициентов а и b в уравнении регрессии:
Цх-xj
п
"
ГЛАВА 6. Стационарный опыт
Стационарные опыты при изучении различных технологических вопросов
в садоводстве закладывают в основном трех видов, с размещением вариантов
но той или иной схеме: стандартные (контрольные варианты чередуются
через один, два или три варианта испытуемых), систематические (с
олинаковой послеловательностью размещения вариантов в повторениях) и
опыты со случайным (ренломизированным) размещением вариантов в
повторениях.
Повторность опытов обычно применяют трех
четырехкратную.
В данной главе подробно описаны алгоритмы однофакторного и
двухфакторного дисперсионного анхтиза с одинаковым и различным числом
гювгорностей, а также с восстановлением выпавших данных.
Здесь же описан алгоритм анализа олночисловых данных, описанный ниже.
В статистической и научной литературе по разным специальностям, в
журналах, статьях, авторефератах и других изданиях часто приводятся
данные, не подтверждённые вариационно-статистическими показателями,
что очень затрудняет, а скорее исключает надёжность их оценки и
10
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
достоверность положительности или отрицзгельности вариантов и
результатов.
Однако приведенные данные не дают оснований для достоверного
определения наиболее урожайных сортов и существенности различий между
конкретными сортами.
Для оценки достоверности превосходства урожайности того или иного
сорта необходимо вычислить НС? по имеющимся данным.
Как уже было замечено ранее для вычисления НСР (проведения
дисперсионного анализа) необходимо наличие значений нескольких
вариантов по некоторым повторностям, а именно матрицы.
Для получения таковой матрицы мы значения олночисловых данных,
считаем вторым столбцом, а первый и третий столбец получаем, прибавляя и
отнимая соответственно допустимую 10% погрешность значений.
ГЛАВА 7. Руководство по пользованию компьютерной
программой.
Данное руководство помогает использовать программу как людям,
работающим с вычиелтгельной техникой, так и мало знакомым с ней.
Для того чтобы запустить программу статистической обработки
данных на выполнение, можно воспользоваться одним из любых имеющихся
для этого способов, опишем наиболее простой из них, для пользователей
мхто связанных с вычислительной техникой, или совсем не работающих на
ней. При включении компьютера на большинстве из современных машин,
автоматически загружается системная программа, предназначенная для
удобства общения между пользователем и компьютером, операционная
оболочка (система) WINDOWS. При этом на экране появляется рабочий стол,
на котором располагаются значки некоторых программ. Один из них - это
значок необходимой нам программы, которая" имеет имя — ASTRA
(ASTRA.EXE).
Теперь для запуска программы, нам остается подвести указатель
мышки к искомому значку и дважды (непрерывно) щелкнуть правой кнопкой
мыши.
При запуске программы на экране появляется окно, изображенное на рисунке
ниже, в котором имеются пронумерованные пункты меню возможной
проработки программы, а также место для ввода цифры определяющей
соответствуюший ей пункт. Совсем не обязательно соблюдать
последовательность ввода пунктов, так как все необходимые промежуточные
величины будут вычисляться автоматически. После каждого выбираемого
вами пункта меню вам будет предложено ввести величины, касающиеся
вашего личного опыта. После проработки программы по выбранному пункту
и получению результатов, вам предложат закончить работу (если вы
вычислили всё, что хотели) или вернуться к пунктам главного меню. При
возврате к меню, вы вновь можете выбрать один из предложенных пунктов, и
вам будут выданы соответствующие результаты. Назад в меню можно
возвращаться сколько угодно раз, обсчитывая те или иные параметры для
введенных единожды выборок. Почти все вычисляемые величины могут
II
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
сразу вычисляться для нескольких выборок (не больше 100). Для получения
результатов по новому опыту работу с программой необходимо закончить и
запустить программу заново. Если при наборе ланных была допущена
ошибка, набранные данные можно спереть клавишей
•«-Backspace
Но нельзя вносить изменения после ввода данных, если уже нажималась
клавиша
J Enter
В этом случае, для новых данных, программу придется запускать заново.
Таким образом, ввод данных всегда подразумевает нажатие клавиши
J Enter
Далее рассмотрим, как работает вышеупомянутая программа на примере
ланных, полученных
в питомнике учхоза «Комсомолец», а также
предоставленных научным руководителем В.Л.Потаповым и другими
сотрудниками МичГЛУ.
Внешний вид главного меню программы:
1. Вычисление среднего
арифметического,
среднего квадратичного
отклонения,
ошибки среднего
арифметического,
коэффициента вариации, точности
определения среднего
арифметического.
2. Определение существенности
различий • между выборками.
3. Определение существенности
различии между сопряженными
выборками.
4. Определение % сопряженности и
существенности различий при данном
проценте сопряженности.
5. Определение необходимого числа
повтори остей.
6. Выбраковка сомнительных
показателей.
7. Оценка принадлежности выборки
к нормальному распределению.
8. Определение коэффициента
корреляции, уравнение регрессии.
Дисперсионный анализ:
9. Однофакторного опыта.
10. Двухфакторного опыта.
11. Анализ одночисловых данных.
12
Введите номер необходимого пункта:
и нажмите клавишу Enter
Для выхода из программы
Введите - 0
?D
;
{
'
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Вычисление статистических характеристик
Для
вычисления
статистических
характеристик
(среднего
арифметического, среднего квадратичного отклонения, ошибки среднего
арифметического, коэффициента вариации, точности определения среднего
арифметического), нужно выбрать первый из пунктов предложенного меню и
нажать цифру 1.
При выборе этого пункта (первично), вас попросят ввести количество
повторностей для которых будут вычисляться данные величины. Л затем
будет необходимо ввести по одному элементы каждой обрабатываемой
выборки.
Рассмотрим несколько примеров выборок и их вариационностатистических характеристик по данным, полученным автором в питомнике
учхоза «Комсомолец» в 1998 году.. По мнению автора, исследования эти
являются интересными потому, что в них рассматриваются не малые (п<30),а
большие выборки.
Были сделаны замеры по двум сортам (Жигулёвское и Уэлси) на
карликовом (62-396) и полукарликовом (54-118) подвое. По каждому сорту
на отдельном подвое по 210 замеров (окружность штамбов саженцев, см).
1: Сорт-Жигулёвское, подвой 62-396
2: Сорт-Жигулёвское, полной 54-118
3: Сорт - Уэлси, подвой 62-396
4: Сорт- Уэлси, полной 54-118
Полученные данные были обработаны с помощью написанной нами
компьютерной программы по определению вариационно-статистических
характеристик выборочных величин.
Для указанных выше выборок, результат работы программы был
получен в следующем виде:
п
N
S
М
ст
М
р%
V%
1
210
136,6
0,65
0,16
0,01
2
25
2
210
157 J
0,75
0,16
0,01
2
22
3
210
132,2
0,63
0,13
0,01
1
21
4
210
165,1
0,79
0,19
0,01
2
24
п - Номер выборки
N - Количество элементов выборки
S - Сумма элементов выборки
М - Среднее арифметическое значение элементов выборки
а - Среднее квадратичное отклонение
m - Ошибка среднего арифметического
Р% — Точность определения среднего арифметического
V% -Коэффициент вариации
(При ручном подсчете нам бы пришлось просчитывать все эти
величины но формулам, представленным в главе 3, данной работы).
13
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Затем, нажатием одной клавиши, можно либо вернуться в меню и
обработать данные выборки по другим пунктам, либо закончить работу с
программой. Причем совсем не обязательно начинать с первого пункта,
работать можно и с каждым пунктом независимо от других, если в каком-то
из пунктов уже вводились обрабатываемые величины, то при вызове других
пунктов запрашиваемые результаты будут выводиться сразу.
Определение существенности различий между выборками
Для определения существенности различий на компьютере, при вызове
одноименного пункта меню нашей программы, после ввода данных выборок
изтаблиныЗ:
3. Окружности штамбов саженцев (тамеры получены автором в учхоте
«Комсомолец» осенью 1998 г.)
Жигулёвское
(62-396)
Жигулёвское
(54-118)
Уэлси
(62-396)
Уэлси
(54-118)
0,6
0,6
0,4
0,4
0,6
0.4
0,6
0,4
0,6
03
03
0,7
03
0,6
0,9
0,8
0,6
0,5
0,8
1.1
1,0
0,9
03
03
0,6
03
0,6
03
0,7
0.5
03
0,4
0,7
03
0,6
03
0.6
0,6
0,6
03
0,9
03
0,7
0,9
03
0,7
0,8
0,8
0,7
0,8
1.0
0,6
1,1
1,0
0,8
0,6
программа выдаст следующий результат:
t -критерий 1-2 выборками 2.87
t-критерий 1-3 выборками 0.57
t -критерий 1-4 выборками 5.04
t -критерий 2-3 выборками •• 2.12
t -критерий 2-4 выборками 1.18
t -критерии 3-4 выборками 3.77
Причём чуть ниже полученных данных высветятся необходимые для анализа
табличные значения.
Примечание: п данном пункте программы допускается обработка выборок, как с
одинаковым количеством элементов, так и с ратличным количеством, при этом
количество предлагаемых программе выборок для обработки должно быть не
меньше 2-х.
Определение
существенности
различий
между
сопряженными
выборками
Рассмотрим работу программы по определению существенности различий
между сопряженными выборками на примере количества почек .(шт.)
сажениев двухлеток сортов Лобо и Северный Синап на подвое 54-118
(замеры получены автором в учхозе Комсомолец осенью 1999 г.)
Лобо: 4 7 , 3 8 , 5 2 , 4 9 , 4 9 , 4 1 , 4 6 , 5 2
Северный
Синап: 3 9 , 3 5 , 3 9 , 4 4 , 4 4 , 4 0 , 4 5 , 5 1
Запустим программу на выполнение. Выберем пункт меню 3.
Введём данные но запросу программы (количество выборок, количество
элементов в выборках, значения элементов выборок)
Получим следующий результате -критерий 1-2 выборками - 3.11
14
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
t<ta.i =3,1 l(t*„T -3,11> t,^, "2,31) и убеждаемся, что разница существенна (в
пользу сорта Л обо).
Определение % сопряженности и существенности различии при
данном проценте сопряженности
Часто при исследовании возникают выборки, в которых не 100/о, а
иной % сопряженности, т.е. в 70,80 случаях из 100 наглядно видны различия,
но ни один из методов не укажет на существенность различий. Если отобрать
сопряженные пары, и исследовать полученные совокупности как
сопряженные выборки, то выявляется существенность различий. Рассмотрим
пример высот саженцев одного сорта на различных подвоях.
Данные для исследовании получены автором работы в питомнике учхота
«Комсомолец» осенью 1999 юла для саженцев двухлеток-:
СЕВЕРНЫЙ
СИНАП
54-118
СЕВЕРНЫЙ
СИНАП
69-6-217
50
60
70
90
99
120
73 108 109 128 90,7
104 105 110 109 107 101 56 119 118 108 103,7
Если мы запустим пункт 4. программы обработки данных, компьютер
выбракует не сопряженные пары (а их всего три из десяти имеющихся) и
исследует полученные выборки как сопряженные, мы получим:
% сопряженности между 1-й—2-й выборками =70%
t- Критерий 1-2 выборками 3.65
t$,„ - 3,65 > t,»^ = 2,23. Таким образом, мы получили, что при 70%
сопряженности различия между выборками существенны с точки зрения
высоты саженца, в пользу подвоя 69-6-217(хотя при других методах
существенность различий не была выявлена).
Примечание: в данном пункте программы допускается обработка выборок,
как с одинаковым количеством элементов, так и с различным количеством. При
вводе выборок с ратным количеством, лишние элементы больших выборок
«обрубаются», именно для обработки данных но этому пункту, при работе с другими
пунктами введенные выборки будут рассматриваться полностью.
Определение необходимого числа повторностей
Естественно, что все исследователи работают с выборками,
выборочными наблюдениями, замерами, анализами, вариационными рядами
и т.д., стремясь приблизиться к максимально возможной оценке генеральной
совокупности или, хотя бы достаточно большой популяции конкретных
растений, в том числе и плодовых. Как уже отмечаюсь ранее, существуют
правила, позволяющие получить максимально возможную информацию при
минимальных объемах выборок и, следовательно, при минимальных
затратах, а именно выяснилось, что объем выборки должен иметь границы,
зависящие от желаемой и возможной точности наблюдений, а также уровня
вероятности и вариабельности изучаемого показателя.
Рассмотрим работу программы по определению необходимого числа
повторностей на примере выборки высоты саженцев яблони на подвое
15
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
54-118, сорт Лобо, данные собраны в питомнике учхоза «Комсомолец»
осенью 1999 года.
После выбора соответствующего пункта меню программы
и ввода
следующих величин
| 82 | 54 | 99 1 100 | 44 | 80 | 91.5 I 104 | 107 | 103 | 54 | 135 | 75 | 102 1 109 | ИЗ |
Результатом программы получим:
Необходимое число повгорностей 0-19
п - Среднее =9.
Выбраковка сомнительных показателей
Для обработки данных но этому пункту меню вводим выборки,
которые необходимо проверить на наличие сомнительных показателей.
Результатом работы программы будут новые выборки, из которых уже
выбракованы сомнительные элементы.
Рассмотрим пример обработки данных программой по этому пункту.
1. Запустим программу на выполнение.
2. При появлении на экране главного меню программы, выберем пункт 6.
3. При запросе о количестве обрабатываемых выборок, введём цифру 1.
4. При запросе о вводе элементов выборки введём данные замеров
количества почек у саженцев двухлеток сорта Северный синап, подвой
54-118:
24
42
44
45
26
20
44
34
29
28
44
52
35
30
47
38
40
37
50
80
27
45
51
12
38
39
33
30
36 38
35 39
40 43
35
Ввод необходимо производить последовательно по одному элементу по мере
запроса программы.
_
...
В результате мы получим следующее:
Выборки имеют вид:
До выбраковки
.
1:24 26 2935 402738 36 38 42 20283037 453935 39 44 44 44
47 50 51 33 40 43 45 34 92 38 80 12 30 35
После выбраковки •
.
1:24262935 40 27 38 363842 20283037 45 39 35 3944 44 44
47 50 51 33 40 43 45 34 92 38 12 3035
Сомнительными в данной выборке на первый взгляд были 2 элемента 12 и 80, но выбракованным, в соответствии с вышеуказанной формулой,
оказался лишь один -80.
• •
Нужно заметить, что после выбраковки сомнительных элементов, в
программе происходит автоматический пересчёт всех статистических
характеристик, и уже новые характеристики будут использованы при
дальнейших исследованиях.
Оценка принадлежности выборки к нормальному распределению
При выборе данного пункта необходимо, как впрочем, и для вех
остальных пунктов при первичном вызове, ввести количество
обрабатываемых выборок, а затем и сами эти выборки. Программа по
16
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
данному пункту автоматически отбраковывает сомнительные элементы
выборок. Разбивает выборки на классы и находит частоты по каждому
классу, частоты фактические и теоретические и, если разница между
частотами не больше 5% - признаётся, что выборка имеет нормальное
распределение, в противном случае, что распределение не является
нормальным.
Так, например* при обработке данным пунктом выборок штамбов (см)
саженцев 2-х леток сорта Лобо (данные 1999 г.)
| 0.6 | 0.4 | 0.6 | 1.0 | 0.9 | t.0 | 0.8 | 1.0 | 1.0 | 0.1 | 0.7 | 0.8 | 0.9 | 1.1 | 1.1 |
Результатом будет следующее сообщение:
1-я выборка:
0.6 0.4 0.6 1.0 0.9 1.0 0.8 1.0 1.0 0.1 0.7 0.8 0.9 1.1 1.1
Имеет нормальное распределение
(Примечание: Сообщение 1-я выдаётся потому, что одновременно в этом пункте
могут обрабатываться несколько выборок)
(Примечание: все выше рассмотренные пункты программы взаимосвязаны
между собой, а именно при запуске программы можно выбрать один tu них и затем
закончить работу с программой или снова выбрать мин HI пунктов основного меню
программы и получить необходимую информацию об уже введенных данных)
Определение коэффициента корреляции и уравнение регрессии
Рассмотрим пример работы программы по определению корреляционных
связей (Сорт Антоновка обыкновенная)
Кленовые подвои
Л
1
г3
4
5
6
7
8
9
10
11
12
13
14
2-46-112
2-46-43
2-16-115
2-46-77
3-17-38
3-77-12
3-6-47
3-4-98
3-3-72
3-3-3
163-5-44
2-18-246
2-18-246
2-19-385
Окужность штамба, см
На 7-й год в саду
На 15-й гол в
салу
16
29
18
35
16
28
15
35
17
35
20
35
18
29
23
42
23
38
21
43
16
30
21
41
22
38
20
35
По запросу программы первоначально вводится количество обрабатываемых
выборок (их должно быть 2), а затем сами эти выборки (по запросу
программы выборки вводятся но одному элементу)
Коэффициент корреляции г=0.78
Уравнение регрессии имеет вид:
У=9.18+1.37х
17
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Дисперсионный анализ однофакторного опыта
При выборе данного пункта программы на экране компьютера высвечивается
новое меню, которое имеет следующий вид:
1. Дисперсионный анализ
однофакторного опыта, заложенного
по стандартной схеме.
2. Дисперсионный анализ
однофакторного опыта,
заложенного по методу
рейдом изиро ванных
повторений.
3. Дисперсионный анализ
однофакторного опыта,
заложенного по методу
рендочнзнрованных
повторений,с
восстановлением выпавших
делянок.
Введите номер необходимого пункта:
И нажмите клавишу Enter
Для выхода из программы
Введите - 0
?D
и предоставляется возможность обработки данных по одному из
предложенных алгоритмов:
Рассмотрим последовательно, как будет вестись обработка данных каждым
из этих пунктов программы.
I. Дисперсионный анализ однофакторного опыта, заложенного по
стандартной схеме
Рассмотрим на примере опыта по изучению сроков посева сидератов,
заложенного по стандартной ? схеме (Потапов и др., 1990) в хозяйстве
«Зелёный Гай» Мичуринского района. В опыте использовано 7 учётных
рядов (посадка 8X4) деревьев Антоновки обыкновенной, каждый ряд (всего
116 посадочных мест) разделён на 3 равных повторения, в каждом по 30
учетных деревьев.
4. Длина окружности штамба Мметних деревьев Антоновки обыкновенной при
разных условиях содержания почвы в междурядьях сада (см) на 7-й юл ведения
опыта
•'• '
Условное
обозначение
варианта
Контроль 1
1
2
Контроль 2
~3 ~
4
Контроль 3
18
Номер повторности
Вариант
ЧСрный пар
Весенние сидерагы в
каждом междурядье
Летние сидерагы в каждом
междурядье
ЧСрный пар
Весенние сидераты через
междурядье
Летние сидераты через
междурядье
Чёрный пар
I
II
III
47,6
48,1
47,4
493
47,8
48,2
50,0
473
48,3
47,3
48,5
47,8
493
47,4
49,2
49,2
48,8
50,1
47,7'
48,6
48,7
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Результатом
работы данного пункта программы будет вычисление
фактического значения критерия Фишера.' '
Фактическое значение
Критерия Фишера =1.26
Число степеней свободы =8
Необходимым условием вычисления НСР является превосходство найденного
программой фактического значения критерия Фишера над табличным
1)Вычислять НСР
2) Не вычислять НСР
Введите номер необходимого пункта
?0
а) при вводе цифры 1, программа вычислит НСР.
НСРо5 в сравнении с контролем = 1.56
НСРо5 в сравнении со средним значением =0.99
б) при вводе цифры 2 программа закончит работу без вычислений.
2. Дисперсионный анализ однофакторного опыта, заложенного по
методу реидомнзнровянпых повторений
Рассмотрим работу программы на примере влияния глубины предпосадочной
вспашки (Потапов и др., 1990) на некоторые ростовые показатели яблони.
5. Влияние глубины предпосадочной вспашки на плошадь листьев 7-легних
.черевьев яблони сорта Северный Синап (м'/герево)
Номер повториости
Глубина
предпосадочной
2
1
3
вспашки, см
25
40
60
18.6
26,4
293
17,9
21,3
273
17,2
23,1
25,9
Напомню, что для обработки данных по этому опыту:
1) Запускаем программу на выполнение
2) В главном меню программы выбираем 1гункт - Дисперсионный анализ
однофакторного опыта
3) В предложенном далее меню выбираем пункт - Дисперсионный анализ
однофакторного опыта, заложенного по методу рендомизированных
повторений
После этого, на экране появляется новое меню, имеющее вид
Получаем запрос:
1. Дисперсионный анализ для вариантов с одинаковой повторностью.
2. Дисперсионный анализ для вариантов с различной повторностью.
После набора числа нажмите клавишу Enter
Количество новторностей в данном опыте одинаково, поэтому мы вводим
цифру 1.
19
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Результатом работы данного пункта программы будет также вычисление
фактического значения критерия Фишера.
Фактическое значение
Критерия Фишера =45.41
Число степеней свободы =4
Необходимым условием вычисления НСР является превосходство найденного
программой фактического значения критерия Фишера над табличным
^Вычислять НСР
2) Не вычислить НСР
Введите номер необходимого пункта
?П
при вводе цифры I, программа вычислит НСР, иначе закончит работу без
вычислений.
При обработке данных по данному пункту программы, а именно:
дисперсионный анализ однофакторного опыта, заноженного по методу
рендомизированных повторений, допускается и дисперсионный анализ для
вариантов с различной повторностью.
Рассмогрим работу' программы в этом направлении на примере опыта
(Потапов и др. ,1990).
6. Средние длины окружности (см) штамба яблони на склонах painoit эксномции
»
1
2
3
Число
повторностев
п*
Южным
7
29,5;29,8;31,1 ;31,9;30,0,31,4;31,2;
5
Северный 35,7;49,9,35,1;36,0;35,0;
Северо10
36,1;35,4;35,2;36,2;35,7;35,3;
западный 36,1;36,5;35.9,36,0,
V
22
Склон
Средняя длина окружности
штамбов по рядам деревьев
Программа вычислит
Для 1-го и 2-го вариантов при ni = 7 и п2 = 5,
НСРт=\1\см.
Для первого и третьего вариантов ni - 7 и п } " 10,
//С/*м= 3,12см.
Для второю и третьего вариантов пг = 5 и nj - 10,
//С/' м « 3,47см.
3. Дисперсионный анализ однофакторного опыта,
заложенного по методу рендомнзнрованных повторений
с восстановлением выпавших делянок.
Обработка опытных данных этим пунктом программы аналогична обработке
данных по пункту нашей программы - дисперсионный анатиз для вариантов
с одинаковой повторностью, за тем исключением, что вместо утерянных
данных программа просит вас вводить 0. Допускается обработка опыта, в
котором одно или два потерянных значения. Необходимые поправки при
проведении дисперсионного анализа программа вычисляет автоматически.
20
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
(Потапов и лр. ,1W0); Изучали влияние прел посолочною улобрения и
внесения агата на плантации земляники. Влияние предпосадочною
улобрения (фактор Л) изучали в следующих вариантах: 0-й - к о т р о л ь (без
удобрений), 1-й — внесение фосфорно-калийных удобрений из расчета Р«1Сл
и 2-й — внесение навоза по 30 т/га *- фосфор и калий [ V , K M . Влияние
внесения азота на плантации земляники (фактор В) изучали в следующих
вариантах: 1-й - контроль (азот не вносили), 2-й - - внесение N « весной, 3-й N,s после уборки урожая, 4-ый - N J 2 ^ весной t N J 2 ш, после уборки урожая и
5-й — N4s весной * N4s после уборки урожая. Требуется установить наличие
или отсутствие влияния предпосадочною удобрения и внесения агота на
плантации, а также их взаимодействия на урожайность земляники.
7. Средним (га 4 юла) поделиночман урожайность гемлиннкн (u/ia), x i i n i l n i m
«{ситный Гай»
Фактор В; Номер новторноетн
Фактор А, ,.'
ЕКдв X
предпосадочное азотные
3
4 - ••
2">:
1К
удобрение •
удобрения.
1
86
79
80
072
317
79
89
88
88
2
92
357
89
103
3
89
93
92
377
94
4
89
98
92
95
374
94
106
96
105
104
103
5
411
I
84
92
77
81
72
325
.,,-. .
1?
->
91 "
90
100
88
85
363
102" " 91
98
393
ioi "" 97
3
,.. ,.
109
4
91
96
91
93
384
99
9б"
96
89
Too
384
5
2
70
87
94
90
349
1
95
93
87
87
97
371
2
100
94
88 _ - 92
95
377
102
3
108
99
88"
95
395
104
4
104
399
113
91
5
91''
Too
1308
1420
1480
136Я 5576
Л" -93
1П
При необходимости обработки данных по ш>му пункту, нужно будет ввести
сначала количество вариантов по каждому из факторов (что соответственно
числа 3 и 5), а затем количество повторностей (программа выдаёт запрос по
вводу) - 4. После этого. обработка ведётся аналогично обработке но
однофакторному опыту, а именно, выдаются запросы о вводе данных,
перебирая для каждою значения одного из факторов значения фактора
другого и соответствующей повторности.
Результатом работы программы будет:
1. Значение ИСР по 1-му фактору.
2. Значение НСР но 2-му фактору.
3. Значение НСР по взаимодействию факторов.
4. Среднее значение НСР,
:
.
•
•
.
.
;
•
•
•
*
'
л
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Анализ одночисловых данных
При выборе этого пункта программы для обработки данных необходимо
будет ввести количество одночисловых данных, а затем сами эти числа.
После ввода необходимого на экран высвечивается матрица обработки
одночисловых данных, а также вычисляется НСР.
Выводы
1. Впервые была разработана комплексная программа, обеспечивающая
обработку экспериментальных данных в плодоводстве.
2. Программирование представляет научный и практический интерес, как
с точки зрения познания и применения процесса составления
программ, так и ускорения анализа экспериментальных данных с
плодовыми и другими культурами по количественным признакам,
имеющим определённые размерности.
3. Разработаны одиннадцать программ по различным вариационностатистическим алгоритмам.
4. Особый интерес представляют следующие программы обработки
данных:
и по определению необходимого количества повторностей;
и по работе с экспериментальными данными, имеющими
сопряженные показатели;
и применения анализа неортогональных схем экспериментального
материала;
и по восстановлению утерянных данных;
и по проведению анализа по одночисловых данным.
5. Показано, что важное теоретическое значение имеет использование
теории больших уклонений для оценки объёма экспериментальной
выборки при отсутствии сведений о распределении генеральной
совокупности.
6. Использование программы в десятки раз сокращает время обработки и
анализа полученного экспериментального материала.
7. Точность и корректность получаемых результатов по разработанным
программам отвечает современным требованиям высшей математики и
вариационной статистики.
8. Применение разработанных программ позволяет проводить обработку
экспериментальных данных исследователям различного уровня знаний
в области вариационной статистики и новых информационных
технологий.
Рекомендации науке и образованию
Рекомендовать использовать в научно-исследовательской работе в
различных научных организациях и учреждениях, где исследуются
экспериментальные данные по количественным признакам, имеющие
определённые размерности.
22
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
Список опубликованных работ:
1. Теоретическая
оценка
ассиметрнчных
распределений
биологических показателей.// Сборник докладов Международной
научно-методической конференции 1998 г., т. 2, Мичуринск - с.
6-8 (в соавторстве).
2. Критерий
Колмогорова-Смирнова.//
Сборник
докладов
Международной научно-методической конференции 1998 г., т. 3,
Мичуринск - с. 5-7 (в соавторстве).
3. Критерий ван ден ВарденаУ/ Сборник докладов Международной
научно-методической конференции 1998 г., т. 3, Мичуринск - с.
9-11 (в соавторстве).
4. Критерий знаков.// Сборник докладов Международной научнометодической конференции 1998 г., т. 3, Мичуринск - с. 11-13 (в
соавторстве).
5. Критерий серий.// Сборник докладов Международной научнометодической конференции 1998 г., т. 3, Мичуринск - с. 13-16 (в
соавторстве).
6. Оценка объ2ма вторичной выборки окружности штамба яблони.//
Сборник докладов Международной научно-методической
конференции 1998 г., т. 3, Мичуринск - с. 41-44 (в соавторстве).
7. Вычисление вариационно-статистических характеристик на
компьютере.// Научно-производственный журнал «Вестник
МичГАУ» серия плодоводство, цветоводство и овощеводство,
2001 г., т. 1 , МичГЛУ - Мичуринск - с. 155-160 (в соавторстве).
8. К вопросу классификации слаборослых клоповых подвоев
яблони.// Сборник
докладов
Международной
научнометодической конференции 2003 г., т. 3, Орел - с. 268-269 (в
соавторстве).
9. Алгоритм
оценки
различий
между
одночисловыми
экспериментальными данными.// Методические рекомендации
2003 г., МичГАУ - Мичуринск - с. 14 (в соавторстве).
Отпечатано в типографии МичГЛУ
Подписано в печать 20.11.03. г. Формат 60x84 '/16,
Кумага офсетная № 1. Усл.печ.л, 1,33 Тираж. 100 экз. Ризограф
Заказ №10733
Мичуринскийгосударственныйаграрный университет
393760, Тамбовская обл., г.Мичуринск, ул. Интернациональная, 101,
тел.+7(07545)5-26-35
E-mail: mgaufffimich.ru
23
Copyright ОАО «ЦКБ «БИБКОМ» & ООО «Aгентство Kнига-Cервис»
119974
1/--страниц
Пожаловаться на содержимое документа