close

Вход

Забыли?

вход по аккаунту

?

Информационный поиск. Лекция 1

код для вставкиСкачать
Введение в информационный поиск
Алексей Воропаев,
руководитель группы рекомендаций
проекта Поиск@Mail.Ru
Преподаватели курса
Алексей
Воропаев
Игорь
Андреев
Ян
Кисель
Евгений
Чернов
Дмитрий
Соловьев
Владимир
Гулин
2
Что такое поиск Mail.Ru?
• Веб
• Картинки
• Видео
• Музыка
• Новости
• Ответы
• Обсуждения
3
Технические детали
3500
12ПБ 8
50
серверов
места
в Hadoop’е
миллиардов
документов
в индексе
миллиардов
документов
в HBase
100
200
9
разработчиков
асессоров
отделов: ранжирование,
рекомендации, инфраструктура,
анализ запросов, лингвистика,
вертикали, фронтенд, качество,
десктоп и мобильники
4
О курсе
Основан на Introduction to Information Retrieval
http://nlp.stanford.edu/IR-book/ (доступен русский перевод)
Много слайдов тоже взяты оттуда, авторы:
Pandu Nayak, Prabhakar Raghavan
Hinrich Schutze, Christina Lioma
Есть русский перевод
14 лекций, 6 домашних заданий, экзамен.
Читаем 9-й год
Делаем упор на практику
5
Домашние задания
4 ДЗ по 15 баллов + 2ДЗ по 20 баллов
2 дедлайна: 2 недели основной + 1 неделя пересдача
После каждой лекции - семинар
Делаем куски поисковика по сайту (с реальными
данными)
Задаем дополнительные вопросы в блоге / на
семинарах
Пишем на Python 2.7
Результат высылать на ir-ts@ml.corp.mail.ru
6
Критерии оценки
6 ДЗ: 100 баллов максимум.
Для успешной аттестации нужно набрать 75 баллов.
75-84: удовлетворительно.
85-95: хорошо.
94-100: отлично.
Экзамен: позволяет поднять итоговую оценку на одну ступень.
Не стесняйтесь задавать вопросы в блоге и на лекциях!
7
Информационный поиск
Информационный поиск
Поиск информации (обычно в документах) бесструктурной̆ природы
(обычно, текстовой̆), удовлетворяющей̆ информационным нуждам
пользователя в больших массивах данных (обычно в компьютерных
хранилищах).
9
Примеры поисковых систем
• grep
• find
• SQL
• Запросы в багтрекере
• Поиск по микроблогам
• Поиск по изображениям, поиск по музыке
• Веб-поиск
10
Текстовый поиск против SQL, 1996
200
180
160
140
120
100
80
60
40
20
0
Data volume
Market Cap
Unstructured
Structured
11
Текстовый поиск против SQL, 2006
200
180
160
140
120
100
80
60
40
20
0
Data volume
Market Cap
Unstructured
Structured
12
Информационный поиск как…
Наука
• Математические модели
• Статистика, теория вероятностей
• Лингвистика
Практическая задача
• Сложность в объёме
• Принцип KISS
• Keep It Simple, Stupid
• Много нюансов и не очевидных, но простых решений
13
Предположения
Корпус:
• фиксированный набор документов
Цель:
• найти документы, релевантные информационным потребностям
пользователя
• помогающие ему решить свою задачу.
14
Модель поиска
Задача
Только это надо?
Попасть в клуб RАЙ
Информационная
потребность
Всё ли понятно?
Месторасположение
клуба
Словесная
формулировка
Опечатка? Омоним?
Где находится клуб
РАЙ?
Запрос
Поисковая система
Запрос: [РАЙ]
Изменение запроса
Изучение результатов
15
С каким сложностями сталкиваемся
• Лингвистика: что написано в тексте?
• Запросы: что хотел пользователь?
• Статистика
• Машинное обучение
• Большие объёмы данных
• Большие нагрузки
• Пользовательский интерфейс
• Форматы данных
16
Связанные задачи
• Рекомендательные системы
• Машинный перевод
• Извлечение мнений
• Распознавание и синтез речи
• Семантический анализ текстов
• Организация диалога с пользователем
• и т.д.
17
Веб-поиск
•
•
•
•
•
Неожиданные и разнообразные
документы
А так же пользователи и их
потребности
Кроме текста:
• Ссылки
• Поведенческая информация
Как работает веб-поиск?
Как его сделать лучше?
18
Naver
19
Google Scholar
20
Westlaw
21
Мткьсиледиа-онирй
22
Кнмсемсмые пейнлемдасекьмые рирселы
23
24
IBM Watson
25
Архитектура Web-поиска.
Обзор курса.
С чегн мачимаесря онирй
Кнги
онйазнв и
йкийнв
QTree
Frontend
Леса-онирй
Лемеджеп
web-онирйа
Ооецасйи
Лемеджеп
бырспнгн
web-онирйа
Cache
Йкарсеп
Лемеджеп
онирйа он
йапсимйал
27
Имдейрация
Обпасмый
имдейр
Амакиз
йнмсемса
Fetcher
WEB
Ппялнй
имдейр
Имдейраснп
Йннпдимасы
Цемспакьмне
фпамикише
Scheduler
Чиркнвые
знмы
База
онведемия
Амакиз
онведемия
28
Имдейрация
1. Обйацйа имсепмеса
• Йай ме трспнись DOS асайт (кейхия 2)
• Чсн илеммн йацась (кейхия 3)
• Йай избависьря нс дтбкийаснв (кейхия 5, 6)
29
Имдейрация
1. Обйацйа имсепмеса
• Йай ме трспнись DOS асайт (кейхия 2)
• Чсн илеммн йацась (кейхия 3)
• Йай избависьря нс дтбкийаснв (кейхия 4)
2. Имдейрахия, эууейсивмне фпамемие даммыф (кейхия 7, 8)
30
Имдейрация
1. Обйацйа имсепмеса
• Йай ме трспнись DOS асайт (кейхия 2)
• Чсн илеммн йацась (кейхия 3)
• Йай избависьря нс дтбкийаснв (кейхия 4)
2. Имдейрахия, эууейсивмне фпамемие даммыф (кейхия 7, 8)
3. Амакиз гпауа ррыкнй (царсь 2, кейхия 10)
31
Имдейрация
1. Обйацйа имсепмеса
• Йай ме трспнись DOS асайт (кейхия 2)
• Чсн илеммн йацась (кейхия 3)
• Йай избависьря нс дтбкийаснв (кейхия 4)
2. Имдейрахия, эууейсивмне фпамемие даммыф (кейхия 7, 8)
3. Амакиз гпауа ррыкнй (царсь 2, кейхия 10)
4. Амакиз онведемия онкьзнвасекей (царсь 2, кейхия 11)
32
Имдейрация
1. Обйацйа имсепмеса
• Йай ме трспнись DOS асайт (кейхия 2)
• Чсн илеммн йацась (кейхия 3)
• Йай избависьря нс дтбкийаснв (кейхия 4)
2. Имдейрахия, эууейсивмне фпамемие даммыф (кейхия 7, 8)
3. Амакиз гпауа ррыкнй (царсь 2, кейхия 10)
4. Амакиз онведемия онкьзнвасекей (царсь 2, кейхия 11)
5. Оцирсйа имдейра: амсироал и амсионпм (кейхия 9, 10)
33
Имдейрация
1. Обйацйа имсепмеса
• Йай ме трспнись DOS асайт (кейхия 2)
• Чсн илеммн йацась (кейхия 3)
• Йай избависьря нс дтбкийаснв (кейхия 4)
2. Имдейрахия, эууейсивмне фпамемие даммыф (кейхия 7, 8)
3. Амакиз гпауа ррыкнй (царсь 2, кейхия 10)
4. Амакиз онведемия онкьзнвасекей (царсь 2, кейхия 11)
5. Оцирсйа имдейра: амсироал и амсионпм (кейхия 9, 10)
ДЗ
•
•
•
•
Ппинписезахия роайдепа
Пнирй дтбкийаснв
Пнрспнемие нбпасмнгн имдейра и бткев онирй
Амсироал
34
Пнирйнвый йкарсеп
Обпасмый
имдейр
Йннпдимасы
Чепмнвне
памжипнвамие
Тейрснвне
памжипнвамие
Эвпирсийи
Лачиммне
нбтцемие
Гемепаснп
опизмайнв
Лемеджеп
Бткев
онирй
Гемепаснп
рмиоеснв
Ппялнй
имдейр
База
онведемия
Чиркнвые
знмы
35
Пнирйнвый йкарсеп
1. Пндгнснвйа заопнра (кейхии 13, 14)
人民日报社社长杨振武会见上海合作组织秘书长一行
36
Пнирйнвый йкарсеп
1. Пндгнснвйа заопнра (кейхии 13, 14)
2. Бткев онирй, трспнйрсвн нбпасмнгн имдейра (кейхии 7, 8)
37
Пнирйнвый йкарсеп
1. Пндгнснвйа заопнра (кейхии 13, 14)
2. Бткев онирй, трспнйрсвн нбпасмнгн имдейра (кейхии 7, 8)
3. Чепмнвне и сейрснвне памжипнвамие (царсь 2, кейхии 6, 7)
38
Пнирйнвый йкарсеп
1.
2.
3.
4.
Пндгнснвйа заопнра (кейхии 13, 14)
Бткев онирй, трспнйрсвн нбпасмнгн имдейра (кейхии 7, 8)
Чепмнвне и сейрснвне памжипнвамие (царсь 2, кейхии 6, 7)
Лачиммне нбтцемие в задаце памжипнвамия (царсь 2, кейхия 12, 13)
39
Пнирйнвый йкарсеп
1.
2.
3.
4.
5.
Пндгнснвйа заопнра (кейхии 13, 14)
Бткев онирй, трспнйрсвн нбпасмнгн имдейра (кейхии 7, 8)
Чепмнвне и сейрснвне памжипнвамие (царсь 2, кейхии 6, 7)
Лачиммне нбтцемие в задаце памжипнвамия (царсь 2, кейхия 12, 13)
Смиоесы (кейхия 11, 12)
40
Пнирйнвый йкарсеп
1.
2.
3.
4.
5.
6.
Пндгнснвйа заопнра (кейхии 13, 14)
Бткев онирй, трспнйрсвн нбпасмнгн имдейра (кейхии 7, 8)
Чепмнвне и сейрснвне памжипнвамие (царсь 2, кейхии 6, 7)
Лачиммне нбтцемие в задаце памжипнвамия (царсь 2, кейхия 12, 13)
Смиоесы (кейхия 11, 12)
Охемйа йацерсва онирйа (царсь 2, кейхия 8, 9)
41
Пнирйнвый йкарсеп
1.
2.
3.
4.
5.
6.
Пндгнснвйа заопнра (кейхии 13, 14)
Бткев онирй, трспнйрсвн нбпасмнгн имдейра (кейхии 7, 8)
Чепмнвне и сейрснвне памжипнвамие (царсь 2, кейхии 6, 7)
Лачиммне нбтцемие в задаце памжипнвамия (царсь 2, кейхия 12, 13)
Смиоесы (кейхия 11, 12)
Охемйа йацерсва онирйа (царсь 2, кейхия 8, 9)
ДЗ
•
•
•
•
•
•
•
•
Обпасмый имдейр и бткев онирй
Пнрспнемие рмиоеснв
Иропавкемие ноецаснй
Выциркисекьмая кимгвирсийа (царсь 2)
Тейрснвне памжипнвамие (царсь 2)
Срыкнцмне памжипнвамие (царсь 2)
Лачиммн-нбтцеммне памжипнвамие (царсь 2)
Охемйа йацерсва онирйа (царсь 2)
42
А еще
●
●
●
●
●
●
●
●
●
Пнирйнвые ондрйазйи
Лимгвирсийа
Разкичмые вепсийаки рн рвней роециуийнй
Извкечемие уайснв
Рейнлемдасекьмые рирселы
Амакисийа
Оцемйа йачерсва онирйа
Дизайм и UX
Мапйесимг и с.д.
43
Соарибн за вмиламие
Не забтдьсе нслесисьря и
нрсавись нсзыв
44
Автор
tekhnostrim
Документ
Категория
Без категории
Просмотров
108
Размер файла
3 588 Кб
Теги
лекция
1/--страниц
Пожаловаться на содержимое документа