что такое семантический граф

Семантика и деятельность

В тексте “Семантические цифровые системы” отмечалось, что современные семантические технологии пока не имеют полноценных инструментов для описания деятельности. Семантические данные традиционно представляются в виде объектного графа, узлами которого являются сущности или значения, а ребрами — свойства (отношения и атрибуты). Такие графы фиксируют статичное состояние предметной области. И такой одномоментно схваченный набор данных скорее следует рассматривать как граф знаний о предметной области, а не как ее модель, особенно если предметная область является деятельностью, а не набором неизменных фактов.

При рассмотрении предметной области как деятельности нас в первую очередь должны интересовать не сущности и их свойства, а акты, то есть события изменения свойств. И конечно же, множество актуальных, то есть необходимых для моделирования предметной области, утверждений не должно ограничиваться описанием текущего состояния деятельности, а должно представлять собой последовательности утверждений, фиксирующих события изменения сущностей. По сути, речь идет о том, что семантическая модель предметной области должна быть представлена не статичным объектным графом, а темпоральным ациклическим направленным графом.

Чтобы было понятнее, о чем речь, давайте рассмотрим несколько простых примеров.

Из отношения “Саша и Маша супруги” при фиксированных атрибутах индивидов “Саша мужчина”, “Маша женщина” однозначно следуют отношения “Саша муж Маши”, “Маша жена Саши”, а также еще отношения родства между супругами и их родителями: зять, невестка, теща, свекр и пр. Однако следует заметить, что все это множество фактов порождено одним событием “Саша и Маша поженились” (получили свидетельство о браке), которое и следует сохранить в виде утверждения, а все порождаемые этим событием отношения можно автоматически генерировать в ответ на поисковые запросы, используя аксиомы. Но самое интересное и важное в этом примере то, что за событием “поженились” может быть зафиксировано событие “Саша и Маша развелись”, которое должно отменить все отношения, порожденные первым событием.

Приведенные рассуждения предлагают нам строго различать акты деятельности, задающие семантику, и порождаемые ими отношения, которые, не добавляя содержания, используются лишь в коммуникации, то есть для упрощения общения. Упорядоченная последовательность событий типа “Авраам родил Исаака; Исаак родил Иакова; Иаков родил Иуду…” является исчерпывающим основанием для понимания того, кто тут кому сын, дед или прадед. То есть онтологию можно разделить на (1) содержательный (событийный, деятельный) уровень, на котором фиксируются события изменения статуса или свойств индивидов, и (2) сугубо языковой, в котором определяются правила поименования отношений между индивидами. Причем второй уровень онтологии необходим только для обслуживания поисковых запросов, ведь понятно, что пользователь поинтересуется “сколько племянников было у Магога?”, а не станет формулировать свой вопрос так “сколько детей родили те, которые родились от того же, от кого родился Магог?”.

Сказанное актуально для всех отношений — все они производны от актов деятельности. Отношение “Иванов работает в Газпроме” и “Газпром имеет сотрудника Иванов” порождаются событием “Иванов принят на работу в Газпром”. Именно последнее высказывание должно сохраниться как утверждение об индивидах, а нахождение Иванова в списке сотрудников Газпрома и место работы Иванова получаются из этого утверждения по элементарным правилам (аксиомам). Ну и очевидно, что данные об индивидах должны содержать последовательность всех событий приемов на работу и увольнений, то есть представлять собой темпоральный направленный ациклический граф.

В качестве примера, демонстрирующего не просто преимущества, а семантическую необходимость событийного подхода, можно привести фиксацию отношения “кусок — целое” (кусок хлеба — буханка). Попытка прямого описания через отношение “часть-целое” приведет к абсурду “кусок хлеба есть часть буханки”. Ведь понятно, когда перед нами буханка, то нет такого объекта, как кусок, а когда мы отрежем кусок хлеба, то уже не будет никакого целого, то есть буханки. Корректно данную ситуацию возможно описать только глагольным утверждением “кусок отрезали от буханки”, которое привязано к конкретному моменту времени и из которого можно сделать все выводы о связи буханки, существовавшей до акта отрезания куска, и нового индивида “кусок”, появившегося только после этого события.

Итак, если мы ставим перед собой цель моделировать деятельность, то должны в качестве утверждений фиксировать акты/события (с глагольной связкой), выстраивая их во временные последовательности — процессы и действия. При таком подходе данные будут организованы в направленные ациклические графы. При этом объектные графы, описывающие свойства сущностей предметной области, должны получаться в результате логического вывода из совокупности актов, то есть событий изменения свойств.

Источник

Что такое семантический граф

Данный комплекс проверяет непротиворечивость (на синтаксическом и семантическом уровнях) гипотетической модели в целом и обеспечивает возможность получения значений ряда параметров, характеризующих информационную емкость модели. К таким параметрам относятся число реквизитов в модели число показателей, в том числе входных, выходных и промежуточных число уровней в графе модели и в любом его подграфе число информационных взаимосвязей отдельных подграфов, характеристики информационных потоков, соответствующих такой модели. [c.162]

Пример 4.9. На рис. 4.17 показана структура семантического графа, описывающая знания о некотором участке энергосистемы, где приняты следующие обозначения П — потребитель, СТ — станция, СВ — линия связи. Обозна- [c.205]

Для /-графов решение задачи поиска общих фрагментов в семантических графах требует существенно меньшего времени, чем для СГ произвольной структуры. Поэтому желательно стараться [c.205]

При работе с отдельными структурными описаниями в виде семантических графов или формул языка ситуационного управления часто возникает задача выполнения теоретико-множественных операций над этими описаниями. Другими словами, хотелось бы иметь возможность получать объединение, пересечение и разность для таких объектов. Рис. 4.20 иллюстрирует выполнение операций объединения и пересечения для сетей, отображающих записи на языке ситуационного управления. Эти операции выполняются обычным образом и никаких трудностей не вызывают. Операция определения разности не столь проста. Если мы имеем ситуацию S, показанную на рис. 4.21, а и из ее описания выделено описание [c.212]

Ввести множество Н. В него включаются такие семантические графы S, [c.213]

Дуга в семантическом графе входная [c.280]

Эти программы предназначаются для ввода, контроля корректности описания структуры графов диалоговых процедур в синтаксическом и семантическом аспектах и корректности математической модели, корректировки описания структуры ГДП. Транслятор языка описания ГДП представляет собой ряд программ, предназначенных для обработки операторов языка описания в целях формирования диалоговых процедур для объектов с конкретной структурой и функциональной направленностью. Эти программы выполняют лексический и синтаксический анализ с последующим формированием описания шагов диалога на внутреннем языке ЭВМ. [c.207]

Семантические сети представляют собой ориентированные графы с помеченными дугами. [c.192]

Исследование нормативно-правовой и методической документации, в которой регламентируется инвестиционная деятельность, позволили построить реальные семантические модели. Традиционно такие модели интерпретируются как фреймы или семантические сети и представляются в виде графов, обработка которых нуждается в совершенствовании. Применение [c.172]

Семантические сети. Объектно-ориентированные методы представления знаний берут начало от семантических сетей, в которых типизируются отношения между объектами. Элементарной единицей знаний в семантической сети служит триплет (см. объектную концептуальную модель), в котором имя предиката представляет помеченную дугу между двумя узлами графа, соответствующими двум связанным объектам (рис. 2.6). [c.62]

Вообще, основная функция рабочих отчетов, в том числе обо-ротно-сальдовых ведомостей, — контрольная. При книжной форме учета была разработана даже специальная технология выверки, заключающаяся в проставлении напротив строк значка V, что означало строка проверена, ошибка отсутствует. Как правило, таким способом ведомость проверялась на наличие арифметических ошибок, когда итоговая сумма по вертикали не сходилась с итоговой суммой по горизонтали. При необходимости дополнительной проверки значок V легко заменялся на W, так называемый крыж, что свидетельствовало о двойной выверке строки. Таким образом, открыжитъ ведомость означало провести арифметическую или семантическую проверку ведомости путем проставления напротив строк (или граф) галочек, одиночных или двойных. При компьютерной форме учета необходимость в от-крыживании ведомостей, естественно, исчезает. [c.626]

Гипермедиа — это новая философия представления информации и доступа к ней. Ее концепция базируется на модели информационного пространства, представленного в виде графа, узлы которого содержат информацию, а семантические связи представлены дугами графа. Информация, хранящаяся в истинной системе гипермедиа, должна быть представлена всеми возможными формами, которые может воспроизвести современный компьютер. Таким образом, гипермедиа совмещает в себе радио (аудио), телевидение (динамическое изображение), прессу (текст, рисунки, фотографии) и компьютер (видеотерминал) посредством гипертекстовых связей, лежащих в основе компьютерной гиперсреды. [c.314]

Оснрвная идея подхода к представлению знаний, базирующегося на аппарате семантических сетей, состоит в том, чтобы рассматривать предметную область как совокупность сущностей (объектов) и отношений (связей между ними). Сущности представляются поименованными вершинами, а отношения — направленными поименованными ребрами. Система знаний отображается семантической сетью, т. е. ориентированным графом, составленным из поименованных вершин и ребер, или совокупностью таких сетей. [c.562]

Метод семантического структурно-компенсационного исследования. С целью смягчения недостатков, присущих методам последовательных уступок, главного и агрегированного критерия, а также сокращения затрат времени на поиск наилучшего решения и повышения убедительности выводов и рекомендаций в 1993 г. разработан специальный эвристический метод исследования проблемной ситуации и решения задач построения функции выбора в условиях определенности. Основу метода составляет процесс построения двух специальных графов, названных иерархической семантической структурой и иерархической компенсационной структурой (ИКС) соответственно. Кроме того, в этом методе предложен специальный алгоритм преобразования натуральных шкал частных критериев в однородную шкалу и эвристичес- [c.197]

На этапе инфологического (информационно-логического) проектирования осуществляется построение семантической модели, описывающей сведения из предметной области, которые могут заинтересовать пользователей БД. Семантическая модель (англ, semanti model) — представление совокупности сведений о ПО в виде графа, в вершинах которого [c.366]

Модель семантической сети (модель Куилиана). Семантическая сеть — это направленный граф с поименованными [c.424]

Вводится множество Н, которое строится в результате следующей процедуры. Составляется список L, в который в начальный мсмент помещаются элементы из DI- Для очередного элемента из этого списка берется очередной элемент из D2 и для полученной пары проверяется условие изоморфного наложения S на S», где S — СГ из списка Dlt a S» — из D2, если выполнены условия, сформулированные в пункте 2а для процедуры нахождения обобщенных дизъюнктивных описаний для объединения. Если это условие не выполнено, то берется следующий элемент из D2. Если все элементы из D2 уже использованы, то берется следующий элемент из списка L, a S из L вычеркивается и с ним снова сравниваются последовательно все элементы из D2. Если же для некоторой пары S и S» условие изоморфного наложения выполнены, то для этой пары образуют новое описание, в котором вершина У, у соответствует паре вершин У,- и Vj из S и S», для которых произошло наложение, причем весом этой новой вершины будет разность весов, которые соответствовали V и Vj. В семантическом графе S вместо вершины V используют вершину Vij, а остальные вершины сохраняют. Так поступают для всех пар вершин, что приводит к образованию N новых описаний, где N — число вершин в S (в S» столько же вершин). Все эти новые описания помещают в список L, a S из него вычеркивают. Если после появления первого изоморфного наложения для S все элементы из D2 уже с ним сравнены, то S становится элементом Н. Процесс заканчивается, когда список L оказывается пустым. [c.214]

Источник

Семантические сети: как представить значения слов в виде графа

Компьютерные лингвисты из Вышки, университета Тренто и университета Осло разработали vec2graph — инструмент для визуализации семантической близости слов в виде сети. Воспользоваться vec2graph может любой желающий. Рассказываем, как это работает и зачем нужно

Команда компьютерных лингвистов из школы лингвистики НИУ ВШЭ, университета Тренто и университета Осло под руководством Андрея Кутузова представила на конференции AIST библиотеку vec2graph для Python. Vec2graph умеет визуализировать семантическую близость слов в виде сети. Информацию о близости слов vec2graph получает из векторной семантической модели. Вот так выглядит граф для слова «лук»:

Расскажем по порядку, что это такое и откуда берется.

Напоминалка: дистрибутивная семантика

«Системный Блокъ» уже рассказывал о том, что современные технологии автоматической обработки текста (даже те, которые пафосно и не всегда заслуженно называют «искусственным интеллектом») опираются на дистрибутивную семантику. В основе дистрибутивной семантики — простая идея: близкие по значению слова будут встречаться в похожих контекстах (ср. « полицейский бьет митингующего дубинкой», « омоновец бьет митингующего дубинкой», « полиция разогнала мирный митинг», « омон разогнал мирный митинг»).

Чтобы передать такое знание о контекстной близости слов компьютеру, ученые и инженеры обучают векторные семантические модели — например, с помощью word2vec (вот здесь мы подробно рассказывали, как это работает). Такие модели при обучении сохраняют знание о частых и редких контекстах слова в виде упорядоченного списка чисел (т.е. в виде вектора — отсюда и «векторные» модели). Благодаря этому семантические расстояния между словами становятся измеримы, и машина, измерив их, понимает: слова полицейский и омоновец похожи (благодаря частому употреблению в похожих контекстах вектора этих слов будут близкими).

Как визуализировать семантическую близость?

Как отображать эти семантические близости из векторной модели так, чтобы они снова стали понятны человеку? Один самый простой вариант вы уже видели выше: можно для любого слова просто выдавать столбик ближайших к нему «семантических ассоциатов» (т.е. слов с наиболее похожими семантическими векторами).

Можно ли более наглядно? Один из вариантов — попытаться сжать многомерное векторное пространство модели обратно в двумерное. Алгоритмов такого снижения размерности (PCA, MDS, t-SNE) множество, статистика разрабатывает их последние лет 100.

К сожалению, такое представление неизбежно теряет часть информации о соотношении векторов. Невозможно превратить, к примеру, 500-мерное пространство в двумерную картинку на плоскости без потерь.

Семантика и сети

Третья альтернатива — использовать сети (они же графы). Для каждого слова можно строить сеть из его семантических ассоциатов. При этом сам показатель близости можно отобразить, например, через длину линии: чем короче связь — тем ближе слово в векторной модели. Именно такие визуализации делает vec2graph.

Сети хороши не только наглядностью, но и тем, что здесь можно частично преодолеть ограничения так называемых контекстно-независимых моделей (word2vec, fastText и мн.других). Такие модели всегда хранят один вектор для любого слова, даже многозначного. В результате получается, что слова с несколькими значениям типа «кисть» или «лук» будут иметь один гибридный вектор. Такой вектор будет тяготеть сразу и к словам, связанным с растениями, огородом, едой, и к разной военно-оружейно-спортивной лексике («стрелы», «колчан», «лучник»). Это серьезная проблема дистрибутивной семантики.

Сетевая визуализация позволяет отобразить не только самые близкие слова для «лука», но и близость этих самых слов между собой. «Колчан» будет близок «стреле», но не слишком близок «чесноку», поэтому связи между «колчаном» и «чесноком» не отобразится. В результате получается граф с двумя кластерами: один «оружейный», другой — «растительный»:

А вот и код для vec2graph, который позволяет это сделать:

Как же получается, что не все слова связаны со всеми? Для этого в vec2graph есть полезная опция «порог близости» (threshold). В примере выше если слово входит в топ-8 ближайших семантических ассоциатов, но при этом его близость к «луку» ниже 0,53, оно появится в визуализации как узел сети, но сама такая связь не отобразится. Так происходит со словом «арбалет».

Больше примеров сетевых визуализаций

Молодой

При высоком пороге близости (0,7) только «немолодой» и «пожилой» достаточно близки друг другу, чтобы отобразилась связь.

Оранжерея

«Теплица» связана по смыслу с «оранжереей», но далека от цветов, поэтому между ней и «цветочными» словами связи слабые (в данном случае — меньше 0.6).

Как сделать это самому?

Самая большая радость в том, что сделать это несложно: нужно лишь установить библиотеку vec2graph, скачать предобученную дистрибутивную модель на ваш вкус, а ещё установить несколько зависимостей.

Установка библиотеки и зависимостей:

Удобнее всего делать это с помощью pip. Если работаете в jupyter — можно обратиться к командной строке прямо там с помощью «!»:

Импорт из vec2graph:

Заранее создать папку для html-файлов с графами, прописать путь к ней и к дистрибутивной модели:

Использование vec2graph:

Теперь осталось задать слово и параметры, как было выше в подписях к визуализациям:

depth=0 означает, что будет создан один файл с графом, узлами которого будут слово WORD и его ближайшие соседи. Если увеличивать глубину, то ближайшие слова-соседи исходного запроса тоже распустятся графами в отдельных html-файлах.

topn=8 значит количество слов-соседей для одного слова-запроса.

threshold=0.6 — самое интересное: это минимальное значение косинусной близости, необходимое для прорисовки ребра между словами. По умолчанию этот показатель равен нулю, тогда граф полносвязный, но интереснее всего его регулировать и выяснять, какие слова близки и образуют кластеры, а какие оказываются дальше.

edge=1 отвечает за толщину рёбер.

sep=True означает, что метки частей речи показывать не нужно.

Результат будет выглядеть так:

Теперь вы можете сами исследовать значения слов.

Ссылки

Создатели библиотеки: Алексей Яскевич, Анастасия Лисицына, Тамара Жордания, Надежда Катричева, Елизавета Кузьменко, Андрей Кутузов.

Источник

Миф семантического веба

В сфере семантического моделирования сложилась довольно странная ситуация: в качестве базовых используется набор стандартов и спецификаций от W3C, заточенных под проект “семантического веба” (RDF/OWL, SPARQL и пр.), хотя сам проект не только не реализован на данный момент, но и, по всей видимости, никогда не будет воплощен вследствие сомнительности исходных гипотез.

Семантический веб мыслился его автором Тимом Бернерсом Ли как следующий этап развития интернета. Идея была вполне рациональной: надо соединить все ресурсы сети не бессодержательными ссылками, отправляющими пользователя с одной страницы на другую, а осмысленными (семантическими) связями. Для этого предлагалось присвоить каждой онлайн и даже оффлайн сущности (объекту, свойству) уникальный идентификатор и объединить эти сущности в единый граф. После чего пользователи смогли бы быстро и точно находить нужную информацию, а самое главное, и у компьютеров появлялся бы доступ к смысловому содержанию сети. То есть ставилась цель создать распределенный граф знаний, связывающий в едином сетевом пространстве семантически определенные данные, с возможностью их машинной обработки и логического вывода новых фактов.

Так описанная идея семантической сети выглядит не только актуальной, востребованной, но и вполне реализуемой с использованием современных технологий — таких, как одноранговые сети с устойчивыми к атакам алгоритмами консенсуса, криптографическая идентификация пользователей и криптографическая же защита данных. Но основателями проекта исходно были приняты сомнительные архитектурные и идеологические решения, которые так и оставили семантический веб в статусе красивой мечты.

Поскольку основной целью создания семантического веба мыслилось совместное использование информации в интернете, в качестве технологической платформы проекта был выбран этот самый интернет, то есть хаотическая свалка сайтов, контентом которых распоряжаются не авторы, а владельцы доменов. Ориентация на современную сеть с необходимостью определила базовые принципы проекта: (1) использование в качестве основы для идентификаторов ресурсов (URI) интернет-адреса, (2) возможность любому делать утверждение о любом ресурсе, (3) предположение об открытом мире, то есть неполноте информации. Эти принципы и явились главными проблемами.

Прежде всего, очевидно, что адреса в интернете это не то, что может служить основой идентификации сущностей. Домен может сменить собственника, может быть заброшен, да и просто технически недоступен. Структура имен внутри домена может произвольно меняться. Не говоря о том, что множество разношерстных технологий и движков, на основе которых строятся сайты, не придерживаются никаких стандартов формирования адресов.

Но основной формальной причиной провала проекта семантического веба следует признать именно второй базовый принцип, то есть надежду на то, что единый сетевой семантический граф будут строить владельцы сайтов. Хотя уже при зарождении идеи проекта было очевидно, что владельцы сайтов пойдут на любой подлог, чтобы обмануть поисковые роботы (вплоть до прописывания на страницах невидимого текста и манипуляций с ключевыми словами). Среди тех же, кто честно захотел бы выполнить семантическую разметку страниц, справились бы с задачей только единицы. Но даже в идеальном варианте, если бы на все существующие сайты была грамотно накинута семантическая сеть, проект все равно бы не заработал. Ведь тогда вскрылось бы очевидное: мы имеем дело с сотнями и тысячами дубликатов одного и того же ресурса (текста, изображения, ролика) с разными идентификаторами (адресами). Да к тому же, у большинства экземпляров одной сущности не совпадали бы свойства, ведь «любой имеет право делать утверждение о любом ресурсе». Ну и понятно, что найти среди этих копий авторский оригинал не представляется возможным.

И конечно же, возникли большие проблемы и с третьим принципом, провозглашающим презумпцию открытого мира, то есть подразумевающего возможность свободного добавления фактов в общую сеть. Остановимся на нем подробнее.

По сути, идея открытого мира унаследована от стандартного интернета, где каждый волен добавлять любые домены, страницы, сущности и ссылаться при этом на любые другие сущности. Но семантический граф тем и отличается от ссылочной сети, что должен устанавливать логические, в идеале формально проверяемые, отношения между утверждениями о сущностях, а следовательно, для того, чтобы быть непротиворечивым, должен быть замкнутым. Составитель семантического графа, моделируя некоторый фрагмент предметной области, должен исходить из строгой концептуальной схемы, в которой принципиально недопустимы неоднозначность терминологии, неуникальность идентификаторов и, тем более, произвольное добавление утверждений любыми акторами. То есть, если и говорить об открытости логического мира, то эта открытость должна подразумевать свободное добавление в граф новых замкнутых моделей, а не произвольных фактов. Сеть должна составляться из независимых предметных и уровневых онтологий, взаимодействие между которыми обеспечивается использованием общих словарей. Требуется строго разделять две задачи: (1) построение онтологии предметной области и (2) решение проблемы взаимодействия/соотнесения разных онтологий, то есть согласование идентификаторов сущностей, поименования типов и логических ограничений для согласования обмена данными.

Следует также признать ошибочным решением и ориентацию проекта семантического веба на создание единственно верного, непротиворечивого графа, построенного по канонам формальной (монотонной) логики. С таким подходом еще можно согласиться при построении фиксированной базы знаний в некоторых практически завершенных предметных областях (география, инженерные стандарты и т.п.). Однако инструмент моделирования онтологий нужен не для описания статичных структур, а для поддержки функционирования реальных сложных систем, в которых не только во время их становления, но и в итоговом состоянии недостижимы монотонность и непротиворечивость описания. Тут стоит признать, что возникновение ошибки при построении системы является фактом, который изменяет ее состояние, и игнорирование этого факта может привести к катастрофическим последствиям. То есть логика семантического графа не должна быть монотонной. И тут следует вспомнить, что авторы идеи семантического веба оказались не единственными наступившими на грабли единой онтологии – после многолетних попыток построения единого непротиворечивого семантического пространства небезызвестный проект CYC отказался от этой идеи и перешел на работу с микротеориями – локально замкнутыми онтологиями отдельных предметных областей.

По сути, ошибка при проектировании инструментов семантического веба заключалась в том, что не было выявлено и учтено различие между двумя задачами. Первая — это создание локальной онтологии предметной области: добавление в нее утверждений, валидированных локальными же (оффлайн и онлайн) средствами, логический вывод новых утверждений по правилам, встроенным в локальную онтологию. Вторая — соединение локальных онтологий в единый сетевой граф и попытка получения выводов из множества независимых данных. Очевидно, что даже если все сетевые источники данных используют одинаковые словари и каждый из них сам по себе логически безупречен, то ответы, полученные на запросы к совокупному графу (если это вообще возможно) будут иметь принципиально иной статус достоверности по сравнению с результатами, полученными в каждой локальной онтологии.

Описанная разница в работе с локальными онтологиями и общим семантическим графом может быть формально выражена в терминах открытости мира: запрос к сети должен исходить из презумпции открытости мира, а логика работы с локальными онтологиями чаще всего будет строиться на гипотезе замкнутого мира. Можно сказать, что мир должен быть открыт, но не для отдельных утверждений, а для целостных онтологий.

Вот и получается, что стандарты W3C продолжают разрабатываться под мифический семантический веб, а все, кто пытается использовать их в реальных проектах, то есть для создания онтологий предметных областей, вынуждены постоянно придумывать костыли, чтобы получить работающий продукт.

Источник