Сравнение Knowledge Graph в Graph DB и RDF
Что такое Knowledge Graph?
«Знание» часто зависело от памяти людей. Когда люди начали записывать то, что они помнят или запоминали, такие записи сохранялись в компьютере, а документы создавались и распространялись бесконечно. В мире доступно множество устройств IoT, которые имеют доступ к этим большим пулам знаний, доступных в сети.
Граф знаний — горячая тема на современном рынке. Крупные ИТ-компании, такие как Google и Microsoft, используют графы знаний для точного управления информацией, полученной из человеческих знаний.
Прежде чем понять граф знаний, мы должны начать с базы знаний. База знаний — это база данных, в которой хранится информация о предметной области, известная отдельным лицам или используемая компаниями, опыт, накопленный экспертами в определенной области, и данные для решения проблем. База знаний выражает знания в структурах данных, которые становятся более расширяемыми при добавлении новых знаний. Такая система базы знаний, построенная на графе, известна как граф знаний.
Граф знаний может собирать фрагментированные данные и формировать графовое моделирование, а также может соединять и хранить базу знаний в структуре сетевого типа. Эта технология объединяет данные с использованием графовой модели данных или топологии. Оно преобразует, накапливает и извлекает различные типы данных в граф знаний, соединяя узлы для быстрой передачи знаний. Кроме того, граф знаний является репрезентативным методом создания искусственного интеллекта и широко используется в интеллектуальных сервисах, требующих сочетания различных технологий, таких как ML/DL и облачные вычисления.
4 шага к созданию графа знаний
Существует четыре этапа построения графа знаний.
- Во-первых, необходимо установить цель графа знаний и спроектировать структуру знаний.
- Во-вторых, данные должны быть обработаны. Однако, поскольку большая часть информации о знаниях находится в текстовом виде, продолжайте обработку естественного языка и тегирование. В дополнение к текстовым данным другие данные, такие как сведения о транзакциях, также должны быть предварительно обработаны, чтобы их можно было включить в базу данных. После завершения всей обработки восстановите структуру данных.
- В-третьих, как только структура данных будет защищена, пройдите моделирование данных. Когда связанная связь данных загружается посредством моделирования, применение алгоритма прогнозирования может привести к новому обнаружению связи (отношений).
- Наконец, запустите тест на графе знаний, выполнив поиск необходимой информации. Рассмотрите возможность визуализации графа знаний перед его запуском на этапе обслуживания.
Представление Knowledge Graph в RDF и Graph DB
Двумя наиболее репрезентативными графами знаний являются RDF и графовая БД. Тем не менее, эти два применяются для разных целей. Ниже приведены сравнительная диаграмма и графическое моделирование, чтобы показать разницу между ними.
Разница между RDF и графовой базой данных представлена в следующей таблице.
Category |
RDF |
GDB |
|---|---|---|
| Цель | Легко сохраняется в RDB при выражении подключенных данных | Эффективно обрабатывает семантическую сеть |
| Модель данных | Триплетная схема | Модель графа свойств |
| Производительность | Становится медленнее по мере увеличения глубины из-за рекурсивного поиска по таблице | Алгоритм пути графа оптимизирует структуру графа |
| Пример модели данных | – Чем больше атрибутов, тем сложнее набор данных – Все данные должны храниться в виде узлов или ребер |
- Использование свойств делает его систематически легким - Уметь логически и интуитивно излагать |
| За и против | – Эффективно сохраняйте естественный язык - Ограничено выражением структуры графа – Поскольку он не был разработан в виде базы данных, он отсутствует как система управления |
– Предоставляет сервис на основе поиска по образцу – Бессхемный метод хранения обеспечивает гибкую обработку даже при добавлении новых данных – Реляционное моделирование сложно и сложно настроить |
RDF обычно подходит, когда имеется фиксированный объем данных (пример: академические цели). Графовая БД эффективна в средах, где данные генерируются заново (пример: бизнес).
Кроме того, RDF должен хранить все данные в отдельных узлах, потому что оно не имеет свойств и функций меток, как у базы данных графа. Из-за отсутствия настройки свойств RDF оказывается в невыгодном положении при быстром увеличении объема данных. По мере увеличения количества узлов и ребер моделирование будет усложняться. По мере увеличения глубины может произойти снижение производительности.
Что такое граф знаний?
Граф знаний, также известный как семантическая сеть, представляет собой сеть сущностей реального мира, т.е. объектов, событий, ситуаций или понятий, и иллюстрирует взаимосвязь между ними. Эта информация обычно хранится в базе данных графов и визуализируется в виде структуры графа, что приводит к появлению термина «знание — граф».
Граф знаний состоит из трех основных компонентов: узлов, ребер и меток. Любой объект, место или человек может быть узлом. Ребро определяет отношения между узлами.
A - представляет подлежащее, B - представляет сказуемое, C - представляет объект
Стоит также отметить, что определения графов знаний различаются, и есть исследование, в котором предполагается, что граф знаний ничем не отличается от базы знаний или онтологии. Вместо этого утверждается, что этот термин был популяризирован с помощью Google Knowledge Graph в 2012 году.
Онтологии
Онтологии также часто упоминаются в контексте графов знаний, но опять же, до сих пор ведутся споры о том, чем они отличаются от графов знаний. В конечном счете, онтологии служат для создания формального представления сущностей в графе. Обычно они основаны на таксономии, но, поскольку они могут содержать несколько таксономий, они поддерживают свое собственное отдельное определение. Поскольку графы знаний и онтологии представлены сходным образом — т.е. через узлы и ребра — и основаны на тройках структуры описания ресурсов, они имеют тенденцию напоминать друг друга в визуализации.
Примером онтологии может быть, если мы исследуем конкретное место. Онтология различает события в конкретном месте с помощью такой переменной, как время.
Язык веб-онтологий (OWL - Web Ontology Language) является примером широко распространенной онтологии, поддерживаемой Консорциумом всемирной паутины (W3C - World Wide Web Consortium), международным сообществом, выступающим за открытые стандарты для долговечности Интернета. В конечном счете, эта организация знаний поддерживается технологической инфраструктурой, такой как базы данных, API-интерфейсы и алгоритмы машинного обучения, которые существуют, чтобы помочь людям и службам более эффективно получать доступ к информации и обрабатывать ее.
Как работает граф знаний?
Графы знаний обычно состоят из наборов данных из разных источников, которые часто различаются по структуре. Схемы, идентификаторы и контекст работают вместе, чтобы обеспечить структуру разнообразных данных. Схемы обеспечивают основу для графа знаний, идентификаторы соответствующим образом классифицируют базовые узлы, а контекст определяет условия, в которых существуют эти знания. Эти компоненты помогают различать слова с несколькими значениями. Это позволяет таким продуктам, как алгоритм поисковой системы Google, определять разницу между Apple, брендом, и яблоком, фруктом.
Графы знаний, основанные на машинном обучении, используют обработку естественного языка (NLP - Natural Language Processing) для создания комплексного представления узлов, ребер и меток с помощью процесса, называемого семантическим обогащением. Когда данные принимаются, этот процесс позволяет графам знаний идентифицировать отдельные объекты и понимать отношения между различными объектами. Эти рабочие знания затем сравниваются и интегрируются с другими наборами данных, которые являются релевантными и схожими по своему характеру. После того, как диаграмма знаний завершена, она позволяет системам ответов на вопросы и поисковым системам извлекать и повторно использовать исчерпывающие ответы на заданные запросы. В то время как продукты, ориентированные на потребителя, демонстрируют свою способность экономить время, те же системы также могут применяться в бизнес-среде, исключая ручной сбор данных и интеграцию для поддержки принятия бизнес-решений.
Усилия по интеграции данных вокруг графов знаний также могут способствовать созданию новых знаний, устанавливая связи между точками данных, которые, возможно, не были реализованы ранее.
Варианты использования графов знаний
Существует ряд популярных графиков знаний, ориентированных на потребителя, которые определяют ожидания пользователей в отношении поисковых систем на предприятиях. Некоторые из этих графов знаний включают:
- DBPedia и Wikidata — это два разных графа знаний для данных. DBPedia состоит из данных из информационных блоков Википедии, в то время как Викиданные фокусируются на вторичных и третичных объектах. Оба обычно публикуются в формате RDF.
- Google Knowledge Graph представлен через страницы результатов поисковой системы Google (SERP), предоставляя информацию на основе того, что люди ищут. Этот граф знаний состоит из более чем 500 миллионов объектов, полученных из Freebase, Wikipedia, CIA World Factbook и других источников.
Однако графы знаний также находят применение в других отраслях, например:
- Розничная торговля: диаграммы знаний предназначены для стратегий дополнительных и перекрестных продаж, в которых продукты рекомендуются на основе индивидуального покупательского поведения и популярных тенденций покупок в демографических группах.
- Развлечения: графы знаний также используются для механизмов рекомендаций на основе искусственного интеллекта (AI) для контентных платформ, таких как Netflix, SEO или социальные сети. Основываясь на кликах и других действиях в Интернете, эти провайдеры рекомендуют пользователям новый контент для чтения или просмотра.
- Финансы: эта технология также использовалась для инициатив «знай своего клиента» (KYC - Know Your Customer) и борьбы с отмыванием денег в финансовой отрасли. Они помогают в предотвращении и расследовании финансовых преступлений, позволяя банковским учреждениям понимать движение денег через своих клиентов и выявлять клиентов, не соблюдающих требования.
- Здравоохранение: графы знаний также приносят пользу отрасли здравоохранения, организуя и классифицируя отношения в рамках медицинских исследований. Эта информация помогает клиникам подтверждать диагнозы и определять планы лечения на основе индивидуальных потребностей.
Что такое RDF?
RDF — это стандарт обмена данными, который используется для представления сильно взаимосвязанных данных. Каждый оператор RDF представляет собой структуру из трех частей, состоящую из ресурсов, где каждый ресурс идентифицируется URI. Представление данных в RDF позволяет системам ИИ легко идентифицировать информацию, устранять неоднозначность и связывать ее между собой.
RDF расшифровывается как Resource Description Framework и представляет собой стандарт для описания веб-ресурсов и обмена данными, разработанный и стандартизированный Консорциумом World Wide Web (W3C). Хотя существует множество обычных инструментов для работы с данными и, в частности, для работы с отношениями между данными, RDF является самым простым, наиболее мощным и выразительным стандартом, разработанным на данный момент.
Тройки RDF
Способ, которым RDF соединяет фрагменты данных, — это тройки (три позиционных утверждения).
Говоря простым языком, оператор RDF констатирует факты, отношения и данные, связывая ресурсы разных видов. С помощью оператора RDF почти все может быть выражено единообразной структурой, состоящей из трех связанных частей данных.
«Web Soft Shop & Technologies»
Читайте анонсы наших статей:
Почитать наши архивные публикации можно и в Yandex Q
