ГЛАВА 2. ОРГАНИЗАЦИЯ СИСТЕМЫ И ОПИСАНИЕ РЕАЛИЗАЦИИ ПРОЕКТА
Производится выбор необходимых параметров, средств и методов реализации проекта. Рассматривается целесообразность и обоснование выбранных вариантов.
2.1 Выбор ГИС
ГИС в целом и программное обеспечение (далее ПО), как важнейший компонент ГИС, прошли путь от мейнфреймов до персональных компьютеров. На сегодняшний день наиболее распространенными программными продуктами для разработки и управления ГИС являются уже так называемые пользовательские ГИС, то есть ГИС управляемые одним пользователем и располагающиеся на одном персональном компьютере (хотя данные могу быть распределены внутри локальной сети или интернет). Базовая функциональность ПО ГИС основных производителей во многом одинакова, однако расширенная может сильно различаться. Было проведено сравнение наиболее распространенных пользовательских ГИС.
Mapinfo (Mapinfo Corp) — полнофункциональная инструментальная геоинформационная система (ГИС). С ее помощью можно создавать и редактировать карты, хранить и обрабатывать информацию, связанную с картографическими объектами. С точки зрения общепринятой терминологии ГИС MapInfo является системой управления базой пространственных данных. В дополнение к традиционным для СУБД функциям MapInfo позволяет обрабатывать также картографические данные, хранящиеся в базе, с учетом пространственных отношений объектов. ГИС MapInfo может выступать в роли «картографического клиента» при работе с такими известными СУБД, как Informix, Sybase, Oracle8 и DB2, поскольку поддерживает эффективный механизм взаимодействия с ними как через протокол ODBC, так и «напрямую».
MapInfo Professional обеспечивает:
- картографический интерфейс;
- создание и редактирование карт высокого качества;
- пространственные данные, поставляемые с программным обеспечением;
- простоту интеграции карт — несколько строк кода внедряют окно MapInfo в приложения Windows (Excel, Access, Word);
- анимационный слой — быстрая перерисовка при частых изменениях на слое (полезно для систем слежения за движущимися объектами);
- работу с 3D-данными — построение изолиний, триангуляция Делоне и трехмерная визуализация.
Мощным средством анализа и наглядного представления пространственных данных в ГИС MapInfo является тематическая картография. На тематической карте легко понять связи между различными объектами и проследить тенденции в развитии различных явлений. Картограммы, столбчатые и круговые диаграммы, метод значков, плотность точек, метод качественного фона, непрерывной поверхности-грида — вот только некоторые виды тематических карт в MapInfo. Сочетание тематических слоев и методов буферизации, районирования, слияния и разбиения объектов, пространственной и атрибутивной классификации позволяет создавать синтетические многокомпонентные карты с иерархической структурой легенды. Mapinfo одна из наиболее развитых, мощных и простых в использовании система настольной картографии, позволяющая решать широкий спектр задач в различных сферах деятельности. ГИС MapInfo широко распространена в нашей стране, однако значительно меньше за рубежом. [2]
ArcGIS (ESRI) — одна из наиболее распространенных ГИС на сегодняшний день. ArcGIS представляет собой полную систему, которая позволяет собирать, организовывать, управлять, анализировать, обмениваться и распределять географическую информацию. Являясь мировым лидером среди платформ для построения и использования геоинформационных систем, ArcGIS используется людьми по всему миру для применения географических знаний в практической сфере государственного управления, бизнеса, науки, образования и СМИ. Платформа ГИС позволяет публиковать географическую информацию для доступа и использования любыми пользователями. Система доступна в любой точке, где возможно использование веб-браузеров, мобильных устройств в виде смартфонов, а также настольных компьютеров. ArcGIS по своей сути является набором программных продуктов и инструментов, который используется для профессионального выполнения ГИС-задач. Система ArcGIS позволяет создавать надежную географическую информацию ГИС-сообществом, легко и просто использовать ее любым заинтересованным лицам (а также определять, с кем ею можно обмениваться). Данная система включает в себя программное обеспечение, интерактивную облачную инфраструктуру, профессиональные инструменты, настраиваемые ресурсы, например, шаблоны приложений, готовые к использованию веб и мобильные приложения, готовые к использованию базовые карты, а также надежное содержание, которое распространяется сообществом пользователей. Поддержка серверов и облачных платформ позволяет выполнять совместную обработку и обмен; при этом критическая для планирования и принятия решений информация немедленно становится доступной для всех. ArcGIS используется многими, благодаря непревзойденной скорости работы, огромной базе модулей расширения и дополнительного ПО. Имеет собственный формат данных, используемый и в других продуктах этой компании. [1]
QGIS (QGIS Development Team) — свободная кроссплатформенная геоинформационная система. Работа над QGIS была начата в мае 2002 года, а в июне того же года — создан проект на площадке SourceForge. Создатели много работали, чтобы сделать программное обеспечение ГИС (которое традиционно является дорогим проприетарным ПО) доступным любому, кто имеет доступ к персональному компьютеру. В настоящее время QGIS работает на большинстве платформ. QGIS разработана с использованием инструментария Qt и языка программирования C++. Это означает, что QGIS легка в использовании, имеет приятный и простой графический интерфейс. QGIS стремится быть легкой в использовании ГИС, предоставляя общую функциональность. Первоначальная цель заключалась в облегчении просмотра геоданных и QGIS достигла той стадии в своем развитии, когда многие используют ее в своих ежедневных задачах просмотра. QGIS поддерживает множество растровых и векторных форматов данных, а поддержка новых форматов реализуется с помощью модулей.
QGIS выпускается на условиях лицензии GNU General Public License (GPL). Разработка QGIS под этой лицензией означает, что любой может просмотреть и изменить исходный код, и гарантирует, что пользователь, всегда будете иметь доступ к программному обеспечению ГИС, которое является бесплатным и может свободно адаптироваться. QGIS позволяет использовать большое количество распространенных ГИС функций, обеспечиваемых встроенными инструментами и модулями. Можно создавать, редактировать, управлять, просматривать и накладывать друг на друга векторные и растровые данные в различных форматах и проекциях без преобразования во внутренний или общий формат.
Поддерживаются следующие основные форматы:
- пространственные таблицы и представления PostGIS, SpatiaLite, MSSQL Spatial и Oracle Spatial;
- векторные форматы, поддерживаемые установленной библиотекой OGR, включая shape-файлы ESRI, MapInfo, SDTS , GML и многие другие;
- форматы растров и графики, поддерживаемые библиотекой GDAL (Geospatial Data Abstraction Library);
- пространственные данные, публикуемые в сети Интернет с помощью OGC-совместимых сервисов.
QGIS позволяет выполнять пространственный анализ с использованием баз данных и OGR-совместимых форматов, осуществлять анализ векторных данных, геообработку, предоставляет широкий набор инструментов управления данными. Возможно использовать инструменты GRASS, которые предоставляют доступ к более чем 400 модулям GRASS. Или же использовать модуль Processing, который позволяет вызывать множество встроенных и сторонних алгоритмов, например GDAL, SAGA, GRASS и др.
QGIS может быть адаптирована к особым потребностям благодаря расширяемой модульной архитектуре. QGIS предоставляет библиотеки, которые могут использоваться для создания модулей. Можно создавать отдельные приложения, используя языки программирования C++ или Python.[6]
По основным причинам открытости программного кода, а соответственно доступности любому пользователю, достаточно мощному функционалу и совместимости с объектно-реляционной СУБД PostgreSQL, для работы была выбрана ГИС QGIS.
2.2 Тестовая БД. Пространственные запросы
Пространственные данные (географические данные, геоданные) — данные о пространственных объектах и их наборах. Иными словами — всё, что имеет координаты. Погода, рельеф, леса, поля, встречи животных, дороги, дома и страны, города и сёла, все это и многое другое — объекты и явления, которые имеют координаты. Объекты могут быть разбросаны случайно или закономерно, регулярно или нерегулярно. Пространственные данные составляют основу информационного обеспечения геоинформационных систем.
Существует два типа пространственных данных geometry и geography. Тип данных geometry поддерживает планарные или эвклидовы данные (система координат для плоской Земли). Geometry соответствует спецификации «Simple Features for SQL» консорциума OGC версии 1.1.0 и стандарту SQL MM (стандарт ISO). Тип данных geography используется для хранения эллиптических данных, таких как координаты GPS широты и долготы. [16]
В нашем проекте был использован тип geometry.
Для работы была выбрана тестовая база данных, представленная четырьмя субъектами Российской Федерации: Кемеровской, Новосибирской областями, Алтайским краем и Республикой Алтай. [15]
Данные в открытом наборе геоданных представлены послойно, в векторном формате. Данные находятся в географической системе координат WGS84, проекция отсутствует. Названия файлов данных и слоёв в проектах англоязычные: населенные пункты — settlements, речная сеть — hydro и т.д.. Кодировка атрибутивных данных Win1251. Для других форматов — UTF-8.
База данных состоит из 12 слоев (таблиц):
- Административные границы (admin)
- Границы экопегионов (ecoregions)
- Гидросеть полигональная (hydro-a)
- Гидросеть линейная (hydro-l)
- Охраняемые природные территории (Заповедники, национальные парки) (oopt)
- Точечные объекты (рестораны автозаправки и т.п.) (poi-osm) Тип слоя: векторный, точечный.
- Железные дороги (railroad-l) Тип слоя: векторный, линейный.
- Дорожная сеть (road-l-osm) Тип слоя: векторный, линейный.
- Населенные пункты (settlements)
- Почвы (soils)
- Рельеф (spatial_ref_sys)
- Растительность (veg)
Смысл функциональности пространственных баз данных заключается в выполнении запросов к базе данных, для которых иначе потребовалась бы настольная ГИС.
Пространственный запрос – это структурированный запрос к пространственным данным, критериями которого являются условия, связанные с координатами векторной геометрии. К примеру, можно запросить все объекты определенного типа, которые находятся внутри заданного контура, пересекают заданную границу или находятся на определенном расстоянии от заданной точки.
С пространственными данными может быть связана также любая неграфическая информация, дополнительно характеризующая тот или иной объект в системе. Более того, любой объект информационной модели в ГИС может быть представлен совокупностью пространственных объектов и наборов, связанных с ними семантических атрибутов, описывающих этот объект точно так же, как если бы он был представлен в любой неграфической системе. Допустим, если ГИС использует для хранения своих данных СУБД, то семантическая часть описания объектов – это записи в таблицах реляционной базы данных. Довольно часто структурированные запросы к данным под управлением ГИС представляют собой симбиоз традиционных SQL запросов к базе данных и параметров пространственных запросов. Отчасти SQL основан на формальном языке запросов, реляционной алгебре, его отличают простота использования, интуитивность и универсальный характер. Системы управления пространственными базами данных представляют собой частный случай расширяемых СУБД и работают как с пространственными, так и с непространственными данными, поэтому вполне естественно попытаться найти расширение SQL, позволяющее обращаться к пространственным данным.
Вообще говоря, запросы можно разделить на две категории: те, что требуют однопроходного просмотра (single-scan queries), и те, что требуют многопроходного просмотра (multiscan queries). При обработке запроса первой категории обращение к запрашиваемой записи (кортежу) таблицы (отношения) должно производиться не более одного раза. Следовательно, при реализации наихудшего — с точки зрения времени — сценария каждая запись будет извлекаться из таблицы и подвергаться проверке на предмет соответствия критерию поиска.
Примером запроса, требующего многопроходного просмотра, является запрос соединения (join query). Чтобы выдать ответ на запрос соединения, СУБД должна произвести выборку и комбинирование двух таблиц базы данных. Если в запросе требуется обработать более двух таблиц, они могут обрабатываться попарно. Две таблицы «соединяются» по общему атрибуту. Поскольку записи в одной таблице могут быть связаны более чем с одной записью в другой таблице, есть вероятность того, что для завершения соединения одного обращения к записи будет недостаточно. В контексте пространственных БД, когда атрибуты соединения являются пространственными по своей природе, такой запрос носит название запроса пространственного соединения (spatial-join query).
Конструкции объектно-ориентированного программирования, такие, как пользовательские типы, а также наследование данных и функций, нашли непосредственное применение в создании моделей сложных данных. Повсеместное использование реляционной модели и языка SQL в приложениях, включающих простые типы данных, в сочетании с функциональностью объектно-ориентированной модели привело к рождению новой «гибридной» парадигмы систем управления базами данных, именуемой объектно-реляционная СУБД. [23]
2.3 Выбор СУБД
Базы данных используются уже долгое время. Особенно популярны они стали благодаря системам управления, реализующим реляционную модель данных. Была поставлена задача о выделении основных различий между разными системами управления базами данных с открытым исходным кодом, рассмотреть их функциональные отличия и особенности, как они работают и какую СУБД лучше выбрать исходя из потребностей разработки.
СУБД должна обеспечивать реляционную модель работы с данными. Сама модель подразумевает определенный тип связи между сущностями из разных таблиц. Чтобы хранить и работать с данными, такой тип СУБД должен иметь определенную структуру (таблицы). В таблицах каждый столбец может содержать данные разного типа. Каждая запись состоит из множества атрибутов (столбцов) и имеет уникальный ключ, хранящийся в той же таблице — все эти данные взаимосвязаны между собой, как описано в реляционной модели.
Отношения в базах данных можно рассматривать как математическое множество, содержащее в себе число атрибутов, которые суммарно представляют собой базу данных и информацию, хранящуюся в ней.
Во время создания структуры таблицы каждое поле записи должно иметь заранее описанный тип (например: строка, целочисленное значение и т.д.). Все СУБД имеют в своем составе различные типы данных, которые не всегда являются взаимозаменяемыми. При работе с СУБД всегда приходится сталкиваться с подобными ограничениями.
Было рассмотрено три основных свободно распространяемых СУБД: SQLite, MySQL и PostgreSQL.
SQLite (Richard Hipp). Легко встраиваемая в приложения база данных. Так как это система базируется на файлах, то она предоставляет довольно широкий набор инструментов для работы с ней, по сравнению с сетевыми СУБД. При работе с этой СУБД обращения происходят напрямую к файлам (в эти файлах хранятся данные), вместо портов и сокетов в сетевых СУБД. Именно поэтому SQLite очень быстрая, а также мощная благодаря технологиям обслуживающих библиотек.
К преимуществам SQLite можно отнести, пожалуй, лишь файловую структуру — вся база данных состоит из одного файла, поэтому её очень легко переносить на разные машины. Основным недостатком данной СУБД является отсутствие системы пользователей, что крайне важно для нашего проекта.[7]
MySQL (Oracle) — это самая распространенная полноценная серверная СУБД. MySQL очень функциональная, свободно распространяемая СУБД, которая успешно работает с различными сайтами и веб приложениями. Несмотря на то, что в ней не реализован весь SQL функционал, MySQL предлагает довольно много инструментов для разработки приложений. Так как это серверная СУБД, приложения для доступа к данным, в отличии от SQLite работают со службами MySQL.
К преимуществам MySQL относят: простоту в работе, богатый функционал, большое количество функций обеспечивающих безопасность, возможность работать с большими объемами данных, скорость работы.
Однако, так как MySQL не ставит для себя целью — полностью соответствовать стандартам SQL, то эта СУБД не полностью поддерживает SQL. Так же к недостаткам относят и многопоточность, хотя некоторые движки БД довольно легко выполняют параллельное чтение, параллельные операции чтения-записи могут создать проблемы.[3]
PostgreSQL (The PostgreSQL Global Development Group) является самым профессиональным из всех трех рассмотренных нами СУБД. Она свободно распространяемая и максимально соответствует стандартам SQL. PostgreSQL или Postgres стараются полностью применять ANSI/ISO SQL стандарты своевременно с выходом новых версий.
От других СУБД PostgreSQL отличается поддержкой востребованного объектно-ориентированного и/или реляционного подхода к базам данных. Например, полная поддержка надежных транзакций (ACID). Благодаря мощным технологиям PostgreSQL очень производительна. Параллельность достигнута не за счет блокировки операций чтения, а благодаря реализации управления многовариантным параллелизмом (MVCC), что также обеспечивает соответствие ACID. PostgreSQL очень легко расширять своими процедурами, которые называются хранимые процедуры. Эти функции упрощают использование постоянно повторяемых операций.
Хотя PostgreSQL и не может похвастаться большой популярностью в отличии от MySQL, существует довольно большое число приложений облегчающих работу с PostgreSQL, несмотря на всю мощность функционала.
Важным критерием для нас явился объем поддерживаемых типов данных, которым не могли похвастаться две предыдущие СУБД вместе взятые:
bigint — знаковое 8-ми битное целочисленное значение
bigserial — автоматически инкрементируемое 8-ми битное целочисленное значение
bit[(n)] — строка постоянной длины
bit varying [(n)] — строка переменной длины
boolean — булево значение (true/false)
box — прямоугольник на плоскости
bytea — бинарные данные (массив байтов)
character varying [(n)] — строковое значение переменной длины
character [(n)] — строковое значение постоянной длины
cidr — IPv4/IPv6 сетевой адрес
circle — круг на плоскости
date — календарная дата (год, месяц, день)
double precision — число с плавающей точкой двойной точности (8 байт)
inet — IPv4/IPv6 адрес хоста
integer — знаковое 4-ех байтовое целочисленное значение
interval [fields][(p)] — отрезок времени
line — бесконечная прямая на плоскости
lseg — отрезок на плоскости
macaddr — MAC адрес
mony — валютное значение
numeric [(p, s)] — точное численное значение с выбранной точностью
path — геометрическая кривая на плоскости
point — геометрическая точка на плоскости
polygony — многоугольник на плоскости
real — число с плавающей точкой одинарной точности (4 байта)
smallint — знаковое целочисленное значение (4 байта)
serial — автоматические инкрементируемое целочисленное значение (4 байта)
text — строковое значение переменной длины
time [(p)] [without time zone] — время суток (без часового пояса)
time [(p)] with time zone — время суток (включая часовой пояс)
timestamp [(p)] [without time zone] — дата и время (без часового пояса)
timestamp [(p)] with time zone — дата и время (с часовым поясом)
tsquery — текстовый поисковый запрос
tsvector — документ текстового поиска
txid_snapshot — пользовательский снимок транзакции с ID
uuid — универсальный уникальный идентификатор
xml — XML данные
Основными достоинствами PostgreSQL так же являются:
- соответствие стандарту SQL;
- большое сообщество — существует довольно большое сообщество в котором вы запросто найдёте ответы на свои вопросы;
- большое количество дополнений — несмотря на огромное количество встроенных функций, существует очень много дополнений, позволяющих разрабатывать данные для этой СУБД и управлять ими;
- расширения — существует возможность расширения функционала за счет сохранения своих процедур;
- объектность — PostrgreSQL это не только реляционная СУБД, но также и объектно-ориентированная с поддержкой наследования и много другого.
Так же из преимуществ над другими СУБД хотелось бы отметить:
- надежность и целостность хранимых данных;
- наличие встроенной поддержки для использования сложных пользовательских процедур;
- легкость интеграции (переход на платные СУБД, например Oracle, сделать с PostgreSQL будет довольно просто по сравнению с другими бесплатными СУБД).
Сложная структура данных — по сравнению с другими открытыми СУБД PostgreSQL предоставляет больше возможностей для создания сложных структур данных без необходимости жертвовать какими-либо аспектами.[5,8]
Изучив все плюсы и минусы, было принято решение в данном проекте использовать объектно-реляционную СУБД PostgreSQL.
ГЛАВА 3. РЕАЛИЗАЦИЯ ДИПЛОМНОГО ПРОЕКТА
Рассматриваются некоторые технические аспекты реализации проекта.
3.1. Установка и настройка объектно-реляционной СУБД PostgreSQL
Как говорилось ранее, PostgreSQL является свободной объектно-реляционной системой управления базами данных. Последнюю версию PostgreSQL можно скачать на официальном сайте (http://www.postgresql.org). Начиная с версии 9.0 для Windows предоставляются собранные версии как 32-bit так и 64-bit. В данном проекте рассматривалась установка 64-битной версии PostgreSQL 9.5 на 64-битную версию Windows 8.1. Установка производилось от пользователя, имеющего административные права.
Первым делом устанавливается Microsoft Visual C++ Redistributable – рабочие модули библиотек Visual C++, необходимые для запуска созданных при помощи этого языка программирования приложений (см. Рис.2).
Затем выбирается каталог установки программы (см. Рис.3).
Следующим шагом выбирается каталог хранения данных (см. Рис.4). Это довольно удобно и разработчики логично предположили, что многие могут захотеть хранить данные на других дисках, скажем более быстрых, для увеличения производительности баз данных. Раньше, конечно, это тоже можно было настроить через файл конфигурации, но теперь это можно сделать уже на этапе установки. Также можно выбрать существующий каталог с данными, которые будут использоваться повторно, если они совместимы с сервером.
Вводится и подтверждается пароль, который будет использоваться для учётной записи суперпользователя (postgres) в базе данных кластера (см. Рис.5). PostgreSQL в Windows работает не от администратора, а от имени учётной записи пользователя, имя которого «postgres». Сделано это было, прежде всего, из соображений безопасности, чтобы никакие вредители системы не смогли получить права администратора, даже если они каким-то образом найдут уязвимость в безопасности самого PostgreSQL. В самой СУБД PostgreSQL есть такой специальный пользователь — суперпользователь, который имеет максимальные права внутри СУБД PostgreSQL, только он может создавать или удалять любые базы данных и любых пользователей. Этот суперпользователь тоже имеет имя пользователя «postgres». Но, несмотря на то, что имена пользователей учётной записи в Windows и суперпользователя PostgreSQL абсолютно одинаковы, это абсолютно разные пользователи, абсолютно никаким образом не связанные друг с другом. Предлагается задать один и тот же пароль для них обоих, чтобы потом не путаться с разными паролями. В Windows, этот пароль также используется для учётной записи службы «postgres» и должен соответствовать текущему паролю в том случае, если учётная запись суперпользователя уже существует. Если учётная запись службы уже существует в Windows, нужно ввести текущий пароль этой учётной записи. Если данная учётная запись не существует, она будет создана. Можно изменить пароль суперпользователя независимо от пароля учётной записи службы «postgres» в любое время после установки.
Выбирается порт подключения (см. Рис.6). По умолчанию, входящие соединения будут приниматься только с локального компьютера. Это можно изменить, отредактировав файл «pg_hba.conf» в каталоге с данными и перезагрузив сервер. Значение по умолчанию: 5432.
Выбирается локаль, с использованием которой будет инициализирован кластер баз данных и которая в дальнейшем будет использоваться по умолчанию при создании других баз данных (см. Рис.7). Это довольно важный шаг, ибо локаль определяет такой важный параметр как кодировка данных в базах. Большинство людей всё-таки предпочитает работать с кодировкой UTF-8. Эта кодировка будет установлена в том случае, если в данном окне вы выберите локаль по умолчанию: [Default locale].
После завершения установки, предлагается возможность запуска Stack Builder (см. Рис.8,9), с помощью которого можно загрузить и установить дополнительные компоненты, популярные приложения и драйверы к дополнению установки PostgreSQL.
Для хранения в базе данных географической информации требуется установить расширение PostGIS. PostGIS включает поддержку пространственных индексов R-Tree/GiST, а также функции обработки геоданных. PostGIS так же, как и PostgreSQL является свободным ПО с открытым исходным кодом. Так же требуется установить драйвер программного интерфейса доступа к базам данных (ODBC) и поставщик данных Npgsql, позволяющий клиентским приложениям отправлять и получать данные с сервера PostgreSQL.
Следующим шагом выбирается каталог загрузки (см. Рис.10).
Загружаются файлы (см. Рис.11). Общий объем загружаемых файлов составляет около 47 МБ.
Далее устанавливаются Npgsql и psqlODBC.
3.1.1 Установка PostGIS
В открывшемся окне установки PostGIS ставится отметка на пункте «Create spatial database» (см. Рис.12). «Create spatial database» позволяет создать пространственную базу данных автоматически. В нашем проекте требуется создание такой базы, это делается, прибегая к услугам установщика PostGIS, и поэтому на данном этапе отметка на этом пункте ставится.
Выбирается путь для установки (см. Рис.13). На диске расширение занимает 139.9 МБ памяти.
Заполняются представленные поля (см. Рис.14). В поле «Password» вводится пароль указанный ранее (см. стр.35).
Вводится название для создаваемой базы данных (см. Рис.15). Стоит отметить, что эта база данных в последующем может использоваться как шаблон для всех остальных баз.
После настройки параметров, происходит непосредственная установка PostGIS (см. Рис.16).
После сообщения об успешной установке, мастер установки Stack Builder закрывается. [20]