Курсова робота
На тему:
Реалізація компонентів інформаційної системи архіву супутникових даних
Владивосток, 2008

Зміст

Зміст
1. Введення
1.1 Глосарій
1.2 Опис предметної області
1.3 Неформальна постановка задачі
1.4 Огляд існуючих методів вирішення
2. Вимога до оточення
3. Специфікація даних
4. Функціональні вимоги
5. Проект
5.1 Засоби реалізації
5.2 Модулі та алгоритми
5.3 Структури даних
6. Реалізація та тестування
Висновок
Список літератури

1. Введення

1.1 Глосарій

· Метадані - «дані про дані». Короткий структурований опис, що містить інформацію про певний ресурс.
· Система метаданих (інформаційна система) - програмний комплекс, що включає в себе базу метаданих, каталог даних на його основі, супутні інтерфейси доступу та ряд обслуговуючих утиліт
· Каталог супутникових даних - система, заснована на метаданих, що надає користувачеві інформацію про файли супутникових даних організації
· База метаданих - база даних, що містить записи метаданих
· Система інвентаризації (інвентар) - частина системи метаданих, що займається реєстрацією розміщення файлів і має набір інтерфейсів для доступу, в першу чергу автоматичному режимі
· Утиліта інвентаризації - консольний додаток, призначений для реєстрації файлу в системі інвентаризації.
· Продукт - файл початкових даних або кінцевої продукції, який може бути зареєстрований в системі.
· Архів - ресурс на файловому сервері, доступний по протоколах SMB (а також FTP / HTTP), містить файли продуктів.
· Ідентифікатор (файлу) - рядок певного формату, однозначно ідентифікує продукт Центру.
· Java Runtime Environment - виконавче середовище Java
· ІК канал - Інфрачервоний канал

1.2 Опис предметної області
В даний час супутникові дані широко використовуються як джерело інформації, необхідної для підтримки науково-дослідної, господарство-економічної, а також військово-політичної діяльності людини на Землі. Кількість супутників, які постачають такого роду дані, безперервно зростає, як і кількість супутникових центрів, що займаються прийомом і обробкою цієї інформації.
Одним з таких супутникових центрів є Центр колективного користування Регіонального Супутникового Моніторингу Окружаюшей Середовища ДВО РАН. Центр функціонує на базі Лабораторії супутникового моніторингу ІАПУ ДВО РАН [1].
Користувачами, яких цікавить продукція супутникових центрів, зазвичай є [2]:
· Дослідники природних об'єктів Землі
· Розробники методів і засобів вимірювань і досліджень
· Пріродохранние організації
Основними цілями користувачів є отримання набору значень фізичних параметрів, відновлених на основі супутникових даних, а також однозначна ідентифікація певних об'єктів на зображеннях. Типовий сценарій роботи клієнта супутникового центру включає в себе: вибір даних і типу їх обробки; замовлення обробки та отримання її результатів.
Список базових завдань, що вирішуються супутниковими центрами, звичайно включає в себе [2]:
· Отримання даних із супутників
· Зберігання архіву даних за певний проміжок часу
· Інформаційно-довідковий сервіс
· Обробка даних різного рівня, включаючи початкову корекцію і тематичну обробку
· Доставка даних споживачу (як вихідних, так і оброблених)
Внаслідок величезного потоку різнорідної інформації виникає безліч проблем, пов'язаних із зберіганням, пошуком і отриманням конкретних даних, необхідних споживачу. У рішенні основної маси цих завдань допомагають метадані. Звичайне призначення метаданих - забезпечення користувача вичерпною інформацією про супутникових зображеннях архіву як в цілому, так і по конкретному зображенню. Наявність цієї інформації дозволяє користувачеві швидко знайти дані, придатні для вирішення його завдань.
Сучасною тенденцією розвитку супутникових центрів є їх об'єднання в єдині інформаційні мережі. Це зумовлено неоднаковими можливостями центрів по роботі з даними того чи іншого виду і необхідністю використовувати дані інших організацій. Основними проблемами такого обміну даними є відмінні інтереси учасників, необхідність узгодження стандартів обміну, а також питання оплати та обмежень на застосування даних.
Результатом вироблення єдиної стратегії вирішення перерахованих проблем в Європейському космічному агентстві (ESA) стала система SSE (Service Support Environment). Прототип системи був налагоджений в рамках проекту MASS-ENV, який існує з 2001 року. Розробкою концепції, стандартів, ПЗ займається група компаній під проводом Spacebel (Бельгія). Проект заснований на відкритих і загальновизнаних технологіях, таких як Web Services і SOAP. Завданням системи є створення середовища, що об'єднує всі служби дистанційного зондування Європи та інших країн.

1.3 Неформальна постановка задачі
Існуюча в Центрі інформаційна система включає базу метаданих для файлів даних супутників NOAA, веб-інтерфейс і утиліту для збору метаданих з файлів даних. Крім цього на базі пакету SSE Toolbox восени 2007 року був створений каталог даних, інтегрований в тестовому режимі в середу SSE. Постає завдання інтеграції найбільш важливих ресурсів Центру в дане середовище. Крім цього, розвиток системи розподіленої обробки супутникових даних, що діє в Центрі, вимагає розвитку бази метаданих та програмних інтерфейсів для доступу до неї в рамках Центру.
На рис. 1 представлена ​​архітектура розробляється інформаційної системи:
1. Збір інформації про місцезнаходження файлу
2. Занесення інформації в каталог (зовнішній URL файлу)
3. Витяг всій потенційно придатної інформації з файлу і занесення її БД відповідного типу
4. Відображення метаданих на каталог відповідно до вимог цільової системи
5. Інтерфейс в одну із зовнішніх систем
SHAPE \ * MERGEFORMAT

Каталог даних

Метадані файлів певного типу

Інвентар

Зовнішня система

Архів

1

3

4

2

5

Рис. 1 Архітектура розробляється інформаційної системи.

На даному етапі найбільш важливою є реалізація процедур збору метаданих; а також організація системи інвентаризації, яка спростила б пошук файлів супутникових даних, що знаходяться на різних ресурсах (мережевих сховищах і CD / DVD носіях).
Метою даної роботи є:
· Створення набору класів, що реалізують функції генерації метаданих для заданого файлу даних супутника MTSAT-1R.
· Реалізація системи інвентаризації.

1.4 Огляд існуючих методів вирішення

У даний момент у Центрі функціонує інформаційна система для файлів даних, отриманих із супутників серії NOAA [3], вона дозволяє проводити пошук і перегляд інформації як через веб-інтерфейс на сайті Центру, так і через сервер SSE Portal. Реалізована утиліта вилучення метаданих з файлів даних, отриманих з полярно-орбітального супутника FY-1D.
Наявні утиліти вилучення метаданих не можуть бути використані для файлів даних отриманих із супутника MTSAT-1R, так як вони мають інший формат.
Нова архітектура системи метаданих зажадала створення підсистеми, що відповідає за довідкову інформацію про розташування та способі доступу до файлів супутникових даних. До цих пір ця інформація зберігалася в базі метаданих поряд з іншими атрибутами. Вирішення цього завдання в рамках окремої підсистеми (інвентарю) робить модернізацію і підтримку простіше, дозволяючи компонентам еволюціонувати незалежно.

2. Вимога до оточення
Мінімальні апаратні вимоги включають оперативну пам'ять 64 Мб, Процесор з частотою 500 Мгц.
Також для роботи програми необхідна установка Java Runtime Environment версії не нижче 1.5.
Для Інвентаризатор також необхідна установка сервера PostgreSQL, JDBC драйвер для PostgreSQL.

3. Специфікація даних
Процедур збору метаданих працює з даними, отриманими із супутника MTSAT-1R і збережених у форматі HIRID.
Файл даних складається з кадрів. Кожен кадр являє собою дані описували цей кадр, і значення отримані радіометрами супутника.

4. Функціональні вимоги
Процедур збору метаданих вимагає:
• Методи для добування інформації, використовуваної для заповнення полів метаданих
• Методи для генерації зменшеного зображення
Зображення повинно будуватися за даними одного з каналів (ІК) і бути закодовано у форматі grayscale JPEG і доступно у вигляді масиву байт.
Модулі, генеруючі метадані на основі супутникових даних повинні реалізовувати інтерфейс MetadataSource. Цей інтерфейс описує довільний джерело метаданих для файлів полярно-орбітальних супутників. Інтерфейс вимагає визначення низки методів для отримання необхідної інформації. Крім цих методів, клас, який реалізує даний інтерфейс, повинен мати конструктор з файлом у якості параметра (java.io.File).
Для інвентаризації необхідно:
· База даних інвентаризації.
· Утиліта, що заповнює базу даних інвентарю даними про розташування файлу.
· Утиліта для вилучення цих даних з інвентарю.

5. Проект

5.1 Засоби реалізації

Оскільки у зв'язку зі специфікою лабораторії необхідна робота під будь-якою платформою та існуюча частина системи написана на мові Java в якості мови програмування була обрана мова Java. Сервером бази даних був обраний PostgreSQL так як він вже функціонує в лабораторії.
Інструментарій розробки:
· Sun JDK 1.6 - компілятор + утиліти і бібліотеки
· IntelliJ IDEA 7 - інтегрована середовище розробки
· PostgreSQL 8.2 - сервер бази даних
· PgAdmin 3 - утиліта для адміністрування СУБД PostgreSQL

5.2 Модулі та алгоритми

Проект складається з двох класів MTSATMetadataSource і MTSAT.
MTSATMetadataSource - реалізує інтерфейс MetadataSource. Усередині конструктора створюються екземпляр. Реалізовано методи повертають необхідні поля цього примірника.
MTSAT - відповідає за отримання необхідних полів метаданих на основі інформації із заголовка файлу, в тому числі координати меж зображення, дати і часу прийому, виток супутника, числа рядків і присутні канали.

SHAPE \ * MERGEFORMAT

MetadataSource

MTSATMetadataSource

MTSAT

Таблиця 1. Основні методи класу MTSATMetadataSource

Метод	Опис
T0MetadataSource	Конструктор класу, на вході має файл
getFormat getSatellite getSensors getTime getLu getRu getRd getLd getLength getTurn getQuality getBlock0 getPreview	Методи для читання значень полів. Викликаються ззовні і необхідні для функціонування класу в рамках системи

Таблиця 2. Основні методи класу MTSAT

Метод	Опис
MTSAT	Конструктор класу, на вході має файл
setSatelliteId setChannels setSatelliteTurn setQualitysetLatRu setLonLu setLength setLonRu setLatRd setLonRd setLatLd setLonLd	Методи для установки значень відповідних полів. Викликаються зсередини
getId getFile getSatelliteId getSatelliteTurn getChannels getLength getQuality getLatLu getLonLu getLatRu getLonRu getLatRd getLonRd getLatLd getLonLd	Методи для читання значень полів. Викликаються ззовні і необхідні для функціонування класу в рамках системи

Для Інвентаризатор були реалізовані дві утиліти INV і INF.
INV-отримує на вхід повне ім'я файлу, архів в якому він зберігається і тип супутника. Заповнює базу даних інвентарю даними про фото і видає ідентифікатор файлу.

INF-отримує на вхід ідентифікатор файлу. Видає інформацію про файл.
Таблиця 3. Основні методи класу MTSATMetadataSource

5.3 Структури даних

База даних складається з 4 таблиць file, folder, archive, file2folder.
file - Містить інформацію про фото
folder - Містить інформацію про розміщення
archive - Містить інформацію про архів
file2folder - зв'язує файл з його размешение
SHAPE \ * MERGEFORMAT

ID Name invDate createDate modifDate size

fileID folderID

ID archiveID path

ID Name label

file

file2folder

folder

archive

Таблиця 4. таблиця file

Назва поля	Тип	Опис
Id	Text	Ідентифікатор файлу
Name	Text	Назва файлу
invDate	Timestamp	Дата-час інвентаризації файлу
createDate	Timestamp	Дата-час створення файлу
modifDate	Timestsmp	Дата-час редагування файлу
Size	Int8	Розмір файлу

Таблиця 5. таблиця folder

Назва поля	Тип	Опис
Id	Int4	Ідентифікатор папки
Path	Text	Шлях до папки
archivID	Int4	Ідентифікатор архіву в якому знаходитися папка

Таблиця 6. таблиця archive

Назва поля	Тип	Опис
Id	Text	Ідентифікатор архіву
Name	Text	Ім'я архіву
Label	Text	Опис

Таблиця 7. таблиця file2folder

Назва поля	Тип	Опис
fileId	Text	Ідентифікатор файлу
folderId	Int4	Ідентифікатор папки в якій знаходиться файл

6. Реалізація та тестування
Вихідний код класів займає 20 кб (приблизно 500 рядків коду мовою Java і приблизно 50 рядків на SQL). Код розташований в п'яти файлах MTSAT.java, MTSATMetadataSource.java, INV.java, INF.java inventor.sql.
Механізм виклику модуля, відповідного типу файлу, в даний час не реалізований, тому для тестування збору метаданих був використаний наступний спрощений код:
Class aClass = Class.forName ("em.bv.storage.MTSATMetadataSource");
Constructor constructor = aClass.getConstructor (File.class);
MetadataSource source = (MetadataSource) constructor.newInstance (newFile ("g5200803010133.gms"));
System.out.println ("time =" + source.getTime ());
System.out.println ("length =" + source.getLength ());
System.out.println ("quality =" + source.getQuality ());
System.out.println ("source.getLu () =" + source.getLu (). ToTrimString ());
System.out.println ("source.getRu () =" + source.getRu (). ToTrimString ());
System.out.println ("source.getRd () =" + source.getRd (). ToTrimString ());
System.out.println ("source.getLd () =" + source.getLd (). ToTrimString ());
System.out.println ("satelliteTurn =" + source.getTurn ());
System.out.println ("divview length =" + source.getPreview (). Length);
System.out.println ("blk0 length =" + source.getBlock0 (). Length);
При тестуванні системи інвентаризації були використані наявні файли, заповнена база даних інвентаризації. Отримано інформацію про кожен файл, що зберігається в цій базі.
У ході тестування помилок виявлено не було.

Висновок

Таким чином, в процесі курсової роботи:
· Був вивчений формат файлу даних із супутника MTSAT-1R
· Був реалізований алгоритм отримання необхідних полів з потрібними даними
· Була розроблена структура бази даних інвентарю
· Реалізовано утиліта внесення даних в інвентар
· Реалізовано утиліта отримання даних з інвентарю

Список літератури

1. Центри колективного користування Російської Академії Наук / / М.: Наука, 2004, 192 с.
2. Єфремов В.Ю., Лупян EA, Мазуров AA, Прошин А.А., Флітман Є.В. Технологія побудови автоматизованих систем зберігання супутникових даних / / Сучасні проблеми дистанційного зондування Землі з космосу: Фізичні основи, методи і технології моніторингу навколишнього середовища, потенційно небезпечних об'єктів і явищ. Збірник наукових статей. Москва: Поліграф сервіс, 2004 с. 437-443
3. Каталог метаданих для файлів NOAA / / Центр регіонального супутникового моніторингу навколишнього середовища ДВО РАН / / http://www.satellite.dvo.ru