Міністерство культури і туризму України
Харківська державна академія культури
Кафедра інформаційних технологій
Реферат
з дисципліни «Електронний документообіг»
«Системи оперативного аналізу даних OLAP»
Виконала
Студентка І гр.
Факультету ДІД
Голік Ольга
Харків - 2009
ЗМІСТ
Введення
1. Основа концепції OLAP
2. Загальні вимоги до OLAP-системам і способи зберігання даних у них
3. OLAP на клієнті і сервері
Висновок
Список використаної літератури
ВСТУП
Важко знайти в комп'ютерному світі людини, яка хоча б на інтуїтивному рівні не розумів, що таке бази даних і навіщо вони потрібні. На відміну від традиційних реляційних СУБД, концепція OLAP не так широко відома.
OLAP (On-Line Analytical Processing) - оперативна аналітична обробка даних. Іноді аналітичну обробку називають і онлайнової, та інтерактивної, проте прикметник «оперативна» як не можна більш точно відображає зміст технології OLAP.
OLAP - це не окремо взятий програмний продукт, а ціла технологія. Якщо постаратися охопити OLAP у всіх його проявах, то це сукупність концепцій, принципів і вимог, що лежать в основі програмних продуктів, що полегшують доступ до даних.
Термін "OLAP" нерозривно пов'язаний з терміном "сховище даних" (Data Warehousing) - місцем OLAP в інформаційній структурі підприємства.
Ця технологія застосовується у сховищах даних для підвищення ефективності аналізу даних. Причому аналіз даних відбувається в режимі реального часу.
1. ОСНОВА КОНЦЕПЦІЇ OLAP
OLAP - представляє собою інструмент для аналізу великих обсягів даних. Взаємодіючи з OLAP-системою, користувач зможе здійснювати гнучкий перегляд інформації, отримувати довільні зрізи даних і виконувати аналітичні операції деталізації, згортки, наскрізного розподілу, порівняння в часі. Вся робота з OLAP-системою відбувається в термінах предметної області.
OLAP-системи є частина більш загального поняття Business Intelligence, яке включає в себе крім традиційного OLAP-сервісу засоби організації спільного використання документів, що виникають у процесі роботи користувачів сховища. Технологія Business Intelligence забезпечує електронний обмін звітними документами, розмежування прав користувачів, доступ до аналітичної інформації з Internet / Intranet.
В основі концепції OLAP лежить принцип багатовимірного представлення даних. За вимірюваннями в багатовимірної моделі виділяють фактори, що впливають на діяльність підприємства (наприклад, час, продукти, відділення компанії і т.п.) і отримують гіперкуб, який потім наповнюється показниками діяльності підприємства (ціни, продажу, план, прибутку, збитки і т. п.). Наповнення це може вестися як реальними даними оперативних систем, так і прогнозованими на основі історичних даних, тобто даних, накопичених за певний період часу.
Вимірювання гіперкуба можуть носити складний характер, бути ієрархічними, між ними можуть бути встановлені відносини. У процесі аналізу користувач може змінювати точку зору на дані (так звана операція зміни логічного погляду), тим самим, переглядаючи дані в різних розділах і дозволяючи конкретні завдання. Над кубами можуть виконуватися різні операції, включаючи прогнозування та умовне планування (аналіз типу «що, якщо»).
Оперативні дані збираються з різних джерел, очищаються, інтегруються і складаються в реляційне сховище. При цьому вони вже доступні для аналізу за допомогою різних засобів побудови звітів. Потім дані (повністю або частково) підготовлені для OLAP-аналізу. Вони можуть бути завантажені в спеціальну БД OLAP або залишені в реляційному сховище. Найважливішим його елементом є метадані, тобто інформація про структуру, розміщення і трансформації даних. Завдяки їм забезпечується ефективна взаємодія різних компонентів сховища.
2. ЗАГАЛЬНІ ВИМОГИ ДО OLAP-СИСТЕМ І СПОСОБИ ЗБЕРІГАННЯ ДАНИХ У НИХ
У 1993 році Є.Ф. Коддом - творцем концепції реляційних СУБД і, за сумісництвом, OLAP - були сформульовані критерії OLAP. Вони полягають у недоліках реляційної моделі і, в першу чергу, вказують на неможливість «об'єднувати, переглядати й аналізувати дані з точки зору множинності вимірів, тобто самим зрозумілим для корпоративних аналітиків способом». Загальні вимоги до систем OLAP, розширюють функціональність реляційних СУБД і включають багатовимірний аналіз як одну зі своїх характеристик.
Кодд визначив 12 правил, яким повинен задовольняти програмний продукт класу OLAP:
Багатомірне концептуальне представлення даних (Multi-Dimensional Conceptual View). Концептуальне уявлення моделі даних в продукті OLAP має бути багатовимірним за своєю природою, тобто дозволяти аналітикам виконувати інтуїтивні операції «аналізу вздовж і впоперек» («slice and dice»), обертання (rotate) та розміщення (pivot) напрямків консолідації.
Прозорість (Transparency). Користувач не повинен знати про те, які конкретні засоби використовуються для зберігання та обробки даних, як дані організовані і звідки беруться.
Доступність (Accessibility). Аналітик повинен мати можливість виконувати аналіз у рамках загальної концептуальної схеми, але при цьому дані можуть залишатися під управлінням залишилися від старого спадщини СУБД, будучи при цьому прив'язаними до загальної аналітичної моделі. Тобто, інструментарій OLAP повинен накладати свою логічну схему на фізичні масиви даних, виконуючи всі перетворення, що вимагаються для забезпечення єдиного, узгодженого і цілісного погляду користувача на інформацію.
Стійка продуктивність (Consistent Reporting Performance). Зі збільшенням числа вимірювань і розмірів бази даних аналітики не повинні зіткнутися з яким би то не було зменшенням продуктивності. Стійка продуктивність необхідна для підтримки простоти використання і свободи від ускладнень, які потрібні для доведення OLAP до кінцевого користувача.
Клієнт - серверна архітектура (Client-Server Architecture). Головна ідея роботи в середовищі клієнт - сервер - це те, що серверний компонент інструмента OLAP має бути досить інтелектуальним і мати здатність коштувати загальну концептуальну схему на основі узагальнення і консолідації різних логічних і фізичних схем корпоративних баз даних для забезпечення ефекту прозорості.
Рівноправність вимірів (Generic Dimensionality). Всі вимірювання даних повинні бути рівноправними. Додаткові характеристики можуть бути надані окремим вимірам. Але оскільки всі вони симетричні, дана додаткова функціональність може бути надана будь-якому виміру. Базова структура даних, формули та формати звітів не повинні спиратися на якийсь один вимір.
Динамічна обробка розріджених матриць (Dynamic Sparse Matrix Handling). Інструмент OLAP повинен забезпечувати оптимальну обробку розріджених матриць. Швидкість доступу повинна зберігатися незалежно від розташування осередків даних і бути постійною величиною для моделей, що мають різне число вимірювань і різну розрідженість даних.
Підтримка розрахованого на багато режиму (Multi-User Support). Найчастіше кілька аналітиків мають необхідність працювати одночасно з однією аналітичною моделлю або створювати різні моделі на основі одних корпоративних даних. Інструмент OLAP повинен надавати їм конкурентний доступ, забезпечувати цілісність і захист даних.
Необмежена підтримка кроссмерних операцій (Unrestricted Cross-Dimensional Operations). Обчислення і маніпуляція даними з будь-якого числа вимірів не повинні забороняти або обмежувати будь-які відносини між осередками даних. Перетворення, що вимагають довільного визначення, повинні задаватися на функціонально повному формульному мовою.
Інтуїтивне маніпулювання даними (Intuitive Data Manipulation). Деталізація даних у колонках і рядках, агрегація та інші маніпуляції, властиві структурі ієрархії, повинні виконуватися в максимально зручному, природному і комфортному інтерфейсі.
Гнучкий механізм генерації звітів (Flexible Reporting). Повинні підтримуватись різні способи візуалізації даних, тобто звіти повинні подаватися у будь-можливості орієнтації.
Необмежена кількість вимірів та рівнів агрегації (ed Dimensions and Aggregation Levels). Настійно рекомендується допущення в кожному серйозному OLAP інструменті як мінімум п'ятнадцяти вимірювань в аналітичній моделі. Більше того, кожне з цих вимірювань повинно допускати практично необмежену кількість певних користувачем рівнів агрегації.
Набір цих вимог, що послужили фактичним визначенням OLAP, слід розглядати як рекомендаційний, а конкретні продукти оцінювати за ступенем наближення до ідеально повної відповідності всім вимогам.
Пізніше всі ці вимоги були перероблені в так званий тест FASMI, який також визначає вимоги до продуктів OLAP. FASMI - це абревіатура від назви кожного пункту тесту:
Fast (Швидкий). Додаток OLAP має забезпечувати мінімальний час доступу до аналітичних даними - в середньому близько 5 секунд;
Analysis (Аналіз). Додаток OLAP має давати користувачеві можливість здійснювати числової і статистичний аналіз;
Shared (розділяється доступ). Додаток OLAP має надавати можливість роботи з інформацією багатьом користувачам одночасно;
Multidimensional (Багатомірність). Додаток повинен забезпечувати багатовимірне концептуальне представлення даних, включаючи повну підтримку ієрархій.
Information (Інформація). Додаток OLAP має давати користувачеві можливість отримувати потрібну інформацію, в якому б електронному сховищі даних вона не перебувала.
Дані можуть зберігатися або в реляційних, або в багатовимірних структурах. Тому в даний час застосовуються три способи зберігання даних:
MOLAP (Multidimensional OLAP) - вихідні і агрегатні дані зберігаються в багатовимірної базі даних. Зберігання даних у багатовимірних структурах дозволяє маніпулювати даними як багатовимірним масивом, завдяки чому швидкість обчислення агрегатних значень однакова для будь-якого з вимірів. Однак у цьому випадку багатовимірна база даних виявляється надмірною, так як багатовимірні дані повністю містять вихідні реляційні дані.
ROLAP (Relational OLAP) - вихідні дані залишаються в тій же реляційної бази даних, де вони спочатку і знаходилися. Агрегатні ж дані поміщають у спеціально створені для їх зберігання службові таблиці в тій же базі даних.
HOLAP (Hybrid OLAP) - вихідні дані залишаються в тій же реляційної бази даних, де вони спочатку знаходилися, а агрегатні дані зберігаються в багатовимірної базі даних.
Деякі OLAP-засоби підтримують зберігання даних тільки в реляційних структурах, деякі - тільки в багатовимірних. Однак більшість сучасних серверних OLAP-засобів підтримують всі три способи зберігання даних. Вибір способу зберігання залежить від обсягу і структури вихідних даних, вимог до швидкості виконання запитів і частоти оновлення OLAP-кубів.
Відзначимо також, що переважна більшість сучасних OLAP-засобів не зберігає «порожніх» значень (прикладом «порожнього» значення може бути відсутність продажів сезонного товару поза сезоном).
Одним з популярних засобів розробки OLAP-систем є сімейство програмних продуктів Oracle Express OLAP компанії Oracle. Програмне забезпечення Oracle Express надає широкі можливості для створення аналітичних систем на основі сервера багатовимірних баз даних - Oracle Express Server. До складу інструментальних засобів Oracle Express входять засоби створення та адміністрування багатовимірних баз даних-Express Administrator, засіб візуального створення "полегшених" клієнтських додатків і презентацій - Express Analyzer, професійна інструментальне середовище об'єктно-орієнтованої розробки OLAP-додатків - Express Objects, що дозволяє створювати складні інтегровані клієнтські програми, та інші кошти, пов'язані з публікацією даних в Інтернеті.
3. OLAP НА КЛІЄНТА І НА СЕРВЕРІ
Багатовимірний аналіз даних може бути проведений за допомогою різних засобів, які умовно можна розділити на клієнтські та серверні OLAP-засоби.
Клієнтські OLAP-засоби представляють собою програми, які здійснюють обчислення агрегатних даних (сум, середніх величин, максимальних або мінімальних значень) та їх відображення, при цьому самі агрегатні дані містяться в кеші всередині адресного простору такого OLAP-засоби.
Якщо вихідні дані містяться в настільній СУБД, обчислення агрегатних даних виробляється самим OLAP-засобом. Якщо ж джерело вихідних даних - серверна СУБД, багато хто з клієнтських OLAP-засобів посилають на сервер запити, що містять оператор GROUP BY, і в результаті отримують агрегатні дані, обчислені на сервері.
Як правило, OLAP-функціональність реалізована в засобах статистичної обробки даних (з продуктів цього класу на російському ринку широко поширені продукти компаній StatSoft та SPSS) і в деяких електронних таблицях. Зокрема, непоганими засобами багатовимірного аналізу володіє Microsoft Excel 2000.
Багато засобів розробки містять бібліотеки класів або компонентів, що дозволяють створювати додатки, що реалізують найпростішу OLAP-функціональність. Крім цього багато компаній пропонують елементи керування ActiveX і інші бібліотеки, що реалізують подібну функціональність.
Відзначимо, що клієнтські OLAP-засоби застосовуються, як правило, при малому числі вимірів (зазвичай рекомендується не більше шести) і невеликій різноманітності значень цих параметрів, - адже отримані агрегатні дані повинні уміщатися в адресному просторі подібного кошти, а їх кількість зростає експоненціально при збільшенні числа вимірів. Тому навіть найпримітивніші клієнтські OLAP-засоби, як правило, дозволяють зробити попередній підрахунок обсягу необхідної оперативної пам'яті для створення в ній багатовимірного куба.
Багато клієнтські OLAP-засоби дозволяють зберегти агрегатні дані у вигляді файлу, що, у свою чергу, дозволяє не проводити їх повторне обчислення. Зазначимо, що нерідко така можливість використовується для відчуження агрегатних даних з метою передачі їх іншим організаціям або для публікації. Типовим прикладом таких відчужуваних агрегатних даних є статистика захворюваності у різних регіонах і в різних вікових групах, яка є відкритою інформацією, яка публікується міністерствами охорони здоров'я різних країн та Всесвітньою організацією охорони здоров'я. При цьому власне вихідні дані, що представляють собою відомості про конкретні випадки захворювань, є конфіденційними даними медичних установ, які в жодному разі не повинні потрапляти в руки страхових компаній і тим більше ставати надбанням гласності.
Ідея збереження агрегатних даних у файлі отримала свій подальший розвиток в серверних OLAP-засобах. У них збереження та зміна агрегатних даних, а також підтримка містить їхні сховища здійснюються окремим додатком або процесом, званим OLAP-сервером. Клієнтські додатки можуть запитувати подібне багатовимірне сховище і у відповідь отримувати ті або інші дані. Деякі клієнтські програми можуть також створювати такі сховища або оновлювати їх відповідно до змінилися вихідними даними.
Переваги застосування серверних OLAP-засобів в порівнянні з клієнтськими OLAP-засобами: у разі застосування серверних засобів обчислення і зберігання агрегатних даних відбуваються на сервері, а клієнтське додаток отримує лише результати запитів до них, що дозволяє в загальному випадку знизити мережевий трафік, час виконання запитів і вимоги до ресурсів, що споживаються клієнтським додатком. Оскільки всі провідні виробники серверних СУБД виробляють (або ліцензували у інших компаній) ті чи інші серверні OLAP-засоби, вибір їх досить широкий і майже у всіх випадках можна придбати OLAP-сервер того ж виробника, що й у самого сервера баз даних.
Відзначимо, що багато клієнтські OLAP-засоби дозволяють звертатися до серверних OLAP-сховищ, виступаючи в цьому випадку в ролі клієнтських додатків, що виконують подібні запити. Крім цього є чимало продуктів, що представляють собою клієнтські додатки до OLAP-засобів різних виробників.
ВИСНОВОК
В останні роки аналітична обробка даних привертає все більшу увагу в світі. Наприклад, аналітичні модулі з'явилися у складі всіх основних західних і російських фінансово-виробничих програм - адже в умовах ринкової економіки якість інформаційної підтримки діяльності керівників і аналітиків є одним з факторів досягнення успіху підприємства. OLAP і є тією технологією, яка перетворює "сирі" дані OLTP в інформацію і знання для кінцевих користувачів.
На закінчення, можна визначити OLAP як сукупність засобів аналізу даних, накопичених в сховище, а також його основні особливості:
Виділення з великого обсягу історичних даних змістовної інформації (знань) з використанням засобів обробки інформації на основі методів штучного інтелекту
Використання потужної обчислювальної техніки та спеціального сховища даних, яка накопичує інформацію з різних джерел за великий період часу, а також забезпечення оперативного доступу до даних.
СПИСОК ВИКОРИСТАНОЇ ЛІТЕРАТУРИ
1. Асєєв Г.Г. Електронний документообіг / Г.Г. Асєєв. - К.: Кондор, 2007. - 500 с.
2. Асєєв Г.Г. Електронний документообіг / Г.Г. Асєєв. - Х.: ХДАК, 2000. - 470 с.
3. Заботнев М.С. Методи представлення інформації в розріджених гіперкуба даних [Електронний ресурс]. - Режим доступу: http://www.olap.ru/basic/theory.asp
4. Введення в OLAP. [Електронний ресурс]. - Режим доступу: http://www.olap.ru/basic/oolap.asp
5. Людей похилого віку. Ядро OLAP системи. [Електронний ресурс]. - Режим доступу: http://www.masters.donntu.edu.ua/2004/kita/petrov/library/lec8.htm
6. Альперович М. Введення в OLAP та багатовимірні бази даних. [Електронний ресурс]. - Режим доступу: http://www.olap.ru/basic/alpero2i.asp
Посилання (links):