Ім'я файлу: disertaciya_sokolovskij_version-02-03-2021.docx
Розширення: docx
Розмір: 1367кб.
Дата: 11.07.2021
скачати
Пов'язані файли:
Розширення: docx
Розмір: 1367кб.
Дата: 11.07.2021
скачати
Пов'язані файли:
ВИМІРЮВАННЯ КОРПОРАТИВНОЇ РЕПУТАЦІЇ В КОНТЕКСТІ ЇЇ СОЦІОЛОГІЧНОГО РОЗУМІННЯ
3.1 Валідність та надійність вимірювальних методик: верифікація методики RepTrak™
Третій розділ роботи присвячений розробленню підходу до вимірювання корпоративної репутації, який максимально відповідав би розумінню корпоративної репутації як категорії економічної соціології. Під розробленням у даному разі розуміють не тільки теоретичне конструювання моделі та інструментарію, а й перевірку запропонованого підходу на емпіричних даних. Враховуючи велику кількість існуючих підходів до вимірювання корпоративної репутації, доречно видається взяти за основу один з існуючих підходів, який був би максимально близьким до розуміння корпоративної репутації як категорії економічної соціології, і на його основі й зібраного (в його межах) емпіричного матеріалу розробити власний підхід. У результаті аналізу методів вимірювання корпоративної репутації, здійсненого в другому розділі, найбільш відповідними до соціологічного розуміння корпоративної репутації було визнано методики Reputation Quotient компанії Harris Interactive й RepTrak™ компанії Reputation Institute. Відповідно логічним видається розбудова нового підходу на основі вже існуючих розробок та напрацювань у межах зазначених методик.
Аналіз відповідності методик соціологічному розумінню корпоративної репутації було здійснено виходячи з розгляду теоретичних концептів, покладених в основу цих моделей та відповідних емпіричних праць західних дослідників. В Україні теоретичних праць, присвячених даним підходам, на жаль, немає. Якщо говорити про емпіричні дослідження корпоративної репутації, то вони проводились з використанням тільки однієї з названих методик – RepTrak™ компанії Reputation Institute, оскільки у компанії Reputation Institute в Україні був офіційний представник – компанія Reputation Capital Group. Враховуючи можливість отримання емпіричних даних, зібраних з використанням методики RepTrak™ в Україні, Росії та Казахстані, для подальшого розроблення в роботі використовується саме вона.
Як уже було розглянуто, методика RepTrak™ включає три компоненти – емоційний, когнітивний та поведінковий. Перш ніж використовувати методику RepTrak™ як основу для розроблення підходу до вимірювання корпоративної репутації як категорії економічної соціології, доречним буде детальніше розглянути і проаналізувати саму методику RepTrak™, її надійність та валідність. Перевірка її надійності та валідності не тільки є необхідним першим кроком для створення досконаліших підходів, а й стане підтвердженням можливості розроблення єдиного репутаційного підходу, що буде релевантним у різних культурних середовищах.
У західній літературі представлена досить велика кількість праць, присвячених обґрунтуванню методики RepTrak™. Розробники цієї методики приділили велику увагу питанню її валідизації, досить детально описавши процедури та підходи, які вони використовували, й отримані ними результати. Оскільки на території України і взагалі на всьому пострадянському просторі інформації щодо валідизації названої методики немає, то під час перевірки її надійності й валідності на пострадянському просторі отримані результати порівнюватимуться з результатами, які наводили в процесі її застосування в інших регіонах автори методики.
Питання оцінювання надійності й валідності методики видається на перший погляд простим, проте між поставленим питанням і розробленням дослідницької процедури, необхідної для відповіді на нього, виникають певні ускладнення. Пов’язані вони передусім із самими поняттями «надійність» і «валідність», які можна назвати базовими для кількісних методів та для емпіричної соціології в цілому. Відмінностям між надійністю й валідністю, а також самим поняттям валідності та надійності присвячена величезна кількість праць як у соціології, так і в психології. Деякі праці є вже традиційно класичними й еталонними, скажімо, праці А. Анастазі (Анастази, Урбина, 2007) у психології або В. Паніотто (Паниотто, 1986) й Г. Саганенко (Саганенко, 1983) у соціології. Утім єдиного загальноприйнятого наукового підходу, який розмежовував би дані поняття та визначав загальноприйнятий алгоритм дій для визначення надійності й валідності певного підходу чи методики досі не існує. Більше того, як зазначає, наприклад, С. Дембіцький, «валідизації підлягає вся вимірювальна процедура, всі етапи дослідження» (Дембицкий, 2008, с. 105). І сьогодні з’являються нові праці науковців, присвячені тематиці валідності й надійності, деякі з них є справді ґрунтовними, як, наприклад, праці С. Дембіцького «Теоретична валідизація вимірювальних шкал» (Дембицкий, 2012, с. 53–65), «Теоретична валідність та зміщення даних у соціологічному дослідженні» (Дембицкий, 2008) та ін. Тому почати третій розділ доречно саме з розгляду питань надійності й валідності. Враховуючи те, що вони не є центральною проблемою дисертаційної роботи, зазначимо лише ключові моменти, необхідні для розроблення дослідницьких процедур¸ що використовуватимуться далі.
Насамперед необхідно зазначити, що в роботі розглядатиметься валідність і надійність методики, тобто інструментарію, а не дослідницької процедури в цілому. Емпіричні дані, що використовуватимуться для аналізу, зібрані в межах різних проектів з використання різних методів (індивідуальні інтерв’ю «обличчям-до-обличчя», телефонні інтерв’ю CATI, онлайн-інтерв’ю), у різних країнах і в різні проміжки часу. Аналіз підходів до збору даних кожного з проектів є окремим досить складним завданням, що лежить поза межами даної роботи.
Певною мірою складнощі із розумінням та диференціацією понять «валідність» і «надійність» пов’язані із наявністю двох традицій – західної і радянської, в межах яких валідність і надійність мають різне значення. Для західної традиції ключовою й інтегральною категорією є валідність: «незалежно від того, яку позицію вони займають [стосовно валідності], всі [західні] автори визнають необхідність комплексної валідизації, лише завдяки якій можливим є досягнення достовірних результатів емпіричного дослідження» (Дембицкий, 2008, с. 100). Водночас «у вітчизняних працях із соціології досить одностайно інтегральну характеристику якості соціологічної інформації називають надійністю» (Паниотто, 1986, с. 23). Відмінність у двох вищезгаданих традиціях дуже ґрунтовно і всебічно розглянута Т. Нікітіною у праці «Теоретична та емпірична інтерпретація та операціоналізація поняття “валідність”» (Никитина, 2009, с. 113–129). Вона робить висновок, що «за змістом показники якості дослідження в них [радянській і західній традиціях] не суперечать одна одній. Основні відмінності полягають у термінології. Відмінність полягає в тому, що в радянській традиції існує інтегральна характеристика якості соціологічної інформації – надійність. У західній традиції такої інтегральної характеристики немає… в радянській традиції показниками надійності як інтегральної характеристики якості вимірювання є обґрунтованість, правильність і точність, у західній показниками якості вимірювання є валідність та надійність». Т. Нікітіна представила даний висновок у вигляді дуже зручної та інформативної схеми (табл. 3.1 (Никитина, 2009, с. 117)).
Таблиця 3.1
Термінологічне зіставлення радянської та західної традицій
| Радянська традиція | Західна традиція |
| Надійність – інтегральна характеристика якості вимірювання (інформації) | Якість інформації (quality of measurement) |
| Обґрунтованість | Валідність (Validity) |
| Правильність | |
| Стійкість | Надійність (Reliabiulity) |
Розвиваючи зазначену тему, С. Дембіцький, у працях якого ключовою категорією є теоретична валідність, не тільки звернув увагу на наявні розбіжності в розумінні валідності й надійності в західній та радянській традиціях, а й запропонував досить логічне розв’язання даної проблеми. Як він зазначає, по-перше, методологічний підхід, характерний для радянської емпіричної соціології, практично ніким не використовується. По-друге, залучення українських соціологів до міжнародних порівняльних проектів передбачає дотримання певних вимог до методологічного апарату, що використовується в межах цих досліджень. Як приклад С. Дембіцький наводить методичний документ «Європейського соціального дослідження», в якому аналіз апробації шкал ґрунтується на розрахунку ретестової надійності та конструктної валідності. Сам С. Дембіцький у своїх працях зазначає: «…для ясності наступного викладення необхідно розмежувати поняття надійності та валідності соціального вимірювання. Для цього відповідні категорії розглядаються з позицій класичної теорії тестів». Логіка розмежування понять валідності та надійності, запропонована науковцем, видається автору доречною і використовуватиметься в даній роботі. Коротко опишемо типи та критерії надійності і валідності відповідно до прийнятої в даній роботі логіки їх розмежувань.
Надійність. У психологічній діагностиці питання надійності й валідності методик тісно пов’язані, проте існує традиція чіткого їх розмежування на відміну від соціології. Класичним можна назвати визначення, запропоноване у словнику-довіднику з психологічної діагностики Л. Бурлачука і С. Морозова: «…надійність – це характеристика методики, що відображає точність психодіагностичних вимірювань, а також стійкість результатів тесту до дії сторонніх випадкових факторів» (Бурлачук, Морозов, 1989, с. 82). Як зазначають автори, загальну дисперсію результатів тестового дослідження можна подати як результат впливу двох груп причин: мінливості, що притаманна самій властивості, яка досліджується, і факторам нестабільності вимірювальної процедури. Різновидів характеристик надійності тестів так само багато, як і чинників, що впливають на результати тесту. Власне кожен із критеріїв надійності – це контроль над одним із чинників, що може впливати на результат тестування. Найширше практичне застосування, на думку Л. Бурлачука і С. Морозова, знаходять кілька типів характеристик надійності: надійність ретестова, надійність паралельних форм, надійність частин тесту (Бурлачук, Морозов, 1989, с. 83). С. Дембіцький у своїх працях виділяє такі типи надійності: «ретестову, взаємозамінних форм, еквівалентних половин тесту, внутрішньої узгодженості та надійності оцінювача» (Дембицкий, 2008, с. 101).
К. Гуревич запропонував підхід, згідно з яким виділив три компоненти надійності: надійність безпосередньо вимірювального інструменту, стабільність досліджуваної ознаки, константність результатів, тобто їх незалежність від особистості дослідника (Психологическая диагностика, 1997). Причому перевірка методики на надійність має здійснюватися саме в такому порядку: доречно спочатку перевірити інструментарій вимірювання. Якщо отримані дані задовільні, можна переходити до встановлення ступеня стабільності вимірюваної ознаки і вже після цього варто досліджувати критерії константності (Психологическая диагностика, 2005, с. 75).
Для оцінювання стабільності ознаки використовується рішення, яке називається «ретест» або «тест-ретест». Воно полягає в повторному тестуванні досліджуваних, а про стабільність ознаки свідчить високий коефіцієнт кореляції між результатами першого та другого тестів. Для оцінювання незалежності від особистості дослідника використовується кореляція результатів двох тестів, проведених в однакових умовах на тій самій вибірці, але за участю різних дослідників. Високий коефіцієнт кореляції свідчитиме про незалежність результатів від особистості дослідника. Цей тип валідності видається найбільш психологічним і найбільш нерелевантним для соціології, проте насправді поширення онлайн-опитувань як методу збору даних робить його почасти релевантним і для соціології. Велика кількість проектів, присвячених дослідженню репутації, що проводяться як на рівні конкретних країн, так і глобально, передбачають збір даних з використанням онлайн-панелей. В Україні, наприклад, послуги проведення опитувань за допомогою онлайн-панелей надають такі компанії, як InMind, GfK, InfoSapiens, Kantar. На глобальному рівні мультинаціональні опитування крім мережевих дослідницьких компаній повного циклу проводять також агенції, які спеціалізуються тільки на зборі даних, такі як Cross-Tab(Cross-Tab Marketing Services Private Limited, 2021), Toluna(Toluna, 2021), Dynata(Dynata: the data platform for [faster] insights, 2021). Методи рекрутингу респондентів до панелі, що використовують ці компанії, підходи до мотивації учасників панелі та алгоритми запрошення до участі в опитуваннях у цих компаній відрізняються. Як результат навіть у разі використання того самого інструментарію в різних панелях можна отримати відхилення в одержаних результатах. Фактично це можна розглядати як аналог впливу дослідника.
У межах даної роботи акцент робитиметься на надійності вимірювального інструменту, отже будуть використовуватись критерії оцінювання саме даного типу валідності. Окрім того, ретестова надійність потребує окремого спеціально розробленого дизайну проекту, аби при повторному тесті опитати саме тих респондентів, які були опитані при першому тесті. На жаль, у розпорядженні автора роботи немає ресурсів для проведення окремих великих досліджень, а серед наданої компанією ReputationCapital інформації подібних проектів також немає.
Для перевірки надійності вимірювального інструменту (методики) часто використовується «розщеплення» – розділення тесту на дві або кілька частин (наприклад парні та непарні питання) і перевірка кореляції між ними. Для оцінювання однорідності тесту використовується формула Спірмена–Брауна. При цьому методика вважається надійною, якщо отримані коефіцієнти не нижчі за 0,75–0,85 (Психологическая диагностика, 2005, с. 75). Враховуючи, що індекси, які розраховуються в методиках дослідження репутації, як правило, не складаються з великої батареї тверджень, розщеплення даних індексів на дві чи кілька частин недоцільне.
Досить поширеним є підхід оцінювання надійності, який відповідає поділу тесту на таку кількість частин, скільки в ньому пунктів. Фактично це оцінювання внутрішньої консистентності тесту. Для цього використовується показник Альфа Кронбаха (Cronbach’s α). Близькою до формули Кронбаха є формула К’юдела–Річардсона, яка використовується для випадку, коли кожен пункт тесту інтерпретується як дихотомічна змінна із значеннями 0 чи 1 (Бодалев, Столин, Аванесов, 2006).
Як зазначає А. Мягков, у соціології традиційним є використання, окрім перевірки внутрішньої консистентності за допомогою Альфи Кронбаха та коефіцієнта Спірмена–Брауна, також аналізу інтеркореляції між окремими пунктами тесту та кореляції кожної зі складових тесту з отриманим індексом (Мягков, 2002, с. 117–129).
У даній роботі використовуватимуться розщеплення вибірки й аналіз надійності частин тесту (інтеркореляції між окремими пунктами методики та аналіз кореляції кожної складової методики з отриманим індексом).
Валідність. Відповідно до західної традиції, в межах якої ми розглядаємо надійність та валідність, надійність – це фактично відтворюваність результатів і відсутність випадкових помилок, а валідність – це відсутність системних помилок. Можна навести популярне визначення із Соціологічної енциклопедії, яке визначає валідність як міру того, наскільки ми справді вимірюємо те, що планували виміряти (TheGaleEncyclopediaofSociology, 2000, p. 3207). Доречно знову звернутись до праці Т. Нікітіної «Теоретична та емпірична інтерпретація та операціоналізація поняття “валідність”», у якій вона зазначала, що «валідність, як показник міри відповідності вимірювання тому, що заплановано виміряти, є унітарним концептом» (Никитина, 2009, с. 113–129), отже коректно говорити про різні підходи до перевірки валідності, а не про різні типи валідності. Однак у літературі, як зазначає і сама Т. Нікітіна, найчастіше використовується саме поняття «види» або «типи» валідності.
Дж. Мангайм і Р. Річ виділяють чотири типи валідності – прагматичну, конструктну, дискримінантну й очевидну. Прагматична полягає в порівнянні показника з іншим еталонним показником або в оцінюванні прогностичного потенціалу. Конструктна включає два напрями – внутрішню (конвергентну) валідність, яка передбачає відповідність і співвідношення показника з іншими показниками, що вимірюють те саме поняття, і зовнішню, яка полягає у співвідношенні показника з іншими показниками, що вимірюють інше, але теоретично пов’язане поняття. Дискримінантна валідність передбачає порівняння показника з іншими показниками, що вимірюють інші, не пов’язані поняття. Для підтвердження дискримінантної валідності відповідності між даними показниками не повинно бути. Очевидна валідність ґрунтується на очевидних властивостях показника, які не потребують підтвердження (Мангейм, Рич, 1997).
Класичним із соціологічної точки зору можна назвати підхід Д. Кемпбела, який виділяв внутрішню і зовнішню валідність та конструктну валідність, що, у свою чергу, ділиться на конвергентну та дискримінантну (Campbell, Fiske, 1959, с. 81–105). Популярним є підхід В. Трочима, який виділяє внутрішню (internal), зовнішню (external), конструктну (construct) валідності й валідність зробленого висновку (conclusionvalidity). Удосконалений варіант типології В. Трочима, запропонований С. Дембіцьким, здається найактуальнішим на сьогодні і включає в себе п’ять типів валідності: теоретичну, конструктну, зовнішню, внутрішню та передбачувальну. Теоретична валідність показує, наскільки теоретичний конструкт, покладений в основу дослідження, відповідає реальному соціальному феномену. Конструктна валідність показує, якою мірою вимірювальна методика та результати, отримані на її основі, відповідають теоретичному конструкту. Зовнішня валідність показує, наскільки вибіркова сукупність може бути основою для узагальнень стосовно інших людей, контекстів та періодів. Внутрішня валідність показує, наскільки вимірювання підтверджують існування зв’язків між змінними й наскільки ці зв’язки можуть бути підтвердженням причинно-наслідкової залежності між змінними. Передбачувальна валідність показує, якою мірою теоретична, зовнішня та внутрішня валідності забезпечують передбачувальний потенціал дослідження (Дембицкий, 2008, с. 107).
Досить чітким і логічним, а також відповідним до західних практик і праць автору видається підхід до визначення типів валідності, представлений Т. Нікітіною. Спираючись на класичні західні праці, присвячені методології досліджень у цілому і валідності зокрема, вона виділяє чотири типи валідності – змістовну, критеріальну, конструктну та очевидну. Свою класифікацію Т. Нікітіна інформативно зобразила у вигляді такої схеми (рис. 3.1 (Никитина, 2009, с. 121)):
Рис. 3.1. Схема видів валідності за класифікацією Т. Нікітіної
Пояснюючи наведені типи валідності (або підходи до її перевірки), Т. Нікітіна зазначає, що змістова валідність є мірою релевантності й репрезентативності елементів вимірювального інструменту до конструкту, що вимірюється. Релевантність у даному разі означає відповідність елементів інструмента вимірюваному явищу, а репрезентативність – це те, наскільки пропорційно елементи вимірювального інструменту співвідносяться з різними аспектами досліджуваного явища.
Критеріальна валідність полягає у відповідності інформації про досліджуване явище, отриманої за допомогою вимірювального інструменту, валідність якого перевіряється, та інформації, що отримана з інших джерел і за допомогою інших засобів. Конкурентна валідність визначається співвіднесенням даних, отриманих інструментом, валідність якого перевіряється, з даними, отриманими в той же проміжок часу. Прогностична валідність визначається визначенням кореляції між даними, отриманими за допомогою інструмента, валідність якого перевіряється, з певним критерієм, що дасть можливість визначити стан досліджуваної ознаки в майбутньому.
Конструктна валідність – це міра того, наскільки інструментарій вимірює конструкт, який має бути виміряний. Назва типу походить від слова «конструкт», введеного до наукового обігу Л. Кронбахом і П. Мелом. Це слово означає «певну характеристику досліджуваного явища, яка описана теоретично» (Никитина, 2009, с. 125) і яку потрібно виміряти. Конструктна валідність ґрунтується на теорії досліджуваного й вимірюваного явища. Дослідник фактично вибудовує набір конструктів і зв’язків між ними і вписує до нього досліджуване явище. Відповідно до цього конвергентна валідність – це оцінювання того, наскільки вимірювання, що мають корелювати між собою, виходячи з теоретичних засад справді корелюють відповідно до отриманих даних. Дискримінантна валідність – це оцінювання того, наскільки вимірювання, що не повинні корелювати між собою, виходячи з теоретичних засад справді не корелюють відповідно до отриманих даних.
Очевидна, або зовнішня, валідність – це те, якою мірою вимірювальний інструмент вимірює саме те, що респонденти мають на увазі, і пов’язана більшою мірою із сприйняттям самого інструменту і, як зазначає сама Т. Нікітіна, фактично не є категорією для оцінювання.
Практичний аспект та логіку здійснення валідизації методик можна узагальнити, навівши ще одну цитату Т. Нікітіної: «…валідність – це показник якості вимірювання, який необхідно забезпечити до проведення самого процесу вимірювання, до збору даних. Валідність має досягатись на етапах розроблення теоретичної моделі досліджуваного явища, та інструментарію вимірювання, а перевірятись після завершення процесу вимірювання на основі зібраних даних» (Никитина, 2009, с. 120).
Проте, розглядаючи підходи до визначення валідності саме з точки зору цієї дисертаційної роботи, необхідно відзначити один надзвичайно важливий аспект. Під час перевірки надійності та валідності методики на пострадянському просторі автором дисертаційної роботи здійснено порівняння результатів, отриманих на пострадянському просторі, із результатами, отриманими розробниками методики. Причому критерії валідності, які наводять автори методики, за назвами можуть відповідати критеріям валідності, що існують у соціології, хоча за своїм змістом можуть відрізнятись. Ця термінологічна невідповідність може заплутувати чи навіть взагалі викликати упереджене ставлення до наведених результатів. Тому важливо наголосити, що під час перевірки валідності методики використовуються ті позначення і назви критеріїв валідності, що були наведені авторами методики. І якщо надійність у тому розумінні, як вона була використана авторами методики, є близькою до соціологічного розуміння надійності як за змістом, так і за методами, то у випадку з валідністю ситуація дещо складніша.
Автори методики RepTrak™ у праці «RepTrak™ Pulse: Conceptualizing and Validating a Short-Form Measure of Corporate Reputation» (Ponzi, Fombrun, Gardberg, 2011, р. 15–35) оперують поняттями конвергентної, дискримінантної, номологічної та крос-культурної валідності, а в праці «Stakeholder Tracking and Analysis: The RepTrak™ System for Measuring Corporate Reputation» (Fombrun, Ponzi, Newburry, 2015, р. 3–24) – поняттями внутрішньої, конвергентної, дискримінантної та конструктної валідності.
Відповідно до використаних критеріїв конвергентна, номологічна, внутрішня та конструктна валідності відповідають популярній у соціології факторній валідності (Дембицкий, 2017, с. 102–124), а крос-культурна валідність – поняттю інваріантності (Жуленьова, 2017). Проте, зважаючи на наявність можливості фактично повторити процедури перевірки надійності й валідності, здійснені розробниками методики, на даних, зібраних на пострадянському просторі, автор вважає доречним використовувати для даних процедур оригінальні назви і терміни. При цьому використаний набір процедур перевіряє тільки валідність методики (інструментарію), а не дослідницьку процедуру в цілому, оскільки не розглядаються зовнішня та передбачувальна валідності.
Окремим методологічним питанням є використання перекладених методик. Часто це питання порушується в контексті психологічних тестів, оскільки, як вважають І. Свириденко і Е. Свириденко, більша частина вітчизняних методик адаптовані варіантами або прямим перекладом зарубіжних опитувальників. В інструкціях до тестів, що використовуються для оцінювання персоналу, як правило, бракує інформації про способи та результати їх психометричної перевірки (Свириденко, Свириденко, 2014; Психодиагностика и школа, 1980, с. 22). З перенесенням тесту до нового соціально-культурного середовища він завжди тією чи іншою мірою не відповідатиме цьому середовищу. Тому після перекладу тесту необхідно проводити його психометричну перевірку, адже, як зазначає один із провідних вітчизняних фахівців із психодіагностики та психологічного тестування Л. Бурлачук, «після подолання лінгвістичних та соціокультурних перешкод у результаті ми отримуємо новий опитувальник» (Бурлачук, 2006, с. 126). Класичний механізм адаптації тестів, що використовується в практиці міжнародних досліджень, на думку Ю. Ханіна, включає в себе такі кроки: 1) підготовку попереднього перекладу опитувальника на мову тестування; 2) редагування отриманого варіанта й експертну оцінку його еквівалентності лінгвістами та професійними психологами, які знають мови оригіналу і перекладу; 3) зворотний переклад тесту на мову оригіналу; 4) надання перекладу на мову тестування і зворотного перекладу автору або власникові оригінальної методики для узгодження; 5) оцінювання виправленого варіанта і вторинну перевірку його еквівалентності з оригіналом; 6) перевірку надійності й валідності показників тесту; 7) нормування результатів (Ханин, 1977; Ханин, 1982, с. 138). Сама якість перекладу, як вказують В. Сдобнікова і О. Петрова, складається з двох компонентів: 1) адекватності, що означає відтворення в перекладі функції початкового повідомлення; 2) еквівалентності, що передбачає максимально можливу лінгвістичну близькість обох текстів – оригіналу і перекладу» (Сдобников, Петрова, 2007, с. 62). Досягненню еквівалентності можуть заважати два типи факторів: співвідношення систем і правил функціонування мови оригіналу й перекладу та знання і вміння перекладача, умови його роботи (Свириденко, Свириденко, 2014).
Проблема з перекладеними тестами й методиками існує не тільки в психології, а й у соціології – більшість опитувальних методик, що використовуються на пострадянському просторі, не проходять необхідної адаптації. Аналогічною є ситуація і з методикою RepTrak™, що використовується для вимірювання репутації. Тому доцільним видається оцінювання надійності й валідності методики RepTrak™ на пострадянському просторі для визначення того, маємо ми справу просто з набором випадкових емпіричних даних чи з методикою вимірювання репутації, що є близькою, але не повністю релевантною соціологічному розумінню репутації.
Завдання перевірки надійності й валідності методики полегшується тим, що в західній літературі представлена велика кількість присвячених їй праць. Розробники методики приділили велику увагу питанню її валідизації, детально описавши процедури і підходи, які вони використовували, та отримані ними результати у статтях «RepTrak™ Pulse: Conceptualizing and Validating a Short-Form Measure of Corporate Reputation» і «Stakeholder Tracking and Analysis: The RepTrak™ System for Measuring Corporate Reputation». Проте важливо відмітити, що під час проведення валідизації методик розробники фактично розділили її на дві частини і доводили валідність кожної з них окремо. В одній з робіт було доведено, що існує зв’язок між емотивним рівнем та артикульованою готовністю до дії: чим вища репутація, тим більша заявлена стейкхолдерами готовність підтримувати компанію (Ponzi, Fombrun, Gardberg, 2011, р. 15–35). В іншій роботі вони довели, що існує зв’язок між емотивним рівнем та когнітивними компонентами (Fombrun, Ponzi, Newburry, 2015, р. 3–24). Проте в жодній з робіт автори методики не розглядають повну модель, де були б включені всі компоненти та зв’язки між ними.
Є ще кілька методологічних зауважень, важливих для коректної інтерпретації викладених результатів. По-перше, як було зазначено в другому розділі роботи, методика RepTrak™ включає в себе три компоненти – емоційний, когнітивний та поведінковий. Емоційний рівень представлено індексом “Pulse”. Когнітивний рівень складається з тверджень, що називаються «Атрибути» (Attributes), які, у свою чергу, об’єднуються у «Фактори» (Dimensions). На думку автора, саме «Фактор» найкраще передає сутнісний зміст «Dimensions», адже в методиці RepTrak™ саме «Dimensions» впливають на емоційне ставлення та формують його. Поведінковий рівень складається з тверджень, що умовно називаються «Підтримувальна поведінка» (Supportive Behavior). Індекс «Pulse» незмінний в усіх проектах і дослідженнях. У стандартній моделі незмінними є також 23 атрибути, що об’єднуються в сім факторів. Критерії підтримки можуть різнитись залежно від групи стейкхолдерів, що досліджуються, та від галузі/сфери діяльності компанії, репутація якої вивчається.
У проектах, адаптованих під конкретного замовника (Ad hoc), атрибути можуть відрізнятись від стандартної моделі, проте фактори все одно є незмінними. Тому результати аналізу, зробленого автором роботи, представлені на рівні факторів, а не атрибутів.
По-друге, стандартна модель RepTrak™, як зазначалося, передбачає, що фактори (Dimensions) складаються з атрибутів (Attributes). Проте ReputationInstitute розробив також і скорочену форму, в якій кожному фактору відповідає лише одне твердження. Ця форма використовувалась для здійснення великих проектів, у межах яких ReputationInstitute вимірював репутацію великої кількості компаній у країнах, де були представництва ReputationInstitute. Зазначені проекти називались MostReputableCompanies і запроваджувались свого часу також в Україні, Росії і Казахстані. Результати цих проектів склали частину емпіричної бази даного дисертаційного дослідження.
Скорочена модель використовувалась і для валідизації самої методики RepTrak™. У статті «RepTrak™Pulse: ConceptualizingandValidatingaShort-FormMeasureofCorporateReputation» розглядається виключно індекс Pulse, який відповідає емоційному виміру репутації, й когнітивних компонентів. Висновки авторів методики стосовно надійності та валідності цього індексу ґрунтуються на одному якісному та чотирьох кількісних дослідженнях. Перший проект був якісним і впроваджувався у США. У межах другого проекту представники громадськості (GeneralPublic) США оцінювали відомі американські компанії, у третьому дослідженні канадські лікарі оцінювали фармацевтичні компанії, в четвертому – споживачі в США оцінювали енергетичні компанії, в п’ятому – співробітники Данської залізничної компанії оцінювали свого роботодавця. В усіх проектах центральною досліджуваною категорією була корпоративна репутація.
Для підтвердження надійності емоційного індексу Pulse її автори наводять кореляцію між його складовими та кореляцію між кожною зі складових індексу із самим індексом. Високі позитивні значення кореляції є доказом його надійності. Також розробники методики наводять значення Альфи Кронбаха, які є вищими. Значення Альфи Кронбаха є вищим із кожним зі складових індексу, ніж без нього, що також підтверджує надійність індексу Pulse. Окрім Альфи Кронбаха розробники методики використовують ще один показник – композитну надійність (Composite Reliability, СR), яка обчислюється як один із показників при моделюванні структурних рівнянь (Structure Equation Modelling)8. Для всіх проектів, що склали емпіричну базу дослідження, значення композитної надійності показника перевищило значення 0,7, що є підтвердженням надійності методики. У двох із п’яти проектів для аналізу навмання відбиралася частина спостережень, тобто було здійснено розщеплення вибірки. Отримання аналогічних результатів на розщеплених частинах вибірки є ще одним критерієм підтвердження надійності емоційного індексу.
Перевіряючи валідність індексу Pulse, автори методики розглядають конструктну (конвергентну, дискримінантну, номологічну) та крос-культурну валідність. Під номологічною валідністю розробники методики мають на увазі, чи великою за модулем є кореляція між компонентами, що мають корелювати між собою, виходячи з теоретичного конструкту, та чи відповідає знак (напрям) цієї кореляції теоретичному конструкту. Фактично номологічна мережа, яка відображає зв’язки між досліджуваними явищами чи характеристиками об’єкта й іншими явищами і характеристиками, є графічним зображенням теоретичного конструкту (рис. 3.2 (Ponzi, Fombrun, Gardberg, 2011, р. 23)).
Рис. 3.2. Графічне зображення конструкту корпоративної репутації
(емоційного компоненту репутації) RepTrak™Pulse
Для підтвердження конвергентної валідності розробники методики побудували структурну модель конструкту корпоративної репутації з використанням програми SPSS AMOS 6.0. Підтвердженнями конвергентної валідності (яка є складовою конструктної валідності) є високе значення середньої поясненої дисперсії (Average Variance Extracted, AVE). Показник AVE практично не трапляється в україномовній літературі, а в російськомовній перекладається і як «средняя объяснённая дисперсия» (Беляева, Широкова, Гаффорова, 2017, с. 144) («середня пояснена дисперсія»), і як «средняя извлечённая дисперсия» (Широкова, Богатырева, Беляева, 2015, с. 13)(«середня вилучена дисперсія»), і просто «средняя дисперсия» («середня дисперсія»). AVE – це величина дисперсії, що пояснюється конструктом, щодо загальної дисперсії для рефлексивних моделей (Devinney, Coltman, Midgley, Venaik, 2008, р. 1250–1262). Вона оцінює, наскільки латентна змінна пояснюється змінними, що спостерігаються. Зважаючи на зміст показника, автор дисертаційної роботи більш коректним вважає саме варіант «середня пояснена дисперсія».
Для всіх кількісних досліджень, наведених розробниками методики, значення AVE становило понад 0,78, що вище за референтне значення 0,5 (Ponzi, Fombrun, Gardberg, 2011, р. 24) і є підтвердженням конвергентної валідності методики.
Для з’ясування другого компонента конструктної валідності – дискримінантної валідності – необхідно довести, що латентна змінна більшою мірою пояснюється змінними, які мають її пояснювати відповідно до моделі, ніж іншими змінними. Розробниками методики для цього була використана процедура, запропонована Андерсом і Гербінгом (Anderson, Gerbing, 1988, р. 411–423). Спершу в програмі AMOS було побудовано структурну модель, що включала дві латентні змінні – емоційну репутацію та артикульовані наміри щодо поведінки (далі для спрощення – поведінку) (рис. 3.3):
Рис. 3.3. Структурна модель, що поєднує емоційну репутацію
та артикульовані наміри щодо поведінки (поведінку)
Після цього було створено альтернативну, обмежену модель. Для цього дисперсія латентної змінної була взята за одиницю, коефіцієнти регресії вилучені, коваріація між двома латентними змінними теж узята за одиницю. Далі розробники методики порівняли початкову модель (у якій кореляції оцінювались вільно) і обмежену. Для кожного з досліджень, які слугували емпіричною базою, Х2 показав значимість відмінностей між початковою та обмеженою моделями, що підтвердило, що індекс репутації Pulse та поведінка є різними конструктами.
Для підтвердження номологічної валідності автори методики розглянули зв’язок між репутацією і поведінкою. В усіх проектах, що були емпіричною базою, зв’язок між латентними змінними в моделі, зображеній на рис. 3.3, становив понад 0,8 з прийнятними показниками відповідності моделі. Високе значення коефіцієнта кореляції та його позитивний знак є підтвердженням номологічної валідності.
Крім того, автори методики RepTrak™ розглянули крос-культурну валідність, для перевірки якої проводилось окреме дослідження, яке охоплювало 17 країн на шести континентах: Австралію, Канаду, США, Великобританію, Китай, Японію, Росію, Нідерланди, Швейцарію, Францію, Італію, Аргентину, Мексику, Данію, Швецію, Індію, Південну Африку. У межах дослідження було зібрано оцінки про 800 компаній. Кількість компаній по кожній із країн визначалась виходячи з кількості населення країни та розмірів компаній. Автори методики повторили аналіз надійності та конвергентної валідності, описаний раніше, для кожної із 17-ти країн і порівняли отримані результати. Кореляція між складовими індексу репутації спостерігається висока й позитивна між усіма складовими і в усіх країнах. Альфа Кронбаха має високе значення й варіюється від 0,937 для Індії до 0,967 для Великобританії та США. Показник GFI (GoodnessofFit) значиться в межах від 0,989 для Аргентини та Великобританії до 0,998 для Австралії й Данії. Показник CFI (ComparativeFitIndex) варіюється від 0,972 для Великобританії до 0,998 для Австралії та Японії. Показник RMSEA (RootMeanSquareErrorofApproximation) значиться в межах від 0,019 для Японії до 0,081 для Великобританії. Показник AGFI (Adjusted Goodness ofFit) значиться в межах від 0,945 в Аргентині до 0,988 в Данії (Ponzi, Fombrun, Gardberg, 2011, р. 30). Отримані результати підтверджують не тільки високу надійність і валідність методики, а й її крос-культурну валідність.
Другий етап підтвердження надійності й валідності методики, викладений у статті Ч. Фомбруна, Л. Понзі і В. Ньюбюррі «StakeholderTrackingandAnalysis: TheRepTrak™ SystemforMeasuringCorporateReputation», полягає в доведенні зв’язку між емоційним індексом репутації та когнітивними компонентами репутації (Fombrun, Ponzi, Newburry, 2015, р. 3–24). Емпіричними даними були п’ять досліджень – опитування лідерів думок у Бразилії, громадськості США, інвесторів в Іспанії, лікарів у Швейцарії та клієнтів страхових компаній у Швеції й Данії. Посилаючись на сигнальну теорію, автори методики розглядають, як саме інформаційні сигнали, які посилає компанія, пов’язані з її репутацією. Сформульовані у вигляді тверджень у позитивній конотації 23 сигнали – це і є 23 стандартні атрибути моделі TheRepTrak™. Загальна логіка моделі корпоративної репутації, запропонована її розробниками, така: атрибути (вони ж сигнали) як змінні, що спостерігаються безпосередньо, пояснюються факторами. Фактори пояснюються латентною змінною другого порядку, яка може бути названа раціональною або ж когнітивною репутацією. Раціональна репутація пов’язана з емоційною, представленою в моделі у вигляді ще однієї латентної змінної. У структурній моделі розробників методики, що пов’язує емоційну та когнітивну репутацію, використані такі назви латентних змінних, як «корпоративна репутація» та «репутація» (рис. 3.4), хоча коректніше, на нашу думку, було б назвати їх «когнітивна репутація» та «емоційна репутація». Артикульована готовність до дії взагалі не представлена в даній моделі.
Незважаючи на те, що, на думку Ч. Фомбруна, Л. Понзі і В. Ньюберрі, запропонована ними модель є змішаною – і рефлексивною, і формувальною одночасно, за формальними критеріями вона належить до рефлексивних моделей. Тобто на змінні, які безпосередньо спостерігаються, впливають латентні змінні, при цьому останні пояснюють тільки частину дисперсії змінних, що безпосередньо спостерігаються.
Процедура здійсненого розробниками методики аналізу передбачала три етапи: на першому етапі була здійснена перевірка надійності й валідності кожного з отриманих факторів за допомогою експлораторного факторного аналізу (ExploratoryFactorAnalysis, EFA). На другому етапі проведена перевірка валідності структури, що включала сім факторів (яку автори методики назвали структурою корпоративної репутації, хоча скоріше це структура сигналів, що формують корпоративну репутацію) за допомогою конфірматорного факторного аналізу (ConfirmatoryFactorAnalysis, CFA). На третьому етапі було здійснено конфірматорний факторний аналіз другого порядку для підтвердження зв’язку між семифакторною структурою та емоційною репутацією. Означені на третьому етапі структури і зв’язки розробники методики назвали факторною ієрархією корпоративної репутації.
Для перевірки надійності кожного із семи факторів було визначено Альфу Кронбаха – його значення понад 0,7 для всіх факторів та всіх проектів є свідченням високої надійності факторів. Також для всіх факторів значення Альфи Кронбаха було вищим при всіх включених твердженнях, ніж при виключенні будь-якого з тверджень. На другому етапі було побудовано модель раціональної корпоративної репутації, що включала когнітивні атрибути і фактори. Значення поясненої дисперсії (AVE) на рівні понад 0,7 для всіх проектів є свідченням конвергентної валідності. Для підтвердження дискримінантної валідності автори статті використали критерій Форнела–Ларкера та порівняли AVE і спільну дисперсію (shared variance). Відповідно до критерію Форнела–Ларкера підтвердженням дискримінантної валідності є менше значення спільної дисперсії між кожною парою змінних порівняно із середньою поясненою дисперсією (Ab Hamid, Sami, Sidek, 2017). Спільна пояснена дисперсія – це частка дисперсії, яку латентна змінна пояснює в іншій латентній змінній і яка обчислюється як квадрат кореляцій між ними. Для кожного з факторів AVE виявився значимо вищим за спільну дисперсію, що є підтвердженням дискримінантної валідності.
На третьому етапі для кожного з п’яти проектів була побудована модель другого порядку, яка включила когнітивну модель (фактори й атрибути) та емоційну. Задовільні результати, отримані щодо ключових параметрів оцінювання моделі (CFI понад 0.93, TLI понад 0.92 та RMSEA від 0.05 та 0.08) згідно з позицією авторів методики є підтвердженням конструктної валідності методики дослідження корпоративної репутації (рис. 3.4) (Fombrun, Ponzi, Newburry, 2015, р. 3–10).
Рис. 3.4. Графічне зображення моделі, що включає емоційні та когнітивні компоненти (факторна ієрархія корпоративної репутації)
Водночас дивно, що хоча когнітивні компоненти також об’єднуються латентною змінною, когнітивний індекс не є частиною моделі.
Для підтвердження надійності і валідності методики на пострадянському просторі найбільш релевантним є відтворення дослідницьких процедур, описаних її розробниками, на даних, зібраних на пострадянському просторі.
1 ... 9 10 11 12 13 14 15 16 ... 25