Szakértői értékelés: jellemzők, módszerek és eredmények. Szakértői módszerek az irányítási rendszerek vizsgálatában Szakértői módszereket alkalmazunk

Szakértői módszereket alkalmaznak a szervezeti és gazdasági objektumokról alkotott elképzelések formalizálásának és bizonytalanságának hiányával kapcsolatos prediktív, elemző és tervezési problémák megoldására. A módszer lényege: a szakértők a probléma intuitív-logikai elemzését végzik az ítélet minőségi értékelésével és az eredmények formális feldolgozásával. A szakértői értékelések módszerének sajátosságai: a szakértelem tudományosan megalapozott megszervezésének szükségessége, kvantitatív módszerek alkalmazása a szakértők minőségi megítélésének megítélésére.
A szakértői módszerrel előrejelzéseket lehet meghatározni az objektumok fejlődésére vonatkozóan; a célok és célkitűzések meghatározásakor alternatív erőforrás-allokáció; amikor döntéseket hoz a bizonytalanság és a kockázat körülményei között.
A módszer alkalmazásának első lépése egy szakértői csoport felállítása. Tulajdonságok, amelyeket egy szakértőnek be kell vonnia egy szakértői csoportba:
- kompetencia (egy adott tudásterület képzettségi foka);
- kreativitás (kreatív problémák megoldásának képessége);
- konformizmus (a tekintély befolyására való fogékonyság, a saját vélemény instabilitása);
- analitikus és széles körű gondolkodás;
- konstruktivitás (konkrét javaslatok megfogalmazásának képessége);
- szakértői önkritika; hozzáállás a szakértelemhez.
A szakértői csoportok kialakításához a tesztelési, dokumentációs és egyéb módszereket használhatja.
A tesztelés módja abban áll, hogy a kidolgozott tesztek alapján megvizsgálják a lehetséges jelölteket, és a válaszok eredményei alapján csoportot alakítanak ki.
A dokumentációs módszer a szakértők kiválasztása objektív jellemzőik alapján, amelyeket a személyes dokumentumaik (munkatapasztalat, beosztás, tudományos fokozat, publikációk száma stb.) tartalmaznak.
A kinevezés módját a szakértői csoport vezetője határozza meg a munkatársak közül. Ennek a módszernek a fő hátránya: a munkavállalók véleménye lehet következetes, de téves, kifejezve a szervezet hivatalos álláspontját ebben a kérdésben ("iskola-hatás"). A vizsgálat eredményei ebben az esetben elsősorban csak belső használatra érdekesek.
A szakértői módszer alkalmazásának 2. szakasza a vizsgálat. Ez a szakasz a szakértők megkérdezésének módszerének kiválasztásával kezdődik. Különbséget tegyen egyéni, csoportos és Delphic módszerek között.
Egyéni módszerrel az egyes szakértőktől kérdőívek vagy interjúk útján olyan értékeléseket kapnak, amelyek nem függnek mások véleményétől. Majd ezek általánosítása és feldolgozása után egy általános, eredő értékelést határoznak meg. Ésszerű az egyéni szakértelem alkalmazása, amikor egy objektum állapotának pont előrejelzését kell kidolgozni, objektumok halmazának rangsorolásakor és más esetekben, amikor alapvető tulajdonságok egy szakértőt a hozzáértése és a konstruktivitása képvisel.
A csoportos módszer lehetővé teszi, hogy közös megbeszélésen keresztül valamennyi szakértőtől egyidejűleg összefoglaló értékelést vagy általános döntést kapjanak. Használata nem szokványos megoldások keresésekor, kevéssé vizsgált tárgyak jellemzőinek felmérésekor, azaz kreatív megoldás megszerzésekor célszerű. A csoportos felmérés megbeszéléseken, értekezleten, konferencián, „brainstorming”-on keresztül történhet.
A Delphi-módszer az egyéni és csoportos szakértelem számos pozitív tulajdonságát szintetizálja. A szakértők önállóan, írásban fejtik ki véleményüket. A módszer legfontosabb eleme a gondosan megtervezett, több körben lebonyolított kérdőíves program, és minden további körben a kérdések szabályozása. A vizsgaszervezők csoportja minden forduló végén elemzi a beérkezett válaszokat, összegzi azokat, és a forduló eredményei alapján oklevelet készít, melynek szövegét minden szakértő megismerteti. Ebben az esetben a súgóban szereplő információk névtelenek. A szakértők újraszavazásakor olyan kérdéseket kapnak, amelyek pontosítják a kezdeti válaszokat és a megfogalmazott következtetéseket, figyelembe véve az előző forduló eredményeit. A harmadik körben a szakértők tájékoztatást kapnak arról, hogy mely pontokban van közös vélemény, az eltérő véleményt megfogalmazó szakértőket kérik annak alátámasztására. A negyedik, leggyakrabban az utolsó kör megismétli a harmadik eljárását. Így a nézeteltérések területe leszűkül, és közös megoldás születik. A Delphi-módszer előnye, hogy csökkenti vagy teljesen kiküszöböli az olyan pszichológiai tényezőket, mint a hivalkodó meggyőződés, a nyilvános véleménynyilvánítás megtagadása és a tekintély befolyása.
A szakértői módszerek 3. szakasza - felmérési eredmények feldolgozása. A vizsgálati eredmények formális feldolgozásának lehetőségének biztosításához olyan numerikus rendszerre van szükség, amely mennyiségi paraméterek (különféle névskálák (osztályozás), sorrendek, intervallumok, relációk, különbségek) segítségével írja le az objektumok tulajdonságait és a köztük fennálló kapcsolatokat.
Az elnevezési skála egy objektum bizonyos osztályokhoz való tartozásának leírására szolgál. Rendezési skála - az objektumok egy vagy több előjel szerinti sorrendjének mérésére (rangskála). Térköz skála – az objektumok tulajdonságai közötti különbségek nagyságának megjelenítése. Kapcsolati skála - tükrözi az objektumok tulajdonságainak kapcsolatát, például súlyukat. Különbség skála - ha szükséges, határozza meg, hogy egy objektum mennyivel jobb a másiknál ​​egy vagy több jellemzőben.
A skála kiválasztását a vizsgálat feladatai, a tárgy jellemzői, a csoport képességei határozzák meg.
A vizsgálati eredmények feldolgozásánál fontos a mérési módszer megválasztása. A leggyakoribb módszerek: rangsorolás, páronkénti összehasonlítás, közvetlen értékelés, szekvenciális összehasonlítás.
A rendeletnek meg kell felelnie a következő követelményeknek: megfelelő változatos megfogalmazás biztosítása; a megfogalmazás szerkezetének egysége (például a megfogalmazásnak következetesen válaszolnia kell a kérdésekre: mi kell? mi fölött (mivel)? mire?). Az így létrejövő készítményeknek kellően teljes mértékben tükrözniük kell legfontosabb tartalmukat, azaz jelentős kapacitással kell rendelkezniük; a megfogalmazást úgy kell megfogalmazni, hogy elkerülhető legyen a félreértés.
A szakértői technológiák fejlesztésének problémái a következő területek fejlesztéséhez kapcsolódnak: szakértői bizottság kialakítása, a vizsgálatok szervezése és lebonyolítása a felhasználáson alapuló modern módszerek, a többszempontú értékelések alkalmazása az eredmények értelmezésében.

A szakértői értékelés módszereivel megoldott előrejelzési feladatok két formálisan nem összefüggő elemet tartalmaznak: az előrejelzési objektum fejlesztési lehetőségeinek meghatározását és azok értékelését. A szakértői módszerek elemzése rámutat arra, hogy a lehetséges fejlesztési lehetőségek meghatározására alkalmas-e az "ötletgyűjtés". Használatuk lehetővé teszi, hogy rövid időn belül produktív eredményeket érjen el, és minden szakértőt bevonjon egy aktív kreatív folyamatba.

Az ötletbörze technikákat aszerint lehet osztályozni, hogy megléte vagy hiánya Visszacsatolás a vezető és az "ötletgyűjtés" résztvevői között valamilyen probléma-lem helyzet megoldása során. A visszajelzések jelenléte lehetővé teszi, hogy a résztvevők csak azokra a lehetőségekre összpontosítsanak, amelyek egyik vagy másik kritérium szerint hasznosak egy problémahelyzet megoldásában. A megszorítások mesterséges bevezetésével azonban megfosztjuk a lehetőségtől, hogy meglássuk a megközelítések sokféleségét, így lehetőség nyílik olyan eredeti gondolatok hiányára, amelyek potenciális, de jelenleg nem realizált értéket képviselnek. A visszajelzés hiánya, pl. az állítások maximális ösztönzése, összetett és nagyszabású munka elvégzését jelenti értékelésük szakaszában. Az így kialakult helyzet egy olyan „brainstorming” módszer kidolgozását követelte meg, amely minőségileg és kellően gyorsan képes felmérni a lehetőségeket anélkül, hogy azok számát korlátozná.

Ennek a módszernek a lényege a szakemberek kreatív potenciáljának aktualizálása egy problémahelyzet „ötlete” során, amely először az ötletek generálását, majd ezeknek az elképzeléseknek az azt követő megsemmisítését (megsemmisítését, bírálatát) valósítja meg ellentételezések megfogalmazásával. kirándulások. Az ötletbörze módszerrel való munkavégzés a következő hat szakasz végrehajtását foglalja magában.

Első fázis- az „ötletgyűjtésben” résztvevők csoportjának kialakítása (létszám és összetétel tekintetében). A résztvevők csoportjának optimális méretét empirikusan találjuk meg: a 10-15 fős csoportokat ismerik el a legproduktívabbnak. A résztvevők csoportjának összetétele feltételezi a céltudatos válogatást: 1) megközelítőleg azonos rangú személyekből, ha a résztvevők ismerik egymást; 2) különböző rangú személyektől, ha a résztvevők nem ismerik egymást (ebben az esetben a résztvevők mindegyikét egy számmal kell kiegyenlíteni, majd számonként hivatkozni kell a résztvevőre). Ami azt illeti, hogy egy résztvevőt egy problémahelyzet területére kell specializálni, ez a feltétel nem kötelező a csoport minden tagja számára. Sőt, nagyon kívánatos, hogy a csoportba más tudományterületek szakemberei is bekerüljenek, akik magas szintű általános műveltséggel rendelkeznek, és értik a problémahelyzet jelentését.

Második fázis- egy ötletbörze résztvevő problémafeljegyzésének elkészítése. A problémaelemző csoport állítja össze, és tartalmazza ennek a módszernek a leírását és a problémahelyzet leírását. Ez a leírás tartalmazza: a módszer alapelvét; olyan feltételek, amelyek biztosítják az „ötletgyűjtés” legmagasabb hatékonyságát, a támadás eredményeinek szerzőségét; támadás végrehajtásának alapvető szabályai. A problémahelyzet leírása tartalmazza: a problémahelyzet kialakulásának okait; a kialakult problémahelyzet okainak és lehetséges következményeinek elemzése (célszerű a következményeket hiperbolizálni, hogy az ellentmondások feloldásának szükségessége élesebben érezhető legyen); a világ tapasztalatainak elemzése egy ilyen problémás helyzet megoldásában (ha van ilyen); a meglévő problémahelyzet-megoldási módok osztályozása (rendszerezése), egy problémahelyzet megfogalmazása központi kérdés formájában részkérdések hierarchiájával.

Harmadik szakasz- ötletek generálása. Úgy kezdődik, hogy az előadó felfedi a problémafeljegyzés tartalmát. A módszer leírását megjósolva az előadó a résztvevők figyelmét a brainstorming lebonyolításának szabályaira irányítja: 1) a résztvevők nyilatkozatai legyenek világosak és tömörek; 2) szkeptikus megjegyzések és korábbi felszólalások kritikája nem megengedett; 3) minden résztvevőnek joga van többször fellépni, de nem egymás után; 4) a résztvevők által előre elkészített ötletlista sorban olvasása nem megengedett. A problémahelyzet tartalmát újramesélve az előadó a fő kérdésre összpontosítja a résztvevők figyelmét. Az előadó úgy építse fel beszédét, hogy felébressze a résztvevők pszichológiai fogékonyságát, éreztesse velük, hogy meg kell tenni, amit kér tőlük. A résztvevők kívánt válasza a problémahelyzet megoldását célzó céltudatos gondolkodásra való akarat.

A vezető erőteljes tevékenységét csak az „ötletgyűjtés” kezdetén feltételezik. Ha a résztvevők kellőképpen fel vannak izgulva, az új ötletek előterjesztése spontán módon megy végbe. A vezető ebben a folyamatban passzív szerepet játszik, a támadás szabályai szerint szabályozza a résztvevőket. Nem szabad megfeledkezni arról, hogy minél változatosabb és több az állítás, annál szélesebb és mélyebb a vizsgált kérdéskör, és annál valószínűbb, hogy értékes kijelentések jelennek meg. Figyelembe véve a fenti körülményt, a vezetőnek a támadás során az alábbi szabályokat kell követnie:

Összpontosítsa a résztvevők figyelmét egy problémás helyzetre, keretet szabjon annak sajátos követelményeinek és a megfogalmazott gondolatok terminológiai súlyosságának;

Nem nyilvánítani hamisnak, nem elítélni és nem abbahagyni egyetlen ötlet kutatását sem, i.e. mérlegeljen minden ötletet, függetlenül annak látszólagos relevanciájától vagy megvalósíthatóságától;

Ösztönözze a fejlesztést vagy az ötletek kombinációját, először annak adja át a szót, aki egy korábbi előadással kapcsolatban fel kíván szólalni;

Támogatást és bátorítást nyújtani a résztvevőknek ahhoz, hogy megszabaduljanak kényszereiktől;

Nyugodt légkör kialakítása, ezzel is hozzájárulva a támadók aktivizálásához.

Negyedik szakasz- a generációs szakaszban megfogalmazott gondolatok rendszerezése. A problémahelyzetet elemző csoport az ötletek rendszerezését a következő sorrendben végzi el: összeállítják az összes megfogalmazott gondolat nómenklatúralistáját; mindegyik gondolat általánosan használt kifejezésekkel van megfogalmazva; duplikált és egymást kiegészítő ötleteket azonosítanak; a megkettőző és (vagy) kiegészítő ötleteket kombinálják és egyetlen komplex ötletté fogalmazzák meg; kiemeli azokat a jeleket, amelyek alapján az ötletek kombinálhatók; az ötletek a kiválasztott tulajdonságoknak megfelelően csoportokba kerülnek; csoportonként összeállítják az ötletek listáját (minden csoportban az ötleteket általánosságuk sorrendjében írják le: az általánosabbtól a konkrétig, az általánosabb elképzeléseket kiegészítve vagy továbbfejlesztve).

Ötödik szakasz- a rendszerezett ötletek megsemmisítése (megsemmisítése, bírálata) (speciális eljárás az ötletek értékelésére a gyakorlati megvalósításhoz a brainstorming folyamatában, amikor mindegyiket átfogó kritika éri a brainstorming résztvevőitől).

A megsemmisítési szakasz fő szabálya, hogy a rendszerezett elképzelések mindegyikét csak a megvalósítás útjában álló akadályok szempontjából vegyük figyelembe, pl. a támadás résztvevői a rendszeresített elképzelést cáfoló érveket hoznak fel. Különösen értékes az a tény, hogy a rombolás folyamatában ellenötlet generálható, megfogalmazva a meglévő korlátozásokat, javaslatot téve ezen korlátozások megszüntetésének lehetőségére.

A brainstorming résztvevőinek csoportja ebben a szakaszban a tárgyalt terület magasan kvalifikált szakembereiből áll, létszáma eléri a 20-25 főt, időtartama 1,5 óra. A pusztulás folyamata addig tart, amíg a lista egyes rendszerezett gondolatait nem kritizálják. Az elhangzott kritikákat, ellengondolásokat magnetofonra rögzítik.

Hatodik szakasz- kritikák kiértékelése, gyakorlati ötletek jegyzékének összeállítása. A szakasz megvalósítását a problémahelyzet elemzésére szolgáló csoport végzi:

1. A megsemmisítési szakaszban beérkezett kritikus megjegyzések listája összeállításra kerül. Ha szükséges, a kritikai megjegyzéseket megadjuk, a duplikált megjegyzéseket eldobjuk.

2. Összefoglaló táblázat készül az ötletek rendszerezésének és megsemmisítésének szakaszairól, valamint az ötletek gyakorlati alkalmazhatóságának mutatóiról (ezek a mutatók minden esetben specifikusak és egy adott problémahelyzettől függenek). A táblázat első oszlopa az ötletek rendszerezési szakaszának eredményeit tartalmazza; a második az elképzeléseket cáfoló kritika; harmadik - az ötletek gyakorlati alkalmazhatóságának mutatói; a negyedik - a pusztulás szakaszában kifejezett ellengondolatok.

3. Minden kritikát és ellentámadást értékelünk:

a) törlésre kerül a táblázatból, ha azt a gyakorlati alkalmazhatóság legalább egy mutatója megcáfolja;

b) nem törlődik, ha azt semmilyen jelző nem cáfolja.

4. Összeállítják az ötletek végső listáját; csak azok az ötletek kerülnek át a listára, amelyeket kritikai észrevételek nem cáfoltak, és a táblázatban maradtak, valamint az ellenötletek.

A kollektív ötletgenerálás módszere a gyakorlatban tesztelt, és lehetővé teszi csoportos megoldás megtalálását az előrejelzési objektum fejlesztési lehetőségeinek meghatározásakor, kizárva a kompromisszumok útját, amikor a közös vélemény nem tekinthető pártatlan elemzés eredményének. a problémáról.

Delphi módszer... Az elmúlt két évtizedben olyan különálló módszerek születtek, amelyek bizonyos mértékig lehetővé teszik a szakértői vélemények statisztikai feldolgozását és azok többé-kevésbé egységes véleményének kialakítását. A Delphi-módszer a jövő szakértői megítélésének egyik legelterjedtebb módszere; szakértői előrejelzés. Ezt a módszert az amerikai RAND kutatóvállalat fejlesztette ki, és bizonyos események valószínűségének meghatározására és értékelésére szolgál.

A Delphi-módszer a következő elvre épül: a pontatlan tudományokban a szakértői véleményeknek és a szubjektív ítéleteknek szükségszerűen fel kell váltaniuk a természettudományokban tükröződő egzakt oksági törvényeket.

A Delphi módszer lehetővé teszi, hogy az egyes szakértők véleményét egy egyeztetett csoportvéleménybe foglalja össze. A szakértői értékeléseken alapuló előrejelzések minden hiányossága benne rejlik. A RAND Corporation által a rendszer fejlesztése érdekében végzett munka azonban jelentősen növelte az előrejelzés rugalmasságát, gyorsaságát és pontosságát.

A Delphi-módszert három olyan tulajdonság jellemzi, amelyek megkülönböztetik a szakértők csoportos interakciójának szokásos módszereitől. Ezek a jellemzők a következők: a) a szakértők névtelensége; b) az előző felmérési kör eredményeinek felhasználásával; c) a csoportválasz statisztikai jellemzői.

Az anonimitás abban rejlik, hogy az előrejelzett jelenség, az objektum szakértői értékelése során a szakértői csoport tagjai egymás számára ismeretlenek. Ebben az esetben teljesen megszűnik a csoporttagok interakciója a kérdőívek kitöltésekor. Egy ilyen kijelentés hatására a válasz írója a véleményét nyilvános bejelentés nélkül megváltoztathatja.

Az előző felmérési kör eredményeinek felhasználása a következő: mivel a csoportos interakció közvetlenül a kérdőív megválaszolásával valósul meg, a Delphi módszerrel kutatást végző szakember vagy szervezet csak az ehhez kapcsolódó információkat vonja ki a kérdőívekből. probléma... Az előrejelző minden nézőpont esetében figyelembe veszi a szakértők „mellett” és „ellen” véleményét. E rendszer működésének fő eredménye, hogy a csoport nem tudja elfogadni saját céljait és célkitűzéseit. Ez a rendszer lehetővé teszi, hogy egy szakembercsoport a kezdeti feladatokra koncentrálja erőfeszítéseit, és ne vállaljon minden alkalommal valami újat.

A csoportos válasz statisztikai jellemzője, hogy egy szakembercsoport olyan előrejelzést készít, amely csak a szakértő többségének álláspontját tartalmazza, pl. olyan nézőpont, amellyel a csoport többsége egyetértene. A csoport tagjai között fennálló nézeteltérés mértékére azonban aligha lehet utalni. Ehelyett a Delphi-módszer a válasz statisztikai jellemzőit használja, amely magában foglalja a teljes csoport véleményét. A medián felépítésénél minden csoporton belüli választ figyelembe veszünk, a válaszok terjedésének nagyságát pedig a negyedek közötti intervallum nagysága jellemzi. Más szóval, a csoportválasz bemutatható mediánként és két kvartilisként, azaz. egy ilyen szám formájában, amelynek becslése szerint a csoporttagok fele több volt ennél, a másik fele pedig kevesebb. A Delphi módszer hatékony interakciót tesz lehetővé a zsűritagok között, bár ennek az interakciónak az eredményét a csoportvezető ellenőrzi az érvek összegzésével. A zsűritagok pontosan akkor változtatják meg az értékelésüket, ha kollégáik érvei meggyőzőek, ellenkező esetben makacsul ragaszkodnak az ellenkező álláspontjukhoz.

A Delphi módszer megvalósítható és hatékony az előrejelzésben való csoportos részvételből származó előnyök megszerzésében; ugyanakkor ez a módszer minimalizálja vagy kiküszöböli a bizottság munkájával járó nehézségek nagy részét, bár időigényesebb lehet, mint a tagok személyes kommunikációjával járó bizottság, különösen, ha a felmérés postai úton történik.

A Delphi módszer fejlesztése során keresztkorrekciót alkalmaznak. A jövőbeli eseményt a fejlődés összefüggő és átmeneti utak hatalmas halmazaként mutatják be.

Ha a tudományos-technikai eltolódások előrejelzését D 1, D 2, ..., D n-ként, a megfelelő valószínűségeket pedig P 1, P 2, ..., P n-ként mutatjuk be, és P 1 = 100%-ot teszünk, akkor változásokat találunk. P 2, ... , Р i,…, Р n értékekben.

A keresztkorreláció bevezetésével az egyes események értékei a bevezetett bizonyos összefüggések miatt akár pozitív, akár negatív irányban változnak, ezáltal módosítva a szóban forgó események valószínűségét. A modell valós feltételeknek való jövőbeni megfeleltetése érdekében a véletlenszerűség elemeit be lehet vinni a modellbe.

Az előrejelzések kidolgozására szolgáló szakértői értékelési módszerek lényege, hogy meghatározzák az előrejelzés tárgya fejlesztésének ígéretes irányairól az egyes szakértők által korábban megfogalmazott szakértői vélemények összhangját, valamint a szempontok értékelését. az objektum fejlődésének, amelyet más módszerekkel (például analitikus számítással, kísérlettel stb.) nem lehet meghatározni.

I. Csoportok létrehozása. A szakértői értékelések lebonyolításának megszervezésére munkacsoportok jönnek létre, amelyek feladata a felmérés lebonyolítása, az anyagok feldolgozása és a kollektív szakértői értékelés eredményeinek elemzése. A munkacsoport szakértőket nevez ki, akik választ adnak az iparág fejlődési kilátásaival kapcsolatos kérdésekre. Az előrejelzés kidolgozásában részt vevő szakértők száma az objektum összetettségétől függően 10-150 fő között változhat.

II. A rendszer globális céljának megfogalmazása. A szakértői felmérés megszervezése előtt szükséges az objektum fejlesztésének fő irányainak tisztázása, valamint az általános célt, részcélokat és ezek elérésének eszközeit tükröző mátrix felállítása. Ugyanakkor az előzetes elemzés során egy szakembercsoporttal közösen meghatározzák a feladat megoldásához a legfontosabb célokat, részcélokat. A cél elérésének eszközein azokat a kutatás-fejlesztési irányokat értjük, amelyek eredményei felhasználhatók a cél elérése érdekében. Ugyanakkor a kutatás-fejlesztési irányok nem fedhetik át egymást.

III. Kérdőív kidolgozása. Olyan kérdések kidolgozásából áll, amelyeket a szakértőknek javasolnak. A kérdésforma táblázatok formájában is kialakítható, de azok tartalmát az előre jelzett tárgy vagy iparág sajátosságai határozzák meg. Ebben az esetben a kérdéseket egy bizonyos szerkezeti-hierarchikus séma szerint kell elkészíteni, pl. a tág kérdésektől a szűk kérdésekig, az összetetttől az egyszerűig.

A szakértői felmérés során biztosítani kell az egyes kérdések megértésének egyértelműségét, valamint a szakértői ítéletek függetlenségét.

IV. Szakértői értékelések számítása. Fel kell dolgozni azokat a szakértői értékelések anyagait, amelyek jellemzik az általánosított véleményt és az egyes szakértői értékelések következetességének mértékét. Ezen szakértői értékelések feldolgozása forrásanyagként szolgál prediktív hipotézisek szintéziséhez és az ipar fejlesztési lehetőségeinek szintéziséhez.

A végső kvantitatív értékelést a szakértői értékelés négy fő módszerével és ezek sokféle változatával határozzák meg:

1) egyszerű rangsorolási módszer (vagy preferencia módszer);

2) a súlyozási tényezők megállapításának módja;

3) a páros összehasonlítások módszere;

4) az egymást követő összehasonlítások módszere.

Egyszerű rangsorolási módszer az, hogy minden szakértőt felkérnek, hogy a funkciókat preferencia sorrendbe állítsa. Az egyes szám a legfontosabb jellemzőt jelöli, a második a fontosság szerint következőt stb. a kapott adatokat a következő táblázat foglalja össze.

2.1. táblázat A jellemzők szakértői értékelései (kutatási területek)

Egy adott tulajdonság preferencia sorrendje másokkal szemben.

Ezután a matematikai statisztika módszereivel általános szakértői véleményt kapunk. Meghatározzuk az átlagos rangot, a j-edik jellemző átlagos statisztikai értéke S j:

ahol m kj az értékelő szakértők száma j-edik jellemző(m k m);

i - szakértői szám; i = 1, ..., m;

j - jellemző száma, j = 1,2,…, n.

Az egyes jellemzők átlagos rangja meghatározásra kerül. Minél kisebb az S j érték, annál nagyobb jelentősége van ennek a tulajdonságnak.

Annak érdekében, hogy meg lehessen mondani, hogy a rangok eloszlása ​​véletlenszerű-e, vagy konzisztens-e a szakértői vélemény, az M. Kendall által bevezetett konkordancia együtthatót számítjuk ki.

A jellemzők halmazának átlagos rangját meghatározzuk:

A j-edik jellemző átlagos rangjának d j eltérését a sokaság átlagos rangjától számítjuk ki:

A szakértők által a j-edik jellemzőhöz rendelt azonos rangok számát meghatározzuk - t q.

Az azonos rangú csoportok számát meghatározzuk - Q. A konkordancia együtthatóját a következő képlet határozza meg:

,(2.4)

,(2.5)

Az együttható értéke 0-tól 1-ig terjedhet. Ha a szakértők véleménye teljesen konzisztens, akkor az egyezési együttható egy, míg teljes nézeteltérés van - nulla. A legvalóságosabb a szakértői vélemények részleges egyetértése.

A szakértői vélemények konszenzusának növekedésével a konkordancia együtthatója növekszik, és a határértéken belüli egységre hajlik. Azonban még ha egyenlő vagy közel nulla, nem mindig van teljes nézeteltérés. A szakértők között lehetnek jól egyetértő véleményekkel rendelkező csoportok, de ezek a vélemények ellentétesek és általában semlegesítik egymást. Ebben az esetben klaszter- vagy kombinációanalízist kell végezni ezen csoportok azonosítására.

Az egyszerű rangsorolási módszer előnyei:

1) a becslések beszerzési eljárásának viszonylagos egyszerűsége;

2) kevesebb szakértő más módszerekkel összehasonlítva ugyanazon jellemzőkészlet értékelésénél.

Hátránya, hogy:

1) tudatosan egységesnek tekinti a becslések eloszlását;

2) a jellemzők fontosságának csökkenését is egyenletesnek feltételezzük, míg a gyakorlatban ez nem történik meg.

A súlyok beállításának módja abban áll, hogy minden jellemzőhöz súlyegyütthatót rendelünk. A súlyozási tényezőket kétféleképpen lehet beállítani:

1) minden jelhez súlyegyütthatót rendelnek úgy, hogy az együtthatók összege megegyezzen valamilyen rögzített számmal (például egy, tíz vagy száz);

2) az összes jel közül a legfontosabbnak egy rögzített számmal egyenlő súlyozási együtthatót adunk, a többit pedig ennek a számnak a törtrészével egyenlő együtthatóval.

A szakértők általános véleményét a matematikai statisztika módszereivel is megkapjuk a (2.1 - 2.5) képletek szerint.

Szekvenciális összehasonlítási módszer az alábbiak:

1) a szakértő az összes jellemzőt fontosságuk csökkenésének sorrendjében rendeli meg: A 1>A 2 >…> A n ;

2) az első jellemzőhöz eggyel egyenlő értéket rendel: A 1 = 1, míg a többi jellemzőhöz súlyozási együtthatót rendel egy töredékében;

3) összehasonlítja az első jellemző értékét az összes következő jellemző értékével.

Három lehetőség van:

A 1> A 2 + A 3 +… + A n

A 1 = A 2 + A 3 +… + A n

A 1< A 2 + A 3 + …+ A n

A szakértő kiválasztja a véleménye szerint legmegfelelőbb lehetőséget, és azzal összhangba hozza az első esemény értékelését;

4) összehasonlítja az első jellemző értékét az összes következő jellemző összegével, mínusz az utolsó jellemzővel.

Az első jellemző értékelését a három lehetőség közül kiválasztott egyenlőtlenségnek megfelelően módosítja:

A 1> A 2 + A 3 +… + A n-1

A 1 = A 2 + A 3 +… + A n-1

A 1< A 2 + A 3 + … + A n-1

5) az eljárást addig ismételjük, amíg A 1 össze nem hasonlítja A 2 + A 3 értékkel.

Miután a szakértő az egyenlőtlenségnek megfelelően meghatározta az első jellemző értékelését, három lehetséges közül választott:

A 1> A 2 + A 3

A 1< A 2 + A 3

folytatja a második A 2 attribútum becslésének finomítását ugyanazon séma szerint, mint az első esetében, azaz. a második jellemző értékelését összehasonlítjuk a következő jellemzők összegével.

Előnye abban rejlik, hogy a jellemzők értékelésének folyamatában a szakértő saját értékeléseit elemzi. Az együtthatók hozzárendelése helyett kreatív folyamat jön létre az együtthatók létrehozására.

A módszer hátrányai a következők:

1) összetettsége; egy képzetlen szakértő nehezen tud megbirkózni ezzel az eljárással; ahelyett, hogy finomítaná kezdeti becsléseit, összezavarják őket;

2) terjedelmesség; négyszer több műveletet igényel ugyanazon jellemzőkészlet értékeléséhez, mint az egyszerű rangsorolási módszer (vagyis négyszer annyi szakértő kell ugyanahhoz a munkához).

Páronkénti összehasonlítási módszer

Elmondása szerint az összes jelet páronként összehasonlítják egymással. A páros összehasonlítások alapján további feldolgozást alkalmaznak az egyes jellemzők becslésének megtalálásához.

Annak érdekében, hogy a szakértő könnyebben tudjon összehasonlítani, a jelek (A, B, C,… N) vízszintesen és függőlegesen is szerepelnek a táblázatban.

A szakértő kitölti egy ilyen táblázat celláit. Egy tulajdonság önmagával való összehasonlítása ad egyet. Az első cellába a szakértő írja az egyiket, a másodikba - az első tulajdonság összehasonlításának eredményét a másodikkal, a harmadikba - az első tulajdonság összehasonlításának eredményét a harmadikkal stb. A második sorba lépve a szakértő az első cellába írja be a második jellemző és az első összehasonlítás eredményét, a másodikban - az egyik, a harmadikban - a második tulajdonság összehasonlítása a harmadikkal stb.

A táblázat átló feletti fele tükrözi az alsó felét. Annak érdekében, hogy ne okozzunk félreértést, ne provokáljuk a szakértőt arra, hogy a táblázat egyik felét a másik szerint számítsa ki, a műveletek számának csökkentése érdekében célszerű a táblázatnak csak az egyik felét kitölteni (a táblázat felett vagy alatt). átlós). Így a szakértők válaszait a következő mátrix formájában mutatjuk be:

Egy sor matematikai transzformáció után becsléseket kapunk az egyes jellemzőkre A 1, A 2, ..., An ennek a szakértőnek a szemszögéből. A jellemzők összpontszámát a teljes mátrix azonos feldolgozásával kapjuk meg, amelynek minden eleme a jellemzők összes szakértő által megadott összehasonlításának összege.

A teljes mátrixnak van formája

m az adott jellemzőkészletet értékelő szakértők száma;

- becslések, rendre 1, 2,…, j,…, m szakértő;

Az összes szakértő által megadott összesített pontszámok.

A teljes mátrix szórásának meghatározásával és egy azonos elemszámú mátrix lehetséges legnagyobb szórásával való összehasonlításával meg lehet határozni a szakértői vélemények konzisztenciáját. Minél közelebb van a teljes mátrix szórása a lehetséges legnagyobb eltéréshez, annál nagyobb a vélemények konzisztenciája. Így a páros összehasonlítás módszere lehetővé teszi a szakértői vélemények egyezésének szigorú, statisztikailag érvényes elemzését, annak feltárását, hogy a kapott becslések véletlenszerűek-e vagy sem. A páronkénti összehasonlítás módszere kétségtelenül bonyolultabb, mint az egyszerű rangsorolás módszere, de egyszerűbb, mint az egymást követő összehasonlítások módszere.

A páros összehasonlítási módszerrel egy adott jellemzőkészlet értékeléséhez szükséges szakértők száma kétszer akkora, mint az egyszerű rangsorolási módszer alkalmazásakor, és kétszer kevesebb, mint a szekvenciális összehasonlítás módszere esetén.

Jelenleg a szakértői értékelések elvégzésének számos módszerében az együtthatót a szakértő kompetenciájának mutatójaként javasolják:

, (2.6)

hol van a szakértő kompetenciájának együtthatója;

A szakértő ismeretségi fokának együtthatója a tárgyalt problémával kapcsolatban;

Érvelési együttható.

A kutatási irány ismeretségi fokának együtthatóját a szakértő önértékelése határozza meg egy tízes skálán. Az önértékelési pontszámok a következők:

0 - a szakértő nem ismeri a kérdést;

1,2,3 - a szakértő nem ismeri a kérdést, de a kérdés az érdeklődési körébe tartozik;

4,5,6 - a szakértő kellően ismeri a kérdést, közvetlenül nem vesz részt a kérdés gyakorlati megoldásában;

7,8,9 - a szakértő ismeri a kérdést, részt vesz a kérdés gyakorlati megoldásában;

10 - a kérdés a szakértő szűk szakkörébe tartozik.

A szakértőt felkérik, hogy saját maga értékelje fel, mennyire ismeri a kérdést, és emelje ki a megfelelő pontszámot. Ezután ezt a pontszámot megszorozzuk 0,1-gyel, és megkapjuk az együtthatót.

Az érvelési együttható figyelembe veszi azon érvek szerkezetét, amelyek a szakértő alapjául szolgáltak egy bizonyos értékeléshez. Az érvelési együtthatót a 2.2. táblázat szerint javasoljuk a szakértő által a táblázat celláiban megjelölt értékek összegzésével meghatározni.

A kompetencia együttható meghatározása után a szakértői értékelések értékét megszorozzuk vele.

2.2 táblázat Az argumentációs együttható értékei

3.4. SZAKÉRTŐI MÓDSZEREK

A fejezet a szakértői értékelés elméletének és gyakorlatának főbb kérdéseit tárgyalja, ideértve a szakértői felmérés jellemző szakaszaival, a szakértők kiválasztásának módszereivel, valamint a szakértői vélemények összegyűjtésére és elemzésére vonatkozó szabályozás kialakításával kapcsolatos kérdéseket. Megfontolásra kerülnek a modern méréselmélet főbb gondolatai, a klaszteres rangsorok párosításának módszere és számos más matematikai módszer a szakértői értékelések elemzésére.

3.4.1. Miért van szüksége egy vezetőnek szakértői értékelésre?

Mi lesz a fogyasztók reakciója a reklámkampányra? Hogyan változik a társadalmi, technológiai, környezeti, gazdasági, politikai helyzet tíz év múlva? Biztosítható lesz-e az ipari termelés környezetbiztonsága, vagy ember alkotta sivatag lesz körülötte? Elég elgondolkodni a kérdés ezen megfogalmazásán, elemezni, hogyan képzeltük ma tíz évvel ezelőtt, hogy megértsük, száz százalékig megbízható előrejelzések egyszerűen nem létezhetnek. Konkrét számokkal történő állítások helyett csak kvalitatív becslések várhatók. Ennek ellenére döntéseket kell hoznunk például környezetvédelmi és egyéb projektekről, beruházásokról, amelyek következményei tíz, húsz vagy még több év múlva jelentkeznek.

Vitathatatlan, hogy a megalapozott döntések meghozatalához a szakemberek tapasztalatára, tudására, intuíciójára kell támaszkodni. A második világháború után a kibernetika, az irányításelmélet, a menedzsment és az operációkutatás keretein belül önálló diszciplína kezdett kialakulni - a szakértői értékelések elmélete és gyakorlata.

A szakértői értékelési módszerek a szakértőkkel való munkaszervezés és a szakértői vélemények feldolgozásának módszerei... Ezek a vélemények általában részben mennyiségi, részben minőségi formában nyilvánulnak meg. Szakértői kutatást végzek annak érdekében, hogy az információkat döntéshozó (DM) döntéshozatalra előkészítsem. A szakértői értékelések módszerével kapcsolatos munka elvégzésére Munkacsoport (rövidítve WG) jön létre, amely a döntéshozó megbízásából megszervezi a (formálisan vagy lényegében) szakértői bizottságba (EB) tömörült szakértők tevékenységét.

Szakértői értékelések Egyediés kollektív. Egyéni osztályzatok- ezek egy szakember értékelései. Például a tanár egymaga megjelöli a tanulót, az orvos pedig diagnosztizálja a beteget. De nehéz betegség esetén vagy egy hallgató rossz tanulmányai miatti kizárásával fenyegető esetekben fordulnak hozzá kollektív vélemény - orvosok szimpóziuma vagy tanári bizottság. Hasonló a helyzet a hadseregben is. Általában a parancsnok dönt egyedül. De nehéz és felelősségteljes helyzetekben katonai tanácsot tartanak. Ennek egyik leghíresebb példája az 1812-es fili katonai tanács, amelyen M.I. elnöklete alatt. Kutuzov, a kérdés megoldódott: "Vasszon csatát a franciáknak Moszkva közelében, vagy ne?"

A szakértői értékelések másik egyszerű példája a számok értékelése a KVN-ben. A zsűritagok mindegyike felemel egy-egy papírt a saját jegyével, és a technikus kiszámolja a számtani átlagot, amit a zsűri kollektív véleményeként közölnek (alább látni fogjuk, hogy ez a megközelítés mérési szempontból helytelen elmélet).

Műkorcsolyában az eljárás bonyolultabbá válik - az átlagolás előtt a legnagyobb és legkisebb jeleket eldobjuk. Ez azért történik, hogy ne legyen kísértés egy sportoló (például egy honfitárs) túlbecsülésére vagy egy másik alulértékelésére. Az ilyen becsléseket, amelyek élesen kiemelkednek az általános tartományból, azonnal elvetik.

A kiválasztás során gyakran használnak szakértői értékeléseket - egy lehetőség több műszaki eszköztől, egy űrhajós csoport sok pályázótól, kutatási projektek sorozata pályázatok tömegéből történő finanszírozáshoz, sok pályázótól környezetvédelmi kölcsön kedvezményezettjei, választási lehetőség beruházási projektek megvalósításra a bemutatottak között stb.

Számos módszer létezik a szakértői vélemény megszerzésére. Egyes esetekben minden szakértővel külön-külön dolgoznak, nem is tudja, ki még szakértő, ezért a hatóságoktól függetlenül nyilvánítja ki véleményét. Más esetekben a szakértőket összehozzák, hogy anyagokat készítsenek a döntéshozók számára, miközben a szakértők megbeszélik egymással a problémát, tanulnak egymástól, és elvetik a téves véleményeket. Egyes módszerekben a szakértők száma fix, és olyan, hogy a vélemények konzisztenciájának ellenőrzésére, majd átlagolására szolgáló statisztikai módszerek lehetővé teszik a megalapozott döntések meghozatalát. Más esetekben a szakértők száma a vizsgálati folyamat során nő, például a "hógolyó" módszer alkalmazásakor (erről bővebben lentebb). Nem kevesebb módszer létezik a szakértői válaszok feldolgozására, beleértve a matematikával nagyon telített és számítógépeseket is

Az egyik legismertebb szakértői megítélési módszer az Delphi módszer... A név a Delphoi templommal kapcsolatban kapta, ahová egy ősi szokás szerint szokás volt a döntések meghozatalában támogatást kérni. A mérgező vulkáni gázok kilépésénél helyezkedett el. A templom papnõi, belélegezve a mérget, prófétálni kezdtek, és érthetetlen szavakat mondtak. Különleges "fordítók" - a templom papjai tolmácsolták ezeket a szavakat, és feljegyezték a problémáikkal érkező zarándokok kérdéseit.

Az USA-ban az 1960-as években a Delphi-módszert a tudományos és technológiai fejlődés előrejelzésére szolgáló szakértői eljárásnak nevezték. Első körben a szakértők megnevezték egyes jövőbeni eredmények várható időpontjait. A második körben minden szakértő megismerkedett az összes többi előrejelzésével. Ha előrejelzése nagymértékben eltért a többség előrejelzéseitől, álláspontja pontosítását kérték tőle, és gyakran változtatott becslésein, megközelítve az átlagértékeket. Ezeket az átlagértékeket csoportos véleményként adtuk meg a vásárlónak. Azt kell mondanom, hogy a vizsgálat valós eredményei meglehetősen szerénynek bizonyultak - bár az amerikai holdraszállás dátumát egy hónapos pontossággal jósolták meg, minden más előrejelzés megbukott - hideg termonukleáris fúzió és rákgyógyszerek a XX. század. az emberiség nem várt. Maga a technika azonban népszerűnek bizonyult - a következő években legalább 40 ezer alkalommal használták. Egy Delphi-módszerrel végzett szakértői tanulmány átlagos költsége 5 ezer amerikai dollár, de esetenként ennél nagyobb összegeket is kellett kiadni - akár 130 ezer dollárt is.

Valamennyire kívül esik a szakértői értékelések fő áramvonalán szkriptelési módszer, elsősorban szakértői előrejelzéshez használják. Tekintsük a forgatókönyv szakértői előrejelzési technológia fő gondolatait. A környezeti vagy társadalmi-gazdasági előrejelzés, mint általában minden előrejelzés, csak a feltételek bizonyos stabilitása mellett lehet sikeres. A hatósági döntések, egyének döntései, egyéb események azonban megváltoztatják a feltételeket, az események a korábban várttól eltérő módon alakulnak. Módszertani, szoftveres és információs támogatás kockázatelemzés vegyészmérnöki projektek, részletes katalógus összeállítása szükséges a mérgező vegyi anyagok kibocsátásával kapcsolatos baleseti forgatókönyvekről. Ezen forgatókönyvek mindegyike egy saját típusú balesetet ír le, saját egyéni eredetével, fejlődésével, következményeivel és megelőzési képességeivel. A forgatókönyv-módszer tehát az előrejelzési probléma bontásának módszere, amely az események alakulásának (forgatókönyvek) egyedi változatainak halmazának kiválasztását biztosítja, együttesen lefedve a fejlődés összes lehetséges változatát. Ezenkívül minden egyes forgatókönyvnek lehetővé kell tennie a kellően pontos előrejelzés lehetőségét, és a forgatókönyvek teljes számának láthatónak kell lennie.

Az ilyen bomlás lehetősége nem nyilvánvaló. A forgatókönyv-módszer alkalmazása során a kutatás két szakaszát kell elvégezni:
- kimerítő, de látható forgatókönyvkészlet felépítése;
- előrejelzés az egyes forgatókönyvek keretein belül, hogy a kutatót érdeklő kérdésekre választ kapjunk.

Ezen szakaszok mindegyike csak részben formalizált. Az érvelés jelentős része a társadalmi-gazdasági és humanitárius tudományokban megszokott módon minőségi szinten történik. Ennek egyik oka az, hogy a túlzott formalizálás és matematizálás vágya ahhoz vezet mesterséges a bizonyosság bevezetése ott, ahol az lényegében hiányzik, vagy egy nehézkes matematikai apparátus használata. Tehát a verbális szintű érvelést a legtöbb helyzetben evidensnek tekintik, míg a használt szavak jelentésének tisztázására tett kísérlet például a fuzzy halmazelmélet segítségével igen nehézkes matematikai modellekhez vezet. A szkriptkészletnek láthatónak kell lennie. Ki kell zárnunk különféle valószínűtlen eseményeket. Egy forgatókönyv-készlet megalkotása önmagában is szakértői kutatás tárgya. Ezenkívül a szakértők felmérhetik egy adott forgatókönyv valószínűségét. Az egyes konkrét forgatókönyvek keretein belüli előrejelzés a kutatót érdeklő kérdések megválaszolása érdekében szintén a fent ismertetett előrejelzési módszertan szerint történik. Stabil körülmények között az idősorok előrejelzésére statisztikai módszerek alkalmazhatók. Ezt azonban szakértők bevonásával történő elemzés előzi meg, és sokszor a verbális szintű előrejelzés is elegendő (a kutató és a döntéshozó számára érdekes következtetések levonásához), és nem igényel kvantitatív pontosítást.

Mint tudod, amikor döntéseket hoznak az alapján helyzetelemzés, beleértve a prediktív vizsgálatok eredményeit is, különféle kritériumokon alapulhatnak. Tehát koncentrálhat arra, hogy a helyzet a legrosszabb, vagy a legjobb, vagy átlagos (bármilyen értelemben) alakuljon. Megpróbálhat olyan intézkedéseket felvázolni, amelyek biztosítják a minimálisan elfogadható hasznos eredményeket a helyzet bármely forgatókönyvében stb.

A szakértői értékelés másik lehetősége az ötletelés... Szakértői összejövetelként szervezik, amelynek felszólalása egy, de igen jelentős korlátozás alá esik - nem lehet kritizálni mások javaslatait. Fejlesztheti őket, kifejtheti elképzeléseit, de kritizálni nem! A találkozó során az egymástól "megfertőződő" szakértők egyre extravagánsabb megfontolásokat fogalmaznak meg. Két órával később véget ér a kazettára vagy videokamerára rögzített találkozó, és megkezdődik az ötletelés második szakasza - a megfogalmazott ötletek elemzése. Általában 100 ötletből 30 érdemel továbbtanulmányozást, 5-6-ból lehetővé teszi alkalmazott projektek megfogalmazását, 2-3 pedig végül hasznos hatást hoz - profitot, fokozott környezetbiztonságot stb. Az ötletek értelmezése ugyanakkor kreatív folyamat. Például a hajók torpedótámadásokkal szembeni védelmének lehetőségeinek megvitatása során a következő gondolat hangzott el: "Vegye sorba a matrózokat az oldal mentén, és fújja rá a torpedót, hogy megváltoztassa annak irányát." Amint kidolgozták, ez az ötlet olyan eszközök létrehozásához vezetett, amelyek hullámokat hoznak létre, amelyek kiütik a torpedót az irányból.

3.4.2. A szakértői felmérés főbb szakaszai

Amint azt a szakértői kutatások lefolytatásának tapasztalatai mutatják, a vezető – egy ilyen tanulmány szervezője – szempontjából célszerű a szakértői felmérés lefolytatásának következő szakaszait kiemelni.

1) Döntéshozatal szakértői felmérés szükségességéről és céljának Döntéshozó (DM) megfogalmazásáról. Így a kezdeményezésnek a vezetéstől kell származnia, amely a jövőben biztosítja a szervezeti és pénzügyi problémák sikeres megoldását.

2) A munkacsoport fő összetételének döntéshozójának kiválasztása és kinevezése, rövidítve WG (általában - tudományos tanácsadó és titkár). A tudományos témavezető feladata egyúttal a szakértői vizsgálat egészének megszervezése és lebonyolítása, valamint az összegyűjtött anyagok elemzése és a szakértői bizottság következtetésének megfogalmazása. Részt vesz a szakértői csapat kialakításában és a mindenki számára történő megbízások kiadásában (a döntéshozóval vagy képviselőjével együtt). A titkár feladata a nyilvántartás, a szervezési problémák megoldása.

3) Fejlesztése WG (pontosabban fő állománya, elsősorban a tudományos tanácsadó és titkár) és a döntéshozó jóváhagyása feladatmeghatározás szakértői felmérés elvégzésére. Ebben a szakaszban világossá válik a szakértői felmérés lebonyolítására vonatkozó döntés időben, anyagi, személyi, tárgyi és szervezeti támogatásban. A munkacsoportban különösen a szakértők különböző csoportjait különböztetik meg - analitikus, ökonometriai (adatelemzési módszerek szakértői), számítógépes, szakértőkkel dolgozó (például kérdezőbiztosok), szervezeti. A sikerhez nagyon fontos, hogy ezeket a munkaterületeket a döntéshozó jóváhagyja.

4) Fejlesztése a részletes forgatókönyv WG felülvizsgáló csapata (pl. előírások) szakértői vélemények (értékelések) gyűjtése és elemzése. A forgatókönyv mindenekelőtt egy bizonyos típusú információt tartalmaz, amelyet szakértőktől szereznek be (például szövegek (szavak), feltételes fokozatok, számok, rangsorok, bontások vagy egyéb, nem numerikus jellegű objektumok). Így gyakran a szakértőket arra kérik, hogy szabad formában fejezzék ki magukat, miközben számos előre megfogalmazott kérdésre válaszolnak. Ezenkívül megkérik őket, hogy töltsenek ki egy formális kártyát, minden ponton válasszanak egyet a több fokozat közül. A szkriptnek tartalmaznia kell az összegyűjtött információk elemzésére szolgáló speciális módszereket is. Például a kemenyi medián kiszámítása, a luciánusok statisztikai elemzése, a statisztika egyéb módszereinek alkalmazása nem numerikus jellegű objektumokra és a modern ökonometria egyéb szakaszaira. Ez a munka a WG ökonometriai és számítástechnikai csoportjára esik. A hagyományos hiba az, hogy először információkat gyűjtünk, és utána gondolkodunk, hogy mit kezdjünk vele. Ennek eredményeként, amint a tapasztalat azt mutatja, az információt csak 1-2%-ban használják.

5) Szakértők kiválasztása kompetenciájuk szerint. Ebben a szakaszban a munkacsoport összeállítja a lehetséges szakértők listáját.

6) Szakértői bizottság felállítása... Ebben a szakaszban a WG tárgyal a szakértőkkel, megkapja a hozzájárulásukat a szakértői bizottságban (rövidítve EB) való munkához, esetleg a munkacsoport által kijelölt szakértők egy része ilyen vagy olyan okból megtagadja. A szakértői bizottság összetételét a döntéshozó hagyja jóvá, esetleg törli vagy kiegészíti a szakértők egy részét a munkacsoport javaslataival. A szakértőkkel a szerződések megkötése munkájuk feltételeiről és annak kifizetéséről folyamatban van.

7) Magatartás gyűjtő szakértői információk. Gyakran ezt megelőzően kérdezőbiztosokat toboroznak és képeznek ki – ez a munkacsoport egyik csoportja.

8) Számítógép szakértői információk elemzése a szkriptben szereplő módszerek segítségével. Általában megelőzi az információk számítógépekbe való bevitele.

9) A szakértői eljárás forgatókönyve szerint több körből történő alkalmazás esetén - ismétlés az előző két szakasz.

10) Szakértői vélemények végső elemzése, a WG elemző csoportja által elért eredmények értelmezése ill. záródokumentum elkészítése EB a döntéshozók számára.

11) Hivatalos befejező a munkacsoport tevékenysége, ideértve az EB záródokumentumának a döntéshozó általi jóváhagyását, a munkacsoport kutatásáról szóló tudományos és pénzügyi jelentéseinek elkészítését és jóváhagyását, a munkacsoport szakértőinek és alkalmazottainak díjazását, a tevékenység hatósági megszüntetését (megszüntetése). ) az EK és a munkacsoport.

Vizsgáljuk meg részletesebben a szakértői vizsgálat egyes szakaszait.

3.4.3. Szakértők kiválasztása

A szakértők kiválasztásának problémája az egyik legnehezebb a szakértői kutatás elméletében és gyakorlatában. Nyilvánvaló, hogy szakértőként azokat az embereket kell igénybe venni, akiknek megítélése leginkább segít a megfelelő döntés meghozatalában. De hogyan lehet ilyen embereket kiemelni, megtalálni, felvenni? Őszintén meg kell mondanunk, hogy a szakértők kiválasztására nincsenek olyan módszerek, amelyek biztosan biztosítanák a vizsgálat sikerét.

A szakértők kiválasztásának problémája két részre osztható: a lehetséges szakértők névsorának összeállítása és közülük szakértői bizottság kiválasztása a jelöltek kompetenciájának megfelelően.

A lehetséges szakértők listájának összeállítását megkönnyíti, ha az adott típusú vizsgálatot többször elvégzik. Ilyen helyzetekben általában végrehajtják Iktató hivatal lehetséges szakértők például az állami környezetvédelmi szakvélemény vagy a műkorcsolya-bírálat területén, amelyek közül különböző szempontok szerint, vagy álvéletlen számérzékelő segítségével választhat.

Mi a teendő, ha a vizsgálatot első alkalommal végzik el, és nincsenek összeállított listák a lehetséges szakértőkről? Ebben az esetben azonban mindegyik konkrét szakember legyen fogalma arról, hogy mi kell egy szakértőtől egy ilyen helyzetben. Létezik egy hasznos "hógolyós" módszer a lista összeállítására, amelyben minden szakértőként bevont szakembertől több név is kikerül, akik a vizsgált témában szakértők lehetnek. Nyilvánvaló, hogy e vezetéknevek némelyikével korábban találkoztak a WG tevékenysége során, néhány pedig új. Minden újonnan érkezővel azonos séma szerint interjút készítenek. A lista bővítésének folyamata leáll, amikor az új vezetéknevek gyakorlatilag megszűnnek megjelenni. Az eredmény a lehetséges szakértők meglehetősen kiterjedt listája. A hólabda módszernek is vannak hátrányai. A kóma felhalmozódásának megállítása előtti körök számát nem lehet előre megjósolni. Ezen túlmenően nyilvánvaló, hogy ha az első szakaszban minden szakértő ugyanabból a „klánból” származott, közeli nézeteket vallott vagy hasonló tevékenységet folytattak, akkor a „hógolyó” módszer nagy valószínűséggel mindenekelőtt személyeket fog adni. ebből a "klánból". Más "klánok" véleménye és érvei figyelmen kívül maradnak.

Nem kevésbé nehéz a szakértők kompetenciájának felmérése. A korábbi vizsgálatokon való sikeres részvétel jó kritériuma a sportversenyeken végzett kóstoló, orvos, bírói tevékenységnek, i. olyan szakértők, akik azonos típusú szakértelem hosszú sorozatában vesznek részt. Azonban sajnos a legérdekesebb és legfontosabb a nagy projektek egyedi szakértelme, amelyeknek nincs analógja. A szakértők formális mutatóinak (beosztás, tudományos fokozat és cím, szolgálati idő, publikációk száma...) alkalmazása modern körülmények között nyilvánvalóan csak segéd jellegű lehet, bár az ilyen mutatókat a legkönnyebb alkalmazni.

Gyakran javasolják az önértékelés és a szakértői kompetencia kölcsönös értékelésének módszereit. Beszéljük meg ezeket, kezdve az önértékelési módszerrel, amelyben a szakértő maga ad tájékoztatást arról, hogy mely területeken kompetens és melyikben nem. Egyrészt ki ismerheti jobban egy szakértő képességeit, mint ő maga? Másrészt a kompetencia önértékelése inkább a szakértő önbizalmának mértékét méri fel, mint a valódi kompetenciáját. Ráadásul maga a koncepció "kompetencia" nincs szigorúan meghatározva. Tisztázható, az összetevők kiemelésével, de ez megnehezíti a szakértői bizottság tevékenységének előzetes részét. A szakértő gyakran eltúlozza valódi kompetenciáját. Például a legtöbben úgy gondolják, hogy jól járatosak a politikában, a gazdaságban, az oktatásban és nevelésben, a családban és az orvostudományban. Valójában nagyon kevés szakértő (sőt hozzáértő) van ezeken a területeken. Vannak eltérések a másik irányba, a képességeikhez való túlzottan kritikus hozzáállás.

A kölcsönös értékelés módszerének alkalmazása során a személyes és csoportos tetszés- és nemtetszések megnyilvánulásának lehetősége mellett szerepet játszik a szakértők egymás képességeinek alacsony szintű ismerete. Modern körülmények között csak azok a szakemberek ismerhetik meg elég jól egymás munkáját, adottságait, akik több éve (legalább 3-4) dolgoznak együtt, ugyanabban a helyiségben, ugyanabban a témában. Az ilyen párokról azt mondhatjuk, hogy " együtt evett egy pud sót„Az ilyen szakemberpárok vonzása azonban nem nagyon tanácsos, hiszen nézeteik életútjuk hasonlósága miatt túlságosan hasonlítanak egymáshoz.

Ha a szakértői felmérési eljárás magában foglalja a szakértők közvetlen kommunikációját, számos egyéb körülményt is figyelembe kell venni. Nagyon fontos rendelkeznek személyes (szociálpszichológiai) tulajdonságaikkal. Szóval, az egyetlen" beszélő"Az egész szakbizottság tevékenységét megbéníthatja egy közös ülésen. A bizottsági tagok ellenséges hozzáállása, a bizottsági tagok nagyon eltérő tudományos és hivatalos státusza összeomláshoz vezethet. Ilyen esetekben fontos betartani a a WG által kidolgozott munkaszabályzat.

Hangsúlyozni kell, hogy a szakértők kiválasztása végső soron a munkacsoport feladata, és semmilyen kiválasztási módszertan nem mentesíti a felelőssége alól. Vagyis a Munkacsoport felelős a szakértők kompetenciájáért, a rábízott feladat megoldásának alapvető képességéért. Fontos követelmény, hogy a döntéshozó hagyja jóvá a szakértői névjegyzéket. Ugyanakkor a döntéshozó akár egyes szakértőket is felvehet a bizottságba, vagy törölhet néhányat - saját okokból, amivel a WG és az EB tagjainak nem kell megismerkedniük.

Egyes területeken számos normatív dokumentum szabályozza a szakértői bizottságok tevékenységét. Példa erre a Törvény Orosz Föderáció 1995. november 23-án kelt „Környezetvédelmi szakvéleményről”, amely a „tervezett gazdasági vagy egyéb tevékenység” szakvéleményének eljárását szabályozza annak érdekében, hogy azonosítsa azokat az esetleges károkat, amelyeket az adott tevékenység okozhat a környezetben.

3.4.4. A szakvélemények összegyűjtésére és elemzésére vonatkozó szabályozás kidolgozásáról

Számos módszer létezik a szakértői vélemény megszerzésére. Némelyikben minden szakértővel külön-külön dolgoznak, nem is tudja, ki még szakértő, ezért a hatóságoktól, „klánoktól” és az egyes kollégáktól függetlenül fejti ki véleményét. Más esetekben a szakértőket összehozzák, hogy anyagokat készítsenek a döntéshozók számára, míg a szakértők megbeszélik egymással a problémát, elfogadják vagy elutasítják egymás érveit, tanulnak egymástól, elvetik a helytelen vagy nem kellően alátámasztott véleményeket. Egyes módszerekben a szakértői létszám fix, és olyan, hogy a vélemények konzisztenciájának ellenőrzésére, majd (a vélemények kellően jó összhangja esetén) átlagolására szolgáló statisztikai módszerek lehetővé teszik az ökonometriai szempontból megalapozott döntések meghozatalát. Más esetekben a szakértők száma nő a vizsgálati folyamat során, például amikor a „hógolyó” módszerrel szakértői csapatot alakítanak ki.

Jelenleg nem létezik A szakértői értékelési módszerek általánosan elfogadott, tudományosan megalapozott osztályozása, és még inkább - az alkalmazásukra vonatkozó egyértelmű ajánlások. Az egyik lehetséges nézőpont kikényszerítésére tett kísérlet csak árthat.

Ahhoz azonban, hogy elmondhassuk a szakértői értékelések sokféleségét, szükség van a módszerek egyfajta működő osztályozására. Az alábbiakban adunk egy ilyen lehetséges besorolást, felsorolva azokat az indokokat, amelyek alapján a szakértői értékeléseket megosztjuk.

Az egyik fő kérdés - pontosan mit kell a szakértői bizottságnak benyújtania a munkája eredményeként - a döntéshozó döntéséhez szükséges információkat, vagy magát a határozattervezetet? E módszertani kérdés megválaszolásától függ a szakértői bizottság munkájának megszervezése, és ez szolgál elsőként a módszerek lebontásához.

CÉL - INFORMÁCIÓGYŰJTÉS A DM. Ezután a Munkacsoportnak a lehető legtöbb releváns információt össze kell gyűjtenie, bizonyos döntési lehetőségek "mellett" és "ellen" érveit. Hasznos a következő módszer a szakértők számának fokozatos növelésére. Először az első szakértő elmondja gondolatait a vizsgált kérdésről. Az általa összeállított anyagot átadják a második szakértőnek, aki hozzáfűzi saját érveit. A felhalmozott anyag a következő - a harmadik - szakértőhöz kerül... Az eljárás akkor ér véget, amikor az új megfontolások folyama kiapad.

Megjegyzendő, hogy a vizsgált módszer szakértői csak tájékoztatást adnak, „mellett” és „ellen” érveket, de nem dolgoznak ki elfogadott határozattervezetet. Nem kell arra törekedni, hogy a szakértői vélemények összhangban legyenek egymással. Sőt, a leghasznosabb szakértők azok, akiknek a gondolkodásmódjuk eltér a mainstreamtől. Tőlük kell a legeredetibb érveket várni.

CÉL - A DM MEGOLDÁSTERVEZETÉNEK ELKÉSZÍTÉSE. A szakértői értékelések matematikai módszereit általában pontosan a megoldástervezet elkészítésével kapcsolatos problémák megoldására használják. Ugyanakkor a következetesség és az egysíkság dogmáit gyakran kritikátlanul fogadják el. Ezek a dogmák egyik kiadványról a másikra "vándorolnak", ezért célszerű megvitatni őket.

A KÖVETKEZTETÉS DOGMÁJA. Sokszor minden indoklás nélkül gondolják úgy, hogy csak a szakértők egyeztetett véleménye alapján lehet döntést hozni. Ezért a szakértői csoportból kizárják azokat, akiknek véleménye eltér a többség véleményétől. Ezzel egyidejűleg kikerülnek a szakértői bizottságba félreértésből, vagy szakmai szintjüktől független okokból bekerült képzetlen személyek, valamint a legtöbbnél mélyebben belehatoló, a problémába legeredetibb gondolkodók. Szükséges lenne érveik pontosítása, lehetőség biztosítása álláspontjuk alátámasztására. Ehelyett figyelmen kívül hagyják a véleményüket.

Az is előfordul, hogy a szakértőket két vagy több csoportra osztják, amelyeknek ugyanaz csoport nézőpontok. Tehát van példa arra, hogy a kutatómunka eredményeit értékelő szakembereket két csoportra osztják: "teoretikusok", akik egyértelműen előnyben részesítik az elméleti eredményeket jelentő kutatási munkát, és a "gyakorló", akik azokat a kutatási munkákat választják, amelyek lehetővé teszik az azonnali alkalmazott eredmények elérését. (a Vezérlési Probléma (Automatizálás és Telemechanika) Akadémiai Intézet kutatási pályázatáról van szó). Néha azt állítják, hogy ha két vagy több szakértői csoportot találnak, a felmérés nem érte el a célt. Ez nem igaz! A célt elértük – megállapították, hogy nincs konszenzus. Ez nagyon fontos. A döntéshozónak pedig ezt figyelembe kell vennie döntései során. Az a vágy, hogy a szakértői vélemények bármely egész konzisztenciáját biztosítsák, a szakértők szándékos egyoldalú kiválasztásához vezethet, figyelmen kívül hagyva minden nézőpontot, kivéve egy, a legkedveltebb munkacsoportot (vagy akár a szakértők által "sugalmazott"). döntéshozó).

Gyakran még egy tisztán ökonometriai körülményt nem vesznek figyelembe. Mivel a szakértők száma általában nem haladja meg a 20-30 főt, a szakértői vélemények formális statisztikai konzisztenciája (amelyet a statisztikai hipotézisek tesztelésének bizonyos kritériumai alapján állapítanak meg) kombinálható a szakértők ténylegesen meglévő csoportos felosztásával, ami a további számításokat a valóság szempontjából irrelevánssá teszi. . Példaként térjünk át a Kendall- vagy Spearman-féle rangkorrelációs együtthatókon alapuló konkordancia-együtthatókat használó konkrét számítási módszerekre. Emlékeztetni kell arra, hogy az ökonometriai elmélet szerint a konzisztencia ilyen módon történő ellenőrzésének pozitív eredménye nem többet és nem kevesebbet jelent, mint a szakértői vélemények függetlenségére és az összes rangsorra vonatkozó egységes eloszlására vonatkozó hipotézis elutasítását. Így tesztelésre kerül a nullhipotézis, amely szerint a szakértői véleményeket leíró rangsorok független véletlen bináris relációk, amelyek egyenletesen oszlanak el az összes rangsor halmazán. Ennek a nullhipotézisnek az elutasítását a szakértői válaszok következetességeként értelmezzük. Vagyis egyfajta szóértelmezésből fakadó téveszmének esünk áldozatul: a konzisztencia ellenőrzése a jelzett matematikai-statisztikai értelemben egyáltalán nem konzisztencia-ellenőrzés a szakértői ítéletek gyakorlata értelmében. (A rangsorok elemzésére szolgáló számításba vett matematikai és statisztikai módszerek hibája volt az, ami miatt egy szakembercsoport kidolgozott egy új konzisztencia-ellenőrző ökonometriai apparátust - nemparaméteres módszereket, amelyek az ún. Luciansés bekerült az ökonometria modern szekciójába - nem numerikus statisztikák). A klaszteranalízis ökonometriai módszereivel hasonló módszerekkel rendelkező szakértői csoportokat lehet megkülönböztetni.

AZ ELLENŐRZŐK VÉLEMÉNYEI. A következetesség mesterséges elérése érdekében igyekeznek csökkenteni a szakértői vélemények befolyását disszidensek, azaz disszidensek a többséghez képest. Kemény a másként gondolkodók kezelésének módja az, hogy figyelmen kívül hagyjuk a véleményüket, i.e. valójában a szakértői bizottságból való kizárásukban. A szakértők elutasítása, akárcsak a kiugró értékek (outliers) elutasítása, gyenge vagy ismeretlen statisztikai tulajdonságokkal rendelkező eljárásokhoz vezet. Tehát ismert rendkívüli instabilitás klasszikus módszerek a kiugró értékek kiselejtezésére a modell feltevéseitől való eltérések kapcsán. Puha a disszidensekkel való kezelés módja a felhasználás robusztus (stabil) statisztikai eljárások... A legegyszerűbb példa: ha a szakértő válasza valós szám, akkor a disszidens élesen megkülönböztetett véleménye erősen befolyásolja a szakértői válaszok számtani középértékét, és nem befolyásolja azok mediánját. Ezért ésszerű a mediánt konszenzusos véleménynek tekinteni. Ez azonban figyelmen kívül hagyja (nem jut el a döntéshozóhoz) a másként gondolkodók érveit. A másként gondolkodók kezelésének mindkét módja esetén a döntéshozó megfosztja a másként gondolkodóktól származó információkat, ezért indokolatlan döntést hozhat, amely utólag negatív következményekkel jár. Másrészt az, hogy a döntéshozó a véleményeket teljes egészében ismerteti, a végső döntés előkészítésének egy részét eltávolítja a szakértői bizottságtól és a szakértői felmérést végző munkacsoporttól, és ezt a felelősséget és munkát a szakértőkre hárítja. a döntéshozó vállát.

EGYDIMENZIÓS DOGMA. Elterjedt egy meglehetősen primitív megközelítés, amely szerint a vizsgálat tárgya mindig értékelhető egy szám... Furcsa ötlet! Egy személy értékelése egy számmal csak a rabszolgapiacokon jutott eszembe.... Nem valószínű, hogy még a legbuzgóbb kvalitisták is úgy tekintenek egy könyvre vagy festményre, mint egy számra – a „piaci értékére”.

Ugyanakkor nem lehet teljesen tagadni azt a gondolatot, hogy általánosított minőségi, műszaki színvonalú és hasonló mutatókat keressünk. Így minden objektum számos minőségi mutató szerint értékelhető. Például egy személygépkocsi a következő mutatókkal értékelhető: benzinfogyasztás 100 kilométernyi pályán (átlagosan); megbízhatóság (átlagos javítási költség évente); környezetbiztonság, a kipufogógázok károsanyag-tartalma alapján értékelve; manőverezhetőség; 100 km/h gyorsulási sebesség a mozgás megkezdése után; maximális elérhető sebesség; a pozitív hőmérséklet fenntartásának időtartama az utastérben alacsony külső hőmérsékleten (-50 Celsius fok) és a motor kikapcsolása; design (vonzóság és "divatosság" kinézetés belső kárpitozás); súly stb. Össze lehet adni ezeknek a mutatóknak a pontszámait? Az a konkrét helyzet, amelyre az autót kiválasztják, meghatározó. Az elérhető maximális sebesség fontos a motoros számára, de, ahogy nekünk úgy tűnik, a gyakorlatban kevéssé van jelentősége egy közönséges magánautó vezetőjének, különösen olyan városban, ahol szigorú korlátozások vannak érvényben. maximális sebesség... Egy ilyen sofőr számára a benzines futásteljesítmény, a manőverezhetőség és a megbízhatóság fontosabb. Különféle gépekhez közszolgáltatások, láthatóan a megbízhatóság fontosabb, mint egy magánkereskedőnek, a benzines futásteljesítmény pedig az ellenkezője. A távol-északi régiókban a kabin hőszigetelése fontos, a déli régiókban viszont nem. Stb. Ezért fontos a probléma konkrét (szűk) megfogalmazása a szakértők számára. De gyakran nincs ilyen beállítás. És akkor az általánosított minőségi mutató kidolgozására irányuló "játékok" - például a felsorolt ​​változók lineáris függvénye formájában - nem tudnak objektív következtetéseket levonni. Az egyetlen általánosított mutató alternatívája egy matematikai apparátus, mint pl többszempontú optimalizálás- Pareto készletek stb.

Egyes esetekben továbbra is össze lehet hasonlítani az objektumokat globálisan - például ugyanazon szakértők segítségével rendelést kaphat a kérdéses tárgyakról - termékekről vagy projektekről. Ezután az egyes mutatók együtthatóit KIVÁLASZTHATJA úgy, hogy a lineáris függvény szerinti rendezés a lehető legjobban illeszkedik a globális rendezéshez(például keresse meg ezeket az együtthatókat a legkisebb négyzetek módszerével). Ellenkezőleg, ilyen esetekben NEM KELL értékelni a feltüntetett együtthatókat szakértők segítségével. Ez az egyszerű gondolat még nem vált nyilvánvalóvá a szakértői felmérések készítésének és eredményeinek elemzésének módszertanának egyes szerzői számára. Keményen próbálják rávenni a szakértőket arra, amit csinálnak. képtelen- megjelölni azokat a súlyokat, amelyekkel az egyes minőségi mutatókat be kell venni a végső általánosított mutatóba. A szakértők általában össze tudják hasonlítani az objektumokat vagy projekteket általában, de nem tudják elkülöníteni az egyes tényezők hozzájárulását ... Ha a felmérés szervezői megkérdezik, a szakértők válaszolnak: de ezek a válaszok nem hordoznak megbízható információkat a valóságról...

A SZAKÉRTŐI ELJÁRÁSOK BESOROLÁSÁNAK MÁSODIK ALAPJA - A TÚRÁK SZÁMA. A szakértelem egy körből, egy meghatározott számú körből (kettő, három, ...) vagy határozatlan számú körből állhat. Minél több forduló van, annál alaposabb a helyzetelemzés, hiszen a szakértők általában sokszor visszatérnek a téma vizsgálatára. Ezzel párhuzamosan azonban nő a vizsgálat teljes ideje, és nő a költsége. A költségek csökkentése úgy lehetséges, hogy nem minden szakértőt egyszerre, hanem fokozatosan vonnak be a vizsgálatba. Így például, ha a pro és kontra érvek összegyűjtése a cél, akkor a kezdeti érvlistát egyetlen szakértő is összeállíthatja. A második hozzáfűzi az érveit. Az összefoglalt anyag az első és a harmadikhoz kerül, akik bemutatják érveiket és ellenérveiket. És így tovább – minden új fordulóhoz hozzáadunk egy szakértőt. A legnagyobb nehézségeket az előre meghatározott számú kört tartalmazó eljárások okozzák, például a „hógolyó”. Gyakran előfordul, hogy megszabják a maximálisan lehetséges túrák számát, majd a bizonytalanság odáig fajul, hogy ezt a maximális számú túrát kell-e végrehajtani, vagy lehet-e kisebb számra korlátozni magunkat.

A SZAKÉRTŐI ELJÁRÁSOK BESOROLÁSÁNAK HARMADIK ALAPJA A SZAKÉRTŐI KOMMUNIKÁCIÓ SZERVEZÉSE. Nézzük meg a skála egyes elemeinek előnyeit és hátrányait: kommunikáció hiánya - névtelen levelező kommunikáció - névtelenség nélküli levelezés - személyes kommunikáció korlátozásokkal - személyes kommunikáció korlátozás nélkül. Kommunikáció hiányában egy szakértő anélkül fejti ki véleményét, hogy bármit tudna más szakértőkről és azok véleményéről. Teljesen független, ami jó és rossz is. Általában ez a helyzet egykörös vizsgálatnak felel meg. ... Levelezés névtelen kommunikáció Ez például a Delphi-módszerhez hasonlóan azt jelenti, hogy a szakértő megismeri más szakértők véleményét, érveit, de nem tudja, hogy pontosan ki fejezte ki ezt vagy azt az álláspontot. Ebből következően a vizsgán legalább két fordulót kell előirányozni. Levelező kommunikáció anonimitás nélkül megfelel például az internetes kommunikációnak. A kívüli vizsgálatra minden lehetőség jó, mert nem kell szakértőket összehozni, ezért ennek megfelelő időpontot és helyszínt kell találni. A szemtől szembeni vizsgálatok során a szakértők inkább beszélnek, mint írnak, mint a levelező vizsgálatoknál, így sokkal többet tudnak elmondani egyszerre. Nappali vizsga korlátozásokkal nagyon gyakori. Ez egy fix ütemezésű találkozó. Példa erre a katonai tanács a birodalmi orosz hadseregben, amikor a szakértők (tisztek és tábornokok) sorrendben beszéltek az ifjabbtól (rang és beosztás szerint) a rangidősekig. Végül, nappali tagozatos vizsga korlátozás nélkül egy szabad vita. Minden személyes vizsgálatnak megvannak a maga hátrányai, amelyek a résztvevők szociálpszichológiai tulajdonságai és klán (párt) preferenciái által negatívan befolyásolhatják magatartásukat, valamint szakmai, hivatalos, tudományos státuszuk egyenlőtlensége. Képzeld el, hogy 5 hadnagy és 3 tábornok fog összejönni. Függetlenül attól, hogy az ülés egyik vagy másik résztvevője milyen információval rendelkezik, nem nehéz megjósolni annak menetét: a tábornokok beszélnek, a hadnagyok pedig csendben maradnak.

KÜLÖNBÖZŐ TÍPUSÚ SZAKÉRTÉKELÉS ÖSSZEFÜGGÉSE. A valódi vizsgálatok gyakran a fent leírt különböző típusú vizsgálatok kombinációi. Példaként tekintsük a hallgatónak egy érettségi projekt védelmét. Először egy többfordulós, szemtől szembeni vizsgálatot végeznek a témavezető és a tanácsadók, ennek eredményeként a hallgató előkészíti a projektet a védekezésre. Ezután két szakértő távollétében dolgozik - ez a felülvizsgálat szerzője külső szervezetés az osztályvezető, munkát vállalva a védelembe. Ügyeljen arra, hogy ezeknek a szakembereknek a feladatai és az elvégzett munka mennyisége között mi a különbség - az egyik részletes értékelést ír, a másik pedig a projekt címlapjára írva lehetővé teszi annak védelmét. Végül - nappali tagozatos vizsga korlátozások nélkül (az állami tanúsító bizottság tagjai számára). A diplomaterv elbírálása kollegiálisan, szavazattöbbséggel történik, miközben az egyik szakértő (tudományos tanácsadó) részletesen ismeri a munkát, a többi - alapvetően csak a beszámoló alapján. Így többfordulós és egyfordulós, levelező és nappali vizsgát kombinálunk. Az ilyen kombinációk sok valós vizsgálatra jellemzőek.

3.4.5. Modern méréselmélet és szakértői ítélet

A szakértői értékelések problémáinak további elmélyültebb vizsgálatához egyes fogalmak az ún reprezentatív méréselmélet, amely a szakértői értékelés elméletének alapjául szolgál, elsősorban annak azon része, amely a minőségi (és nem kvantitatív) formában megfogalmazott szakértői vélemények elemzéséhez kapcsolódik.

Szakértői véleményeket gyakran fogalmaznak meg rendes skála(a mérlegekről bővebben lásd alább), i.e. egy szakértő mondhatja (és igazolhatja), hogy a termékminőség egyik mutatója fontosabb, mint a másik, az első technológiai objektum veszélyesebb, mint a második stb. De nem tudja megmondani hányszor vagy mennyi fontosabb, illetve veszélyesebb. A szakértőket gyakran felkérik, hogy adják meg a szakértelem tárgyainak rangsorát (sorrendjét), pl. rendezze azokat a vizsgaszervezőket érdeklő jellemzők növekvő (vagy csökkenő) intenzitása szerinti sorrendbe. A rang egy sorszám (a vizsgálat tárgyának) egy rendezett sorban. Formálisan a rangokat az 1, 2, 3, ... számok fejezik ki, de a szokásos számtani műveleteket ezekkel a számokkal nem lehet elvégezni. Például, bár 1 + 2 = 3, nem vitatható, hogy a sorrendben harmadik helyen lévő objektum esetében a vizsgált jellemző intenzitása megegyezik az 1. és 2. rangú objektumok intenzitásának összegével. a szakértői értékelés típusai közül a hallgatói értékelés. Aligha fogja bárki is vitatkozni azzal, hogy egy kiváló tanuló tudása egyenlő egy szegény és egy C tudásának összegével (bár 5 = 2 + 3), egy jó tanuló két szegény tanulónak (2 + 2 = 4) felel meg. a kiváló tanuló és a C tanuló között pedig ugyanolyan különbség van, mint a jó tanuló és a gyenge tanuló között (5 - 3 = 4 - 2). Nyilvánvaló tehát, hogy az ilyen jellegű kvalitatív adatok elemzéséhez nem minden ismert aritmetika szükséges, hanem egy másik elmélet, amely alapot ad konkrét számítási módszerek kidolgozásához, tanulmányozásához és alkalmazásához. Ez az RTI. Nem szabad megfeledkezni arról, hogy jelenleg a "méréselmélet" kifejezést számos tudományos tudományág megjelölésére használják: klasszikus metrológia, RTI, néhány más terület, például az algoritmikus méréselmélet.

Eleinte az RTI a pszichofizikai mérések elméleteként fejlődött ki. Az RTI alapítója, amerikai pszichológus S.S. Stevens a mérési skálákra összpontosított. Az RTI fejlődésének következő szakasza a jellemző. Az Egyesült Államokban az 1950-es években megjelent The Encyclopedia of Psychological Sciences egyik kötete Psychological Dimensions néven szerepelt. Ez azt jelenti, hogy a kötet összeállítói kiterjesztették az RTI alkalmazási körét a pszichofizikáról általában a pszichológiára. És ennek a gyűjteménynek a fő cikkében, a „Méréselmélet alapjai” cím alatt, az előadás absztrakt matematikai szinten volt, anélkül, hogy bármilyen konkrét alkalmazási területre hivatkozna. Ebben a cikkben a hangsúly a "számokhoz viszonyított empirikus rendszerek homomorfizmusaira" került (nem kell itt belemenni ezekbe a matematikai kifejezésekbe), és a matematikai bonyolultság megnőtt S.S. munkáihoz képest. Stevens.

Már az egyik első hazai gumiáru-cikkben (az 1960-as évek végén) megállapítást nyert, hogy a szakértelem értékelésénél a szakértők által adott pontokat rendszerint ordinális skálán mérik. Az 1970-es évek elején megjelent háztartási munka a gumi gumi felhasználási területének jelentős bővüléséhez vezetett. Alkalmazása volt a pedagógiai kvalitásban (a tanulók tudásminőségének mérése), a rendszertanulmányokban, a szakértői értékelés elméletének különböző feladataiban, a termékminőségi mutatók összesítésére, szociológiai kutatásokban stb.

Mivel az RTI két fő problémája, valamint a skála típusának beállítása olyan adatelemző algoritmusok keresésére került sor, amelyek eredménye semmilyen megengedett léptéktranszformációval nem változik (azaz állandó ezzel az átalakulással kapcsolatban).

Alapvető mérőskálák. Az RTI szerint egy valós jelenség vagy folyamat matematikai modellezésekor mindenekelőtt megállapítani kell milyen típusú skálákban vannak bizonyos változókat. A skála típusa határozza meg az engedélyezett átalakítások csoportját. Az engedélyezett transzformációk nem változtatják meg a mért objektumok közötti kapcsolatokat. Például a hossz mérésénél az arshin-ről a méterre való átmenet nem változtatja meg a vizsgált objektumok hossza közötti összefüggést - ha az első objektum hosszabb, mint a második, akkor ez mind arshinben, mind méréskor megállapítható. méterben.

Jelöljük a mérési skálák főbb típusait és a megengedett transzformációk megfelelő csoportjait. V felekezetek skála(más név - n névleges Mérleg) elfogadható mind egy az egyhez konverziók. Ebben a skálában a számok csak címkeként használatosak. Nagyjából ugyanúgy, mint amikor a szennyest a szennyesbe adjuk, azaz. csak hogy különbséget tegyen a tárgyak között. A mért felekezetek skáláján pl. telefonszámok, autók, útlevelek, diákigazolványok. Az emberek nemét a felekezetek skáláján is mérik, a mérési eredmény két értéket vesz fel - férfi, nő. Faj, nemzetiség, szemszín, hajszín névleges tulajdonságok. Az ábécé betűszámai a névadási skála mértékei is. Józan eszében senkinek nem jutna eszébe telefonszámokat összeadni vagy szorozni, az ilyen műveleteknek nincs értelme. Senki nem fogja a betűket összehasonlítani és azt mondani, hogy például a P betű jobb, mint a C. Az egyetlen dolog, amire jók az elnevezési skála mérései, az az objektumok megkülönböztetése. Sok esetben csak ez kell tőlük. Például a felnőttek öltözőiben lévő szekrényeket szám szerint különböztetik meg, pl. számokat, az óvodákban pedig rajzokat használnak, mivel a gyerekek még nem ismerik a számokat.

V rendes skála A számok az objektumok közötti sorrend megállapítására szolgálnak. A legegyszerűbb példa a tanulói értékelés. Jelképes, hogy a középiskolában a 2., 3., 4., 5. osztályt használják, és a felsőoktatásban pontosan ugyanazt a jelentést fejezik ki szóban is - nem kielégítő, kielégítő, jó, kiváló. Ez hangsúlyozza a tanulók tudásfelmérésének „nem numerikus” jellegét. Sorrendi skálán elfogadható mind szigorúan növekvő átalakulások.

A skála típusának megállapítása, i.e. a mérési skála megengedett átalakításainak csoportjának feladata a megfelelő alkalmazott terület szakembereinek dolga. Így szociológusként a szakmák vonzerejének ordinális skálán mért értékeléseit vettük figyelembe. Egyes szociológusok azonban nem értettek egyet velünk, mivel úgy vélték, hogy az iskolát végzettek a megengedett átalakítások szűkebb csoportját tartalmazó skálát, például intervallumskálát használnak. Nyilvánvalóan ez a probléma nem a matematikára vonatkozik, hanem a humán tudományokra. Megoldására egy meglehetősen fáradságos kísérletet lehet végezni. Szállításig célszerű sorszámskálát alkalmazni, mert ez garantálja az esetleges hibákat.

A szakértői értékeléseket, mint már említettük, gyakran sorszámú skálán mértnek kell tekinteni. Tipikus példa erre a környezetvédelmi biztosítás hatálya alá tartozó ipari létesítmények rangsorolásának és besorolásának problémája (lásd alább).

Miért természetes, hogy a szakértői véleményeket soros léptékben fejezzük ki? Amint azt számos kísérlet kimutatta, az ember helyesebben (és kevesebb nehézséggel) válaszol a kvalitatív, például összehasonlító jellegű kérdésekre, mint a mennyiségi kérdésekre. Könnyebb tehát megmondani, hogy a két súly közül melyik a nehezebb, mint megadni a hozzávetőleges súlyukat grammban.

Sok más jól ismert példát is használnak az ordinális skálákra. Például az ásványtanban a Mohs-skálát használják, amely szerint az ásványokat a keménység kritériuma szerint osztályozzák. Nevezetesen: a talkum 1, a gipsz 2, a kalcium 3, a fluorit 4, apatit 5, ortoklász 6, kvarc 7, topáz 8, korund 9, gyémánt 10. Az ordinális skálák a földrajzban - A szelek Beaufort-skálája ("nyugodt", "gyenge szél", "mérsékelt szél" stb.), földrengés erősségi skála. Az orvostudományban az ordinális skálák a magas vérnyomás stádiumainak skálája (Mjasznyikov szerint), a szívelégtelenség fokozatainak skálája (Strazhesko-Vasilenko-Lang szerint), a koszorúér-elégtelenség súlyosságának skálája (Fogelson szerint). A házszámokat is sorszámskálán mérik. A termékek és szolgáltatások minőségének értékelése során, beleértve a qualimetries (szó szerinti fordítás: minőség mérése) ordinális skálák népszerűek. Ugyanis egy termelési egységet jónak vagy rossznak ítélnek meg. Egy alaposabb elemzés három fokozatú skálát használ: jelentős hibák vannak - csak kisebb hibák vannak - hiányosságok nincsenek.

A környezeti hatások értékelésekor az első értékelés általában rendes: a természeti környezet stabil - a természeti környezet elnyomott (degradálódik). Hasonlóképpen környezetvédelmi-egészségügyi léptékben: nincs kifejezett hatás az emberi egészségre - van negatív hatás az egészségre. Az ordinális skálát más területeken is használják.

Sorrendi skála és névsor - a minőségi jellemzők fő skálái... Ezért sok specifikus területen a kvalitatív elemzés eredményei ezeken a skálákon mérésnek tekinthetők.

A mennyiségi jellemzők skálái az intervallumok, arányok, különbségek, abszolút skálák... Egy skálán időközönként mérje meg a potenciális energia értékét vagy egy egyenes pont koordinátáját. Ezekben az esetekben sem a természetes eredet, sem a természetes mértékegység nem jelölhető a skálán. Az intervallumskálában megengedett transzformációk lineárisan növekvő transzformációk, azaz. lineáris függvények. A Celsius- és Fahrenheit-hőmérséklet-skálák pontosan ezzel az összefüggéssel függnek össze: C 0 = 5/9 (Ф 0 - 32), ahol C 0 a Celsius-skála hőmérséklete, és Ф 0 a Fahrenheit-skála hőmérséklete.

A mennyiségi skálák közül a tudományban és a gyakorlatban a legelterjedtebbek a skálák kapcsolatok. Természetes referenciapontjuk van - nulla, azaz. nincs mennyiség, de nincs természetes mértékegység sem. A legtöbb fizikai egységet a kapcsolatok skáláján mérik: testtömeg, hosszúság, töltés, valamint a gazdaságban az árak. A relációk léptékében megengedett transzformációk hasonlóak (csak a lépték megváltoztatása). Más szóval lineárisan növekvő transzformációk metszéspont nélkül.

Az időt egy skálán mérik különbségek, ha az évet természetes mértékegységnek vesszük, és általános esetben az intervallumok skálája szerint. A modern tudásszinten lehetetlen természetes kiindulópontot jelezni. A különböző szerzők különböző módon számítják ki a világ teremtésének dátumát, valamint Krisztus születésének pillanatát. Így az új statisztikai kronológia szerint az Úr Jézus Krisztus i.sz. 1054-ben született. (a jelenlegi kronológia szerint) Isztambulban (más néven Konstantinápoly, Bizánc, Trója, Jeruzsálem, Róma).

Csak abszolút mérlegek, a mérési eredmények a szó szokásos értelmében vett számok. Példa erre az egy szobában tartózkodó emberek száma. Abszolút skálán csak az azonos transzformáció megengedett.

A megfelelő tudásterület fejlesztése során a skála típusa változhat. Tehát először a hőmérsékletet mérték sorrendi skála (hidegebb - melegebb). Aztán - által intervallum(Celsius, Fahrenheit, Reaumur skálák). Végül az abszolút nulla nyitása után le kell olvasni a hőmérsékletet egy skálán mért módon kapcsolat(Kelvin skála). Megjegyzendő, hogy a szakemberek között időnként nézeteltérések vannak abban, hogy mely skálákat kell bizonyos valós értékek alapján mértnek tekinteni. Más szóval, a mérési folyamat magában foglalja a skála típusának meghatározását (az indoklással együtt).

Invariáns algoritmusok és átlagértékek. Az adatelemző algoritmusokkal szemben támasztott fő követelményt az RTI a következőképpen fogalmazza meg: egy bizonyos típusú skálán mért adatok alapján levont következtetések nem változhatnak ezen adatok mérési skálájának elfogadható átszámításával. Más szóval, a következtetéseknek kell lenniük állandó a megengedett léptéktranszformációkkal kapcsolatban.

Így a méréselmélet egyik fő célja a kutató szubjektivizmusának leküzdése, amikor számszerű értékeket rendel a valós objektumokhoz. Így a távolságok arshinban, méterben, mikronban, mérföldben, parszekben és más mértékegységekben mérhetők. Súly (súly) - pudban, kilogrammban, fontban stb. Az áruk és szolgáltatások árait jüanban, rubelben, tengében, hrivnyában, latban, koronában, márkában, amerikai dollárban és más pénznemekben lehet megadni (meghatározott átváltási árfolyamok függvényében). Kiemeljünk egy nagyon fontos, bár egészen nyilvánvaló körülményt: a mértékegységek megválasztása a kutatótól függ, i.e. szubjektív. A statisztikai következtetések csak akkor lehetnek megfelelőek a valósághoz, ha nem függenek attól, hogy a kutató melyik mértékegységet részesíti előnyben, pl. amikor egy megengedhető skálatranszformáció alatt invariánsak.

Példaként tekintsük az ordinális skálán mért szakértői vélemények feldolgozását. Hadd Y1, Y2, ..., Yn- szakértői értékelések készlete, amely „ki van téve” egy szakértelem tárgyának (például az egyik lehetőség stratégiai fejlesztés cégek), Z1, Z2, ..., Zn- a második (a fejlesztés másik változata).

Hogyan lehet ezeket a populációkat összehasonlítani? Nyilvánvalóan az átlagértékekkel a legegyszerűbb. Hogyan számolod az átlagokat? Különféle típusú átlagértékek léteznek: számtani átlag, medián, módus, geometriai átlag, harmonikus átlag, középnégyzet. A fentiek közül többnek általánosítása a Kolmogorov-átlag. A számokhoz X1, X2, ..., Xn a Kolmogorov-átlagot a képlet alapján számítjuk ki

G ((F (X1) + F (X2) + ... F (Xn)) / n),

ahol F- szigorúan monoton funkció, G a függvény fordítottja F... A Kolmogorov-átlagok között sok jól ismert karakter található. Tehát, ha F (x) = x, akkor a Kolmogorov-közép a számtani átlag, ha F (x) = ln x, akkor a geometriai átlag, ha F(x) = 1/x, akkor a harmonikus átlag, ha F (x) = x 2, akkor az átlagnégyzet stb. Másrészt az olyan népszerű átlagokat, mint a medián és a divat, nem lehet Kolmogorov-átlagként ábrázolni.

Emlékezzünk vissza, hogy az átlagérték általános fogalmát egy francia matematikus vezette be a 19. század első felében. akadémikus O. Cauchy. Ez a következő: az átlagérték bármely függvény f (X1, X2, ... Xn)úgy, hogy az argumentumok összes lehetséges értéke esetén ennek a függvénynek az értéke nem kisebb, mint a számok minimuma X1, X2, ... Xn, és nem több, mint e számok maximuma. A Kolmogorov-átlag a Cauchy-átlag speciális esete. A medián és a divat, bár Kolmogorov szerint nem átlagok, Cauchy szerint is átlagok.

Megengedett skálakonverzióval az átlagérték nyilvánvalóan megváltozik. De az arra vonatkozó következtetések, hogy melyik populációnál nagyobb és melyiknél kisebb, nem változhatnak (az RTI-ben fő követelményként elfogadott következtetések változatlanságának követelménye szerint). Fogalmazzuk meg a megfelelő matematikai problémát az átlagértékek típusának megtalálására, amelyek összehasonlítási eredménye stabil a megengedett skálatranszformációk tekintetében.

Hadd f (X1, X2, ..., Xn) a Cauchy-átlag. Legyen az első sokaság átlaga kisebb, mint a második sokaság átlaga:

f (Y1, Y2, ..., Yn)< f(Z1, Z2,...,Zn). (1)

Az RTI szerint az átlagok összehasonlításának eredményének stabilitása érdekében minden megengedhető transzformációhoz szükséges g a megfelelő skálán megengedett transzformációk csoportjából az egyenlőtlenség

f (g (Y1), g (Y2), ..., g (Yn))< f (g(Z1), g(Z2),..., g(Zn)), (2)

azok. az első sokaságból átszámított értékek átlaga is kisebb volt, mint a második sokaságból átváltott értékek átlaga. Ezenkívül a megfogalmazott feltételnek igaznak kell lennie bármely két halmazra Y1, Y2, ..., Ynés Z1, Z2, ..., Znés ne feledjük, minden megengedett átalakítás g... Az RTI szerint csak ilyen átlagok használhatók a szakértői vélemények és a vizsgált skálán mért egyéb adatok elemzésekor.

Az A. I. Orlov által az 1970-es években kidolgozott matematikai elmélet segítségével a fő skálákon leírható a megengedett átlagok formája. Az elnevezési skálán csak a divat felel meg az átlagnak. Az ordinális skálán szereplő Cauchy-átlagok közül csak a variációs sorozat (sorrendi statisztika), különösen a medián (páratlan mintaméret esetén) használható átlagként (páratlan mintaméret esetén. mintaméret esetén a variációs sorozat két központi tagjának egyikét kell használni - ahogy néha , bal oldali vagy jobb oldali mediánt is nevezik), de nem számtani átlagot, geometriai átlagot stb. Az intervallumskálában az összes Kolmogorov-átlag közül csak a számtani átlag használható. Az arányok skáláján az összes Kolmogorov-átlag közül csak a hatványtörvény és a geometriai átlag stabil az összehasonlításhoz képest.

Nézzünk egy numerikus példát, amely bemutatja a számtani átlag használatának helytelenségét f (X1, X2) = (X1 + X2) / 2 ordinális skálán. Hadd Y1 = 1, Y2 = 11, Z1 = 6, Z2 = 8. Azután f (Y1, Y2) = 6 ami kisebb mint f (Z1, Z2) = 7... Legyen egy szigorúan növekvő átalakulás g olyan, hogy g (1) = 1, g (6) = 6, g (8) = 8, g (11) = 99. Sok ilyen átalakulás létezik. Például lehet tenni g(x) = x nál nél x nem haladja meg a 8-at, és g(x) = 99(x-8)/3 + 8 számára x nagy 8. Akkor f (g (Y1), g (Y2)) = 50 ami több mint f (g (Z1), g (Z2)) = 7... Mint látható, ennek következtében a megengedett, i.e. szigorúan növekvő léptékű átalakulás, módosult az eszközök sorrendje.

A fenti átlagértékekre vonatkozó eredményeket széles körben alkalmazzák, nemcsak a szakértői értékelések elméletében vagy a szociológiában, hanem például a nagyolvasztók folyamatirányító rendszereiben az érzékelők aggregálási módszereinek elemzésére is. Az RTI nagy alkalmazotti értékkel bír a szabványosítási és minőségirányítási feladatokban, különös tekintettel a minőségre. Itt is vannak érdekes elméleti eredmények. Így például a termékminőség egyes mutatóinak súlyozási tényezőinek bármilyen változása a termékek súlyozott átlagmutató szerinti sorrendjének változásához vezet (ezt a tételt Prof. V. V. Podinovsky igazolta).

Átlagpontszám módszerek. Jelenleg széles körben elterjedtek a szakértői, marketinges, kvalitatív, szociológiai és egyéb közvélemény-kutatások, amelyekben a válaszadókat arra kérik, hogy pontozzanak tárgyakat, termékeket, technológiai folyamatok, vállalkozások, projektek, pályázatok kutatási projektek megvalósítására, ötletek, problémák, programok, politikusok stb., majd kiszámítja az átlagpontszámokat, és azokat a válaszadói csoport által adott integrálértékelésnek tekinti. Milyen képleteket kell használni az átlagértékek kiszámításához? Hiszen, mint tudjuk, sokféle átlag létezik. Általában a számtani átlagot használják. Több mint 30 éve ismert, hogy ez a módszer helytelen mert a pontszámokat általában ordinális skálán mérik (lásd fent). A mediánokat célszerű átlagpontszámként használni. Azonban teljesen nem praktikus figyelmen kívül hagyni az aritmetikai átlagokat ismertségük és elterjedtségük miatt... Így célszerű a két módszert egyidejűleg használni - és a számtani középrangok (pontok), illetve a medián rangok módszerét. Ez az ajánlás összhangban van a robusztusság koncepciójával, amely különböző módszerek alkalmazását javasolja ugyanazon adatok feldolgozásához, hogy az összes módszerből egyidejűleg levonható következtetéseket kiemeljük. Az ilyen következtetések látszólag megfelelnek a valóságnak, míg a módszerenként változó következtetések a kezdeti szakértői értékelések feldolgozásának módszerét választó kutató szubjektivitásától függenek.

Példa nyolc projekt összehasonlítására. Nézzünk egy konkrét példát az imént megfogalmazott megközelítés alkalmazására. A cégvezetés utasítására nyolc, a társaság stratégiai fejlesztési tervébe beillesztendő projektet elemeztek. A következőképpen jelölték meg őket: D, L, M-K, B, G-B, Sol, Steph, K (a megfontolásra javasolt vezetők nevével). Valamennyi projektet az iroda Igazgatósága által kijelölt 12 szakértőhöz küldtük el. Az alábbi 1. táblázat a 12 szakértő mindegyike által hozzájuk rendelt nyolc projekt rangsorát mutatja be, a szakértők véleményének megfelelően, hogy célszerű-e a projektet beépíteni a cég stratégiai tervébe. Ebben az esetben a szakértő 1-es fokozatot ad magának a legjobb projekt, amelyet végre kell hajtani. A 2. helyezett kapja meg egy szakértőtől a második legvonzóbb projektet, végül a 8. helyezett a legkétségesebb projekt, amelyet csak utolsóként szabad megvalósítani). A szakértői munka eredményeit (azaz 1. táblázatot) elemezve az iroda igazgatósági tagjai kénytelenek voltak megállapítani, hogy nincs teljes egyetértés a szakértők között, ezért az 1. táblázatban szereplő adatokat alá kell vetni. alaposabb matematikai elemzés.

Asztal 1.

8 projekt rangsorolása a vállalat stratégiai fejlesztési tervébe való beilleszthetőség szempontjából

Jegyzet. A 4. számú szakértő úgy véli, hogy az MK és a B projektek egyenértékűek, de csak egyetlen projektnél - a Sol projektnél - rosszabbak. Ezért az M-K és B projektnek a második és harmadik helyen kell állnia, és 2. és 3. pontot kell kapnia. Mivel egyenlők, átlagos pontszámot (2 + 3) / 2 = 5/2 = 2,5 kapnak.

A rangok számtani átlagának módszere. Először az aritmetikai átlag rangok módszerét alkalmaztuk. Ehhez mindenekelőtt a projektekhez rendelt rangsorok összegét számoltuk ki (lásd 1. táblázat). Ezután ezt az összeget elosztottuk a szakértők számával, ennek eredményeként kiszámították a számtani átlag rangot (ez a művelet adta a módszer nevét). A végső rangsor az átlagos helyezéseken alapul (más szóhasználattal - rendezés), az elv alapján - minél alacsonyabb az átlagos rangsor, annál jobb a projekt.

A B projektnek a legalacsonyabb átlagos rangja 2,625, ami azt jelenti, hogy a végső rangsorban 1. helyezést kap. A következő legnagyobb összeg, 3,125 projekt M-K, - és ő kapja a végső rangot 2. Az L és a Sol projektek összege megegyezik (3,25-tel egyenlő), ami azt jelenti, hogy szakértői szempontból egyenértékűek (a szakértői vélemények összevonásának megfontolt módszerével) , ezért 3 és 4 helyen kell lenniük, és átlagos pontszámot (3 + 4) / 2 = 3,5 kell kapniuk. A további eredményeket az alábbi 2. táblázat mutatja. Tehát a rangok összege (vagy ami megegyezik, a rangok számtani átlaga) szerinti rangsorolás a következő:

B< М-К < {Л, Сол} < Д < Стеф < Г-Б < К. (3)

Itt van egy bejegyzés, mint „A<Б" означает, что проект А предшествует проекту Б (т.е. проект А лучше проекта Б). Поскольку проекты Л и Сол получили одинаковую сумму баллов, то по рассматриваемому методу они эквивалентны, а потому объединены в группу (в фигурных скобках). В терминологии математической статистики ранжировка (3) имеет одну связь.

2. táblázat.

Az 1. táblázatban szereplő adatokra a számtani átlagok és a mediánok módszerével végzett számítások eredményei.

Rangmediánok módszere. Tehát a számítások eredménye a rangsor (3), és ennek alapján kell döntést hozni? A modern ökonometriában leginkább járatos testületi tag azonban itt arra emlékezett, hogy a szakértők válaszait ordinális skálán mérték, ezért tilos az átlagolást az aritmetikai átlag módszerével végezni. A medián módszert kell használnunk. Mit jelent? Az egyik projekthez, például a D projekthez tartozó szakértők válaszait kell figyelembe venni. Ezek az 5, 5, 1, 6, 8, 5, 6, 5, 6, 5, 7, 1. nem csökkenő sorrendbe kell őket rendezni (egyszerűbb azt mondani, hogy "növekvő sorrendben", de mivel a válaszok egy része egybeesik, a szokatlan "nem csökkenő" kifejezést kell használnunk). A következő sorrendet kapjuk: 1, 1, 5, 5, 5, 5, 5, 6, 6, 6, 7, 8. A központi helyeken - a hatodik és a hetedik - 5 és 5 található. Ezért a medián: 5.

Az egyes projekteknek megfelelő 12 rangú populációk mediánjait a 2. táblázat utolsó előtti sora mutatja. (Ebben az esetben a mediánok kiszámítása a statisztika szokásos szabályai szerint történik - a variációs sorozat központi tagjainak számtani középértékeként.) A medián módszerrel történő végső rendezés a táblázat utolsó sorában látható. A mediánok szerinti rangsor (azaz a sorrend a szakértői bizottság végső véleménye) a következő:

B< {М-К, Л} < Сол < Д < Стеф < К <Г-Б. (4)

Mivel az L és az M-K projektek mediánpontjai megegyeznek, ezért a figyelembe vett rangsorolási módszer szerint egyenértékűek, ezért csoportba (klaszterbe) egyesülnek, pl. a matematikai statisztika szempontjából a (4) rangsornak egy kapcsolata van.

Rangsorok összehasonlítása a számtani átlag módszerével és a medián módszerrel. A (3) és (4) rangsor összehasonlítása megmutatja közelségüket (hasonlóságukat). Feltételezhető, hogy az M-K, L, Sol projektek M-K-ként vannak megrendelve< Л < Сол, но из-за погрешностей экспертных оценок в одном методе признаны равноценными проекты Л и Сол (ранжировка (3)), а в другом - проекты М-К и Л (ранжировка (4)). Существенным является только расхождение, касающееся упорядочения проектов К и Г-Б: в ранжировке (3) Г-Б < К, а в ранжировке (4), наоборот, К < Г-Б. Однако эти проекты - наименее привлекательные из восьми рассматриваемых, и при выборе наиболее привлекательных проектов для дальнейшего обсуждения и использования это расхождение не существенно.

A vizsgált példa bemutatja az aritmetikai átlagrangsorok módszerével és a mediánok módszerével kapott rangsorok hasonlóságát és különbségét, valamint ezek együttes használatának előnyeit.

3.4.6. Klaszteres rangsorok egyeztetési módszere

A probléma az, hogy a fürtözött rangsorok halmazából (statisztikai nyelven linkekkel ellátott rangsorok) egy általános, nem szigorú sorrendet kell kivonni. Ez a készlet több szakértő véleményét tükrözheti, vagy szakértők véleményének különböző módszerekkel történő feldolgozásával nyerhető. Javasolunk egy olyan módszert a klaszteres rangsorok koordinálására, amely lehetővé teszi az ellentmondások speciálisan felépített klaszterekbe (csoportokba) "terelését", miközben a klaszterek sorrendje minden eredeti sorrendnek megfelel. Különféle alkalmazási területeken szükségessé válik az objektumok több csoportosított rangsorának elemzése. E területek közé tartozik mindenekelőtt a mérnöki üzletág, a menedzsment, a közgazdaságtan, a szociológia, az ökológia, az előrejelzés, a tudományos-műszaki kutatás stb., különösen azok a részek, amelyek a szakértői értékelésekhez kapcsolódnak (lásd pl.). Az objektumok lehetnek termékminták, technológiák, matematikai modellek, projektek, pozícióra jelöltek stb. Klaszteres rangsorok készíthetők szakértői segítséggel és objektív módon is, például matematikai modellek összehasonlítása során kísérleti adatokkal. vagy más minőségi kritérium. Az alábbiakban ismertetett módszer a bioszféra kémiai biztonságának és a környezetbiztosítási problémáknak a kapcsán került kidolgozásra.

Tekintsünk egy módszert egy klaszteres rangsor felépítésére, amely konzisztens (az alábbiakban ismertetett értelemben) az összes figyelembe vett klaszteres rangsorral. Ebben az esetben úgy tűnik, hogy az egyes kezdeti rangsorok közötti ellentmondások az egyeztetett rangsor klasztereibe záródnak. Ennek eredményeként a klaszterek sorrendje tükrözi a szakértők általános véleményét, pontosabban azt az általánost, amelyet a kezdeti rangsorok tartalmaznak.

A klaszterek olyan objektumokat tartalmaznak, amelyekre az eredeti rangsorok egy része ellentmond egymás. Ezek egyszerűsítéséhez új kutatásokra van szükség. Ezek a vizsgálatok lehetnek formálisak és matematikai jellegűek is (például a kemenyi medián számítása, az átlagos rangok vagy mediánok szerinti rendezés stb.), és az érintett alkalmazott területről új információk bevonását, esetleg további tudományos vagy alkalmazott munkát igényelnek.

Vezessük be a szükséges fogalmakat, majd fogalmazzunk meg egy algoritmust a klaszteres rangsorok általános formában történő párosítására, és vegyük figyelembe annak tulajdonságait.

Legyen véges számú objektum, amelyet a bemutatás egyszerűsége érdekében 1,2,3, ..., k természetes számokkal fogunk ábrázolni, és "támasznak" nevezzük. Egy adott hordozón meghatározott klaszteres rangsor alatt a következő matematikai konstrukciót értjük... Osszuk az objektumokat csoportokra, amelyeket klasztereknek nevezünk. Egy klaszterben egy elem lehet. Az egy klaszterben lévő objektumok kapcsos zárójelek közé lesznek zárva. Például az 1,2,3, ..., 10 objektumok 7 klaszterre oszthatók: (1), (2,3), (4), (5,6,7), (8), (9) ), (10). Ebben a partícióban az egyik klaszter (5,6,7) három elemet tartalmaz, a másik - (2,3) - kettőt, a másik öt - egy-egy elemet. A klaszterek nem rendelkeznek közös elemekkel, és egyesülésük (halmazként) a vizsgált objektumok teljes halmaza.

A klaszteres rangsor második összetevője a klaszterek közötti szigorú lineáris rendezés.... Be van állítva, hogy melyik az első, melyik a második stb. A jelzéssel történő rendelést képviseljük< . При этом кластеры, состоящие из одного элемента, будем для простоты изображать без фигурных скобок. Тогда кластеризованную ранжировку на основе введенных выше кластеров можно изобразить так: А = [ 1 < {2,3} < 4 < {5,6,7} < 8 < 9 < 10 ]. Конкретные кластеризованные ранжировки будем заключать в квадратные скобки. Если для простоты речи термин "кластер" применять только к кластеру не менее чем из 2-х элементов, то можно сказать, что в кластеризованную ранжировку А входят два кластера {2,3} и {5,6,7} и 5 отдельных элементов.

A leírt módon bevezetett klaszterezett rangsor egy bináris reláció az (1,2,3, ..., 10) halmazon. Felépítése a következő. Egy 7 ekvivalenciaosztályú ekvivalenciarelációt adunk meg, nevezetesen (2,3), (5,6,7), a többi pedig a maradék 5 különálló elemből áll. Ezután szigorú lineáris sorrendet vezettek be az ekvivalencia osztályok között. A bevezetett matematikai objektum a szakirodalomban ún "rangsor linkekkel"(M. Hollender, D. Wolfe), "megrendelés"(Kemény J., Snell J.), "kvázi sorozat"(B.G. Mirkin), "tökéletes kvázi rend"(Yu.A. Shreider). A terminológia következetlensége miatt bevezettük a kifejezést "csoportos rangsor" mivel kifejezetten megnevezi a vizsgált matematikai objektum fő elemeit - klasztereket, amelyeket a rangsorok egyeztetésének szakaszában ekvivalenciaosztályoknak tekintünk, és a rangsor szigorú tökéletes sorrendet jelent közöttük (terminológiában).

A következő fontos fogalom az következetlenség... Ez egy négy - két csoportosított rangsor ugyanazon a médiumon és két különböző objektum - ugyanannak a médiumnak az elemeihez van meghatározva. Ebben az esetben egy klaszter két elemét az = egyenlőség szimbólum kapcsolja össze, mint egyenértékű.

Legyen A és B két klaszteres rangsor. Egy objektumpárt (a, b) "inkonzisztensnek" nevezünk A és B vonatkozásában, ha ez a két elem A-ban és B-ben eltérően van elrendezve, azaz. a< b в А и a >b a B-ben (az inkonzisztencia első változata) vagy a> b az A-ban és a-ban< b в В (второй вариант противоречивости). Vegye figyelembe, hogy ennek a definíciónak megfelelően egy pár objektum (a, b), egyenértékű legalább egy klaszteres rangsorban nem lehet következetlen: a = b egyikkel sem képez "ellentmondást". a< b sem azzal a > b.

Példaként vegyünk két csoportosított rangsort B = [(1,2)< { 3,4, 5} < 6 < 7 < 9 < {8, 10}], C = . A két A és B csoportosított rangsor ellentmondó tárgypárjainak halmazát az „ellentmondások magjának” nevezzük, és S (A, B) jelöli. A három csoportosított A, B és C rangsor esetében, amelyeket a fenti példaként tekintünk, és amelyeket ugyanazon a vivőn (1, 2, 3, ..., 10) határoztunk meg, S (A, B) = [(8, 9) ] , S (A, C) = [(1, 3), (2, 4)], S (B, C) = [(1, 3), (2, 3), (2, 4), ( 5 , 6), (8.9)]. A kernel kézi és programozott megkeresésével is átnézhetünk (1,2), (1,3), (1., 4), ...., (1, k) párok között ütköző párok keresésére, majd (2, 3), (2,4), ..., (2, k), majd (3,4), ..., (3, k) stb., egészen (k-1, k).

A diszkrét matematika fogalmait használva ábrázolható az "ellentmondások magja" számol csúcsokkal a hordozó pontjain. Ahol ellentmondó párok határozzák meg ennek a gráfnak az éleit. Az S (A, B) gráfnak csak egy éle van (egy összefüggő komponens több pontból), S (A, C) esetén 2 él (két összekapcsolt komponens több mint egy pontból), S (B, C ) - 5 él (három összekapcsolt komponens egynél több pontból (1, 2, 3, 4), (5, 6) és (8, 9)).

Minden klaszterezett rangsor, mint minden bináris reláció, megadható a || mátrixszal x (a, b)|| 0 és 1 rendeléstől k x k... Ahol x (a, b)= 1 akkor és csak akkor a< b vagy a = b... Az első esetben x (b, a)= 0, és a másodikban x (b, a) x (a, b)és x (b, a) egyenlő 1-gyel. Az (a, b) pár inkonzisztenciájának definíciójából az következik, hogy az összes ilyen pár megtalálásához elegendő két mátrixot megszorozni || x (a, b) || és || y (a, b) || két csoportosított rangsornak megfelelően, és válassza ki azokat és csak azokat a párokat, amelyekre x (a, b) y (a, b) = x (b, a) y (b, a) ) = 0.

A bizonyos számú klaszterezett rangsor egyeztetésére javasolt algoritmus három szakaszból áll. Az elsőn szembetűnő párok objektumok a csoportosított rangsor összes párjában. A másodikon a végső klaszterezett rangsor klaszterei jönnek létre (azaz ekvivalencia osztályok - gráfok összefüggő összetevői ami megfelel a páronkénti ellentmondásmagok uniójának). A harmadik szakaszban ezek klaszterek (ekvivalencia osztályok) vannak rendezve... A klaszterek közötti sorrend megállapításához egy objektumot tetszőlegesen kiválasztunk az első klaszterből, a másodikat pedig a másodikból, a klaszterek közötti sorrendet ugyanannak adjuk meg, mint a kiválasztott objektumok között bármelyik figyelembe vett klaszteres rangsorban. Az ilyen sorrend helyessége, i.e. függetlensége egy adott tárgypár kiválasztásától a cikkben bizonyított megfelelő tételekből következik. Az egyező fürtözött rangsorok különböző klasztereiből származó két elem ekvivalens lehet az eredeti fürtözött rangsorok egyikében (azaz ugyanabban a klaszterben lehet). Ebben az esetben figyelembe kell venni ezen objektumok sorrendjét az eredeti klaszteres rangsorok valamelyikében. Ha az összes kezdeti klaszteres rangsorban a két vizsgált objektum ugyanabban a klaszterben volt, akkor természetes az a feltételezés (és ez az algoritmus 3. szakaszának finomítása), hogy ugyanabban a klaszterben és az illeszkedésben vannak. klaszteres rangsor.

Az A, B, C, ... klaszterezett rangsorok egyeztetésének eredményét f (A, B, C, ...) jelöljük. Ekkor f (A, B) =, f (A, C) = [(1,3)<{2, 4}<5<6<7<8<9<10], f(В, С) = [{1,2,3,4}<{5,6}<7<{8,9}<10], f(А, В, С) = f(В, С) = [{1,2,3,4} <{5,6}<7<{8, 9}<10]. В случае f(А, В) дополнительного изучения с целью упорядочения требуют только объекты 8 и 9. В случае f(В, С) объекты 1,2,3,4 объединились в один кластер, т.е. кластеризованные ранжировки оказались настолько противоречивыми, что процедура согласования не позволила провести достаточно полную декомпозицию задачи нахождения итогового мнения экспертов.

Nézzük meg az illesztési algoritmusok néhány tulajdonságát. Legyen D = f (A, B, C, ...). Ha egy a klaszterezett rangsorok halmazának ellentmondási magja az ilyen magok egyesülése az összes vizsgált rangsorpárra... A konzisztens fürtözött rangsorok létrehozásának célja az általános sorrend kiemelése az eredeti fürtözött rangsorban. Ez azonban elveszítheti az eredeti klaszteres rangsor általános tulajdonságait. Tehát a fentebb vizsgált B és C rangsor egyeztetésekor nem volt ellentmondás az 1. és 2. elemek sorrendjében - a B rangsorban ezek az objektumok ugyanabba a klaszterbe kerültek, pl. 1 = 2, míg 1<2 в кластеризованной ранжировке С. Значит, при их отдельном рассмотрении можно принять упорядочение 1 < 2. Однако в f(В,C) они попали в один кластер, т.е. возможность их упорядочения исчезла. Это связано с поведением объекта 3, который "перескочил" в С на первое место и "увлек с собой в противоречие" пару (1, 2), образовав противоречивые пары и с 1, и с 2. Другими словами, связная компонента графа, соответствующего ядру противоречий, сама по себе не всегда является полным графом. Недостающие ребра при этом соответствуют парам типа (1, 2), которые сами по себе не являются противоречивыми, но "увлекаются в противоречие" другими парами.

A klaszteres rangsorok egyeztetésének szükségessége különösen a szakértői értékelések alkalmazásának módszertanának kidolgozásakor merül fel a bioszféra környezetbiztosítási és kémiai biztonságának problémáiban. Mint már említettük, népszerű az átlagos rangsorolás módszere, amelyben a végső rangsort az egyes szakértők által felállított számtani középrangsorok alapján építik fel. A méréselméletből azonban ismert, hogy nem számtani átlagokat, hanem mediánokat érdemes használni. Ugyanakkor az átlagos rangok módszere nagyon ismert és széles körben alkalmazott, ezért nem célszerű egyszerűen elvetni. Ezért úgy döntöttek, hogy mindkét módszert egyszerre alkalmazzák. Ennek a megoldásnak a megvalósítása szükségessé tette a két meghatározott klaszteres rangsor párosítási módszertanának kidolgozását.

A klaszteres rangsorok egyeztetésének megfontolt módszere szerint épül fel a fenntarthatóság elméletének módszertana, mely szerint a feldolgozási mód tekintetében invariáns adatfeldolgozás eredménye a valóságnak felel meg, a feldolgozási módtól függő számítások eredménye pedig a kutató szubjektivitását, nem pedig objektív összefüggéseket tükröz.

3.4.7. Szakértői értékelések elemzésének matematikai módszerei

A szakértők véleményének elemzésekor a statisztikai módszerek széles skáláját használhatja, ezek leírása az összes alkalmazott statisztika leírását jelenti. Mindazonáltal ki lehet emelni a szakértői értékelések matematikai feldolgozásának jelenleg széles körben alkalmazott főbb módszereit - ezek a szakértői vélemények konzisztenciájának ellenőrzése (illetve a szakértők besorolása, ha nincs konzisztencia) és a szakértői vélemény átlagolása egyeztetett csoport.

Mivel egy szakértői felmérés számos eljárásában a szakértők válaszai nem számok, hanem olyan nem numerikus jellegű objektumok, mint a minőségi jellemzők fokozatai, rangsorok, partíciók, páros összehasonlítások eredményei, fuzzy preferenciák stb., a statisztika módszerei A nem numerikus objektumok hasznosak elemzésükhöz. ...

Miért nem számszerűek a szakértői válaszok? A leggyakoribb válasz az, hogy az emberek nem számokban gondolkodnak. Az emberi gondolkodásban képeket, szavakat használnak, de nem számokat. Ezért számok formájában választ követelni egy szakértőtől, megerőszakolni az elméjét. A vállalkozók még a közgazdaságtanban is csak részben támaszkodnak a numerikus számításokra a döntéseik során. Ez jól látható a feltételes (azaz önkényesen elfogadott, általában utasítás formájában kiadott megállapodásokkal meghatározott), a mérleg szerinti eredmény jellegéből, az értékcsökkenési leírásból és egyéb gazdasági mutatókból. Ezért egy olyan kifejezésnek, mint „a cég a profit maximalizálására törekszik”, nem lehet szigorúan meghatározott jelentése. Elég csak megkérdezni: "Profitmaximalizálás - milyen időszak alatt?" És azonnal kiderül, hogy a meghozott döntések optimálisságának foka a tervezési horizonttól függ (közgazdasági és matematikai szinten a monográfia tárgyalja ezt a témát).

A szakértő összehasonlíthat két tárgyat, megmondhatja, melyik a jobb (a páros összehasonlítás módszere), értékelheti őket, mint "jó", "elfogadható", "rossz", több tárgyat vonzerő szerint rendezhet, de általában nem tudja megválaszolni, hogyan sokszor vagy mennyivel jobb az egyik tárgy a másiknál. Más szóval, a szakértő válaszait általában egy sorszámskálán mérik, vagy rangsorok, páronkénti összehasonlítások és egyéb nem numerikus objektumok, de nem számok. Elterjedt tévhit, hogy a szakértők a szakértők válaszait próbálják számoknak tekinteni, véleményük "digitalizálásával" foglalkoznak, ezeknek a véleményeknek számértékeket - pontokat - rendelnek, amelyeket az alkalmazott statisztikai módszerekkel dolgoznak fel eredményként. közönséges fizikai és műszaki mérések. A „digitalizálás” önkényessége esetén előfordulhat, hogy az adatfeldolgozás eredményeként levont következtetések nem felelnek meg a valóságnak.

A szakértői vélemények összhangjának ellenőrzése, a szakértői vélemények osztályozása. Nyilvánvaló, hogy a különböző szakértők véleménye eltérő. Fontos megérteni, milyen nagy ez a különbség. Ha ez nem elég, a szakértők véleményének átlagolása lehetővé teszi számunkra, hogy kiemeljük, mi a közös minden szakértőben, elvetve az egyik vagy másik irányú véletlenszerű eltéréseket. Ha nagy, az átlagolás pusztán formális eljárás. Tehát, ha azt képzeljük, hogy a szakértők válaszai egyenletesen fedik le a fánk felületét, akkor a formális átlagolás a fánklyuk közepére mutat, és ezt a véleményt egyetlen szakértő sem osztja. Az elmondottakból egyértelműen kitűnik a szakértői vélemények konzisztenciájának ellenőrzésének problémája.

Számos módszert fejlesztettek ki az ilyen ellenőrzésre. A konzisztencia ellenőrzésének statisztikai módszerei a szakértői válaszok matematikai természetétől függenek. A megfelelő statisztikai elméletek meglehetősen bonyolultak, ha a válaszok rangsorok vagy bontások, és elég egyszerűek, ha a válaszok független páronkénti összehasonlítások. Ezért a szakértői felmérés megszervezésére a következő javaslat: ne próbáljon azonnal rangsorolást vagy bontást kérni egy szakértőtől, ezt nehéz megtennie, és a rendelkezésre álló matematikai módszerek sem engedik, hogy messzire menjen az elemzésben. az ilyen adatokról. Például ajánlatos a rangsorok konzisztenciáját a Kendall-Smith rangegyezési tényező segítségével ellenőrizni. De ne feledjük, milyen statisztikai modellt használunk ebben az esetben. A nullhipotézist teszteljük, amely szerint a rangsorok függetlenek és egyenletesen oszlanak el az összes rangsor halmazában. Ha ezt a hipotézist elfogadjuk, akkor természetesen nem beszélhetünk a szakértői vélemények konzisztenciájáról. És ha eltér? Te sem tudod. Például lehet két (vagy több) központ, amelyek köré csoportosulnak a szakértői válaszok. A nullhipotézist elvetik. De tényleg lehet következetességről beszélni?

A szakértő számára sokkal könnyebb, hogy minden lépésnél csak két tárgyat hasonlítson össze. Hadd végezzen páros összehasonlítást. A páronkénti összehasonlítások nem-parametrikus elmélete (Lucian-elmélet) bonyolultabb problémák megoldását teszi lehetővé, mint a rangsorok vagy partíciók statisztikái. Konkrétan az egyenletes eloszlási hipotézis helyett jöhet szóba a homogenitási hipotézis, i.e. Az összes megoszlás egy fix (egységes) egybeesése helyett csak a szakértői vélemények egymás közötti megoszlásának egybeesését lehet ellenőrizni, amit természetesen véleményük konzisztenciájaként értelmezhetünk. Így meg lehet szabadulni az egységesség természetellenes feltételezésétől.

A szakértők egyetértésének hiányában természetes, hogy hasonló véleményű csoportokra osztják őket. Ez a klaszteranalízishez kapcsolódó, nem numerikus objektumok statisztikai módszereivel valósítható meg úgy, hogy először a mérőszámot bevezetjük a szakértői vélemények terébe. John Kemeny amerikai matematikus ötlete a metrikák axiomatikus bevezetéséről (lásd alább) számos utódra talált. A klaszterelemzési módszerek azonban általában heurisztikusak. Különösen a statisztikai elmélet szempontjából lehetetlen alátámasztani két klaszter egyesítésének "jogosságát". Van egy fontos kivétel - független páronkénti összehasonlításhoz (lucians) olyan módszereket fejlesztettek ki, amelyek lehetővé teszik a klaszterek kombinálásának lehetőségét statisztikai hipotézisként.... Ez egy másik érv amellett, hogy a Lucian-elméletet a matematikai szakértői értékelési technikák magjaként tekintsük.

A szakértői bizottság végső véleményének megkeresése. A szakértői bizottság véleményét vagy annak egy részét a megállapodás szerint ismerjék el. Mi a bizottság végső (átlagos, általános) véleménye? Kemény János elképzelése szerint megoldásként az átlagos véleményt kellene keresni optimalizációs probléma... Ugyanis minimálisra kell csökkenteni a teljes távolságot az átlagos jelölttől a szakértői véleményekig. Az így talált átlagos véleményt "kemenyi mediánnak" nevezik.

A matematikai nehézség abban rejlik, hogy a szakértők véleménye a nem numerikus jellegű objektumok egy bizonyos terében rejlik. Az ilyen átlagolás általános elméletét számos műben felépítették, különösen azt mutatták be, hogy a nagy számok törvényének általánosítása miatt az átlagos vélemény a szakértők számának növekedésével (akiknek véleménye független, ill. egyenlő eloszlású) közelít egy bizonyos határértékhez, amelyet természetesen ún matematikai elvárás(a szakértői válaszokkal azonos eloszlású véletlenszerű elem).

A nem numerikus szakértői vélemények meghatározott tereiben a kemenyi medián kiszámítása meglehetősen nehézkes lehet. A tér tulajdonságain túl nagy szerepe van a konkrét mérőszámoknak. A rangsorok térben tehát a Kendall-rangkorrelációs együtthatóhoz tartozó metrika használatakor meglehetősen összetett számításokat kell végezni, míg a Spearman-féle rangkorrelációs együtthatóra épülő különbségmutató használata átlagos rangok szerinti rendezést eredményez.

Bináris kapcsolatok és Kemeny távolság. Mint tudod, a bináris reláció A véges halmazon Q = (q 1, q 2, ..., q k) részhalmaza derékszögű tér Q 2 = ((q m, q n), m, n = 1,2, ..., k)... Ebben az esetben a pár (q m, q n) benne van A akkor és csak akkor, ha között q més q n ott van a szóban forgó kapcsolat. Minden klaszterezett rangsor, mint minden bináris reláció, megadható a || mátrixszal x (a, b)|| 0 és 1 rendeléstől k x k... Ahol x (a, b)= 1 akkor és csak akkor a< b vagy a = b... Az első esetben x (b, a)= 0, és a másodikban x (b, a)= 1. Sőt, a számok közül legalább az egyik x (a, b)és x (b, a) egyenlő 1-gyel.

Hogyan használjuk a rangsorok és a mátrixok közötti kapcsolatot? Például a pár inkonzisztenciájának definíciójából (a, b)(lásd fent a méréselméletről szóló bekezdést) ebből következik, hogy az összes ilyen pár megtalálásához a rangsornak megfelelő mátrixokat használhatjuk. Elegendő két mátrixot elemenként megszorozni || x (a, b)|| és || y (a, b)|| két csoportosított rangsornak megfelelő, és válassza ki azokat, és csak azokat a párokat, amelyekhez x (a, b) y (a, b) = x (b, a) y (b, a) = 0.

A szakértői módszerek különösen olyan bináris relációkat használnak, mint a rangsorok (sorrendek vagy csoportokra bontás, amelyek között szigorú sorrend van), ekvivalencia, tolerancia (hasonlósági viszonyok). A fentiekből következően minden bináris reláció A mátrixszal írható le || a (i, j)|| 0-tól és 1-től, és a (i, j)= 1 akkor és csak akkor q iés q j kapcsolatban vannak A, és a (i, j)= 0 egyébként.

Meghatározás. Kemeny távolság A és B bináris relációk között, amelyeket mátrixok írnak le || a (i, j)|| és || b (i, j) || rendre a D számot hívjuk (A, B) = ∑ │a (i, j) - b (i, j) │, ahol az összegzést az összes i, j 1-től k-ig végezzük, azok. Kemeny távolsága a bináris relációk között egyenlő a hozzájuk tartozó mátrixok azonos helyén álló elemek különbségeinek abszolút értékeinek összegével.

Könnyen belátható, hogy a Kemeny-távolság a mátrixok nem egybeeső elemeinek száma || a (i, j)|| és || b (i, j)|| A Kemeny távolság egy bizonyos axiómarendszeren alapul. Ezt az axiómarendszert és a sorrendek közötti kemenyi távolság képletének ebből a levezetését egy olyan könyv tartalmazza, amely nagy szerepet játszott hazánkban olyan tudományos irányzat kialakításában, mint a nem numerikus információk elemzése. Később Kemeny hatására különféle axiómarendszereket javasoltak bizonyos társadalmi-gazdasági kutatásokhoz szükséges terekben, például halmazterekben, távolságok meghatározására.

Kemény mediánja és a nagy számok törvényei. A kemenyi távolságot egy szakértői bizottság végső véleményének megállapítására használják. Hadd A 1, A 2, A 3, ..., A p- p szakértők válaszai, bináris relációk formájában bemutatva. Átlagolásukra az ún. medián Kemeny Arg min ∑ D (A i, A), ahol Arg min ez vagy azok az értékek A amelynél a Kemeny-féle távolságok meghatározott összege a szakértők válaszaitól az aktuális változóra eléri a minimumot A, amely mentén a minimalizálás történik. Így ∑ D (A i, A) = D (A 1, A) + D (A 2, A) + D (A 3, A) +… +D (Ap, A)... A kemenyi medián mellett használd Kemeny átlag, amelyben ahelyett D (A i, A) költségeket D 2 (A i, A)... A kemenyi medián az empirikus átlag meghatározásának speciális esete nem numerikus jellegű terekben. Érvényes rá a nagy számok törvénye, i.e. az empirikus átlag a komponensek számának növekedésével közelít (pl. R- a tagok száma az összegben), az elméleti átlaghoz: Arg min ∑ D (A i, A)→ Arg min М D (A 1, A)... Itt M a matematikai elvárás szimbóluma. A válaszok Állítólag R szakértők A 1, A 2, A 3, ..., A p van okuk független, azonos eloszlású véletlen elemnek (azaz véletlen mintának) tekinteni a megfelelő tetszőleges természetű térben, például a rendezések vagy az ekvivalencia relációk terében. A szisztematikusan empirikus és elméleti eszközöket és a nagy számok megfelelő törvényeit számos mű tanulmányozta (lásd például).

A nagy számok törvényei először is azt mutatják, hogy a kemenyi medián rendelkezik fenntarthatóság a szakértői bizottság összetételének csekély változása kapcsán; másodsorban a szakértők számának növekedésével azt közelít egy bizonyos határt. Természetes, hogy úgy tekintjük igaz vélemény szakértők, amelyektől véletlenszerű okokból mindegyikük eltért valamelyest. Az itt tárgyalt nagy számok törvénye a statisztikában ismert "klasszikus" nagy számok törvényének általánosítása. Más matematikai alapokon – az optimalizációs elméleten – alapul, míg a nagy számok „klasszikus” törvénye az összegzést használja. Rendezések és egyéb bináris kapcsolatok nem adhatók hozzá, ezért más matematikai módszereket kell alkalmazni. A Kemeny-medián kiszámítása egészszámú programozási probléma. Ennek megtalálásához a diszkrét matematika különféle algoritmusait használják, különösen az elágazás és a kötött módszer alapján. Véletlenszerű keresésen alapuló algoritmusokat is használnak, mivel minden bináris relációhoz könnyű megtalálni a szomszédok halmazát.

3. táblázat.

Páronkénti távolságmátrix

Tekintsünk egy példát a kemenyi medián kiszámítására. Legyen megadva egy négyzetes mátrix (9-es nagyságrendű) páronkénti távolságok 9 elemű bináris relációk halmazához A 1, A 2, A 3, ..., A 9(lásd a 3. táblázatot). Meg kell találni ebben a készletben középső 5 elemből álló halmazhoz ( A 2, A 4, A 5, A 8, A 9}.

A kemenyi medián definíciónak megfelelően a függvény

VAL VEL(A) = ∑ D (A i, A) = D (A 2, A) + D (A 4, A) + D (A 5, A) + D (A 8, A) + D (A 9, A),

számítsa ki az értékeit mindenkinek A 1, A 2, A 3, ..., A 9és válassza ki a legkisebbet. Végezzük el a számításokat: C (A 1) = 24, C (A 2) = 13, C (A 3) = 21, C (A 4) = 27, C (A 5) = 16, C (A 6) = 23, C ( A 7) = 15, C (A 8) = 25, C (A 9) = 25. Az összes kiszámított összeg közül a legkisebb a 13, és eléri A = A 2, ezért Kemeny mediánja az A 2.

A szakértői módszereket a menedzsment különböző területein sikeresen alkalmazzák konkrét problémák megoldásában.

Irodalom

1. Orlov A.I. Szakértői értékelések // Gyári laboratórium. 1996. 62. évf. No. 1. P.54-60.
2. Gorsky V.G., Orlov A.I., Gritsenko A.A. A fürtözött rangsorok egyeztetésének módszere // Automatizálás és távvezérlés. 2000. 3. sz. S. 159-167.
3. Shreider Yu.A. Egyenlõség, hasonlóság, rend. Moszkva: Nauka, 1971.
4. Orlov A.I. Fenntarthatóság a társadalmi-gazdasági modellekben. - M .: Nauka, 1979 .-- 296 p.
5. Menedzsment. Oktatóanyag. / Szerk. J.V. Prokofjeva. - M .: Tudás, 2000 .-- 288 p.
6. Orlov A.I. Modern alkalmazott statisztika // Gyári laboratórium. 1998. T. 64. No. 3. P.52-60.
7. Kemeny J., Snell J. Kibernetikai modellezés: Néhány alkalmazás. - M .: Szovjet rádió, 1972 .-- 192 p.
8. Orlov A.I. Ökonometria. Tankönyv. - M .: "Exam" kiadó, 2003. - 576 p.
9. Orlov A.I., Fedoseev V.N. Menedzsment a technoszférában. - M .: Akadémia, 2003.-404 p.

Tesztkérdések és feladatok

1. Miért szükséges műszaki, szervezési, gazdasági, környezetvédelmi és egyéb problémák megoldásában szakértői értékelések alkalmazása?
2. A szakértői kutatás mely szakaszait különbözteti meg a menedzser - egy ilyen kutatás szervezője?
3. Milyen szempontok alapján sorolják be a szakértői kutatások szervezésének különböző lehetőségeit?
4. Mi a disszidensek szerepe a különféle szakértelemben?
5. Milyen válaszokat adhatnak a szakértők?
6. Miben különbözik az aritmetikai átlag rangmódszer a rangmedián módszertől?
7. Miért van szükség a klaszteres rangsorok egyeztetésére, és hogyan történik ez?
8. Mi a probléma a szakértői válaszok konzisztenciájával?
9. Hogyan használják a bináris relációkat a vizsgálatok során?
10. Hogyan írhatók le a bináris relációk 0 és 1 mátrixaival?
11. Mi a Kemény-távolság és a Kemény-medián?
12. Miben különbözik a Kemeny-féle nagy számok törvénye a kemenyi mediánhoz a statisztikában ismert "klasszikus" nagy számok törvényétől?
13. Táblázat A 4. ábrán 7 szakértő által bemutatott 7 beruházási projekt megrendelése látható.

4. táblázat.

Projektek szervezése szakértők által

Szakértők	Megrendelések
	1 < {2,3} < 4 < 5 < {6,7}
	{1,3} < 4 < 2< 5< 7 < 6
	1 < 4 < 2 < 3 < 6 < 5 < 7
	1 < {2, 4} < 3 < 5 < 7 <6
	2 < 3 < 4 < 5 <1 <6 <7
	1 < 3 < 2 < 5 < 6 < 7 < 4
	1 < 5 < 3 < 4 < 2 < 6 < 7

a) a végső rendezés átlagos aritmetikai rangokkal;

b) a végső sorrend a rangok mediánja szerint;

c) egy csoportosított rangsor, amely megfelel ennek a két sorrendnek.

14. Írja fel a bináris relációnak megfelelő 0 és 1 mátrixot (klaszteres rangsor) 5< {1, 3} < 4 < 2 < {6, 7}.

15. Határozza meg a Kemeny-távolságot a bináris relációk között - az A = és B = rendezések között!

16. A 9 elemű A 1, A 2, A 3, ..., A 9 bináris relációk halmazához páronkénti távolságok (különbségmértékek) négyzetes mátrixát adjuk meg (9. rendű) (5. táblázat). Keresse meg ebben a halmazban egy 5 elemből álló halmaz mediánját (A 2, A 3, A 5, A 6, A 9).

5. táblázat.

Páronkénti távolságok a bináris relációk között

A riportok és absztraktok témái

1. A szakértői módszerek szerepe a menedzsmentben.
2. Különféle szakértői kutatások szervezése.
3. A szakértői munka teljes és részmunkaidős lehetőségeinek összehasonlítása.
4. Az átlagpontszám módszerei.
5. Klaszteres rangsorok egyeztetése.
6. A Lucians-elmélet módszerei szakértői értékelésekben.
7. Szakértői vélemények osztályozása és konzisztencia ellenőrzése.
8. A luciánok alkalmazása a szakértői értékelések elméletében és gyakorlatában.
9. A szakértői bizottság végső véleményének kialakítása.
10. Kemény távolság és Kemény medián szakértői becslésekben.
11. A nagy számok törvényei nem numerikus terekben.

Előző

Kvalimetriában a szakértői módszert használják:

1) minőségi mutatók mérése;

2) a súlytényezők értékének meghatározása.

Ez azonban nem csak a minőséghez tartozik. A szakértői módszert alkalmazzák még a fizikai mennyiségek mérésében, az orvostudományban (tanácsok), a művészetben (zsűri), a társadalmi-politikai szférában (népszavazás), az állami és gazdasági irányításban (kollegialitás). De ezt a mérési módszert pontosan a minőségi szükségletek helyezték szigorú tudományos alapokra.

A szakértői módszer alkalmazása a céloktól és célkitűzésektől függetlenül az alábbi feltételek betartását feltételezi:

szakértői értékelést csak akkor kell elvégezni, ha a probléma megoldására nem lehet objektívebb módszereket alkalmazni;

nem lehet jelen a szakértői bizottság munkájában. Olyan tényezők, amelyek befolyásolhatják a szakértői ítéletek őszinteségét; a szakértői véleményeknek függetleneknek kell lenniük;

a szakértőknek feltett kérdéseket nem szabad eltérően értelmezni;

a szakértőknek hozzáértőnek kell lenniük a megoldandó kérdésekben;

a szakértők számának optimálisnak kell lennie;

a szakértők válaszainak egyértelműnek kell lenniük, és lehetőséget kell biztosítaniuk a matematikai feldolgozásra.

A szakértői bizottság minőségi összetétele fontos feltétele a szakértői módszer eredményességének. Nyilvánvaló, hogy a vizsgálatot kivétel nélkül minden esetben hozzáértő, magasan képzett, a vizsgált kérdésekben teljes körűen hozzáértő és kellően tapasztalt szakembereknek kell elvégezniük. Speciális előképzettségük nagyon hasznos, oktatásuk pedig feltétlenül szükséges. A szakértői csoport kialakításának végső szakaszában célszerű tesztelést, önértékelést, a szakértők kölcsönös értékelését, megbízhatóságuk elemzését és a vélemények konzisztenciájának ellenőrzését végezni.

Tesztelés a problémák szakértők általi, a valódihoz hasonló megoldásából áll, ismert (de nem szakértői) válaszokkal. A vizsgálati eredmények alapján megállapítják a szakértők kompetenciáját és szakmai alkalmasságát.

Önbecsülés A szakértők egy-egy speciálisan összeállított kérdőív kérdéseire szigorúan korlátozott időn belüli válaszadásból állnak, melynek eredményeként szakmai tudásukat és üzleti kvalitásaikat gyorsan és egyszerűen saját maguk is ellenőrizhetik. Értékelésüket minden szakértő pontrendszerben adja meg. Az ilyen értékelés szubjektivitása ellenére a tapasztalat azt mutatja, hogy a magas önbecsülési arányú szakértői csoportok kisebb valószínűséggel követnek el hibákat.

Nagyon tájékoztató jellegű szakértők egymás kölcsönös értékelése(pontrendszeren is). Ehhez természetesen tapasztalattal kell rendelkezniük a közös munkában.

Amennyiben a szakértő más szakértői csoportokban végzett munkájának eredményéről van információ, a képesítésének kritériuma lehet indikátor vagy megbízhatósági fok- azon esetek számának aránya, amelyekben a szakértői vélemény egybeesett a vizsgálat eredményével, azon vizsgálatok számához viszonyítva, amelyekben részt vett. Ennek a megközelítésnek a alkalmazása a szakértők kiválasztásánál nagy mennyiségű információ felhalmozását, elemzését követeli meg, de lehetőséget ad a szakértői csoportok minőségi összetételének folyamatos javítására.

Minden szakértő megad egy-egy referenciaértéket, amely a metrológia alapállása szerint véletlenszám. A további intézkedések eljárását és szabályait a Ch. 2. A szakértői módszerrel végzett egyszeri mérés különösen nagy mennyiségű előzetes információ felhasználását teszi szükségessé. A vizuális topográfiai felméréseknél például nagy jelentősége van a szakértő szemének, amikor esztétikai minőségi mutatókat, művészi ízlését, stb. mérik. Ugyanazon fizikai (vagy más) állandó méretű fizikai (vagy egyéb) mennyiség többszöri mérése, minőségi mutató is lehetséges. utólagos kísérleti adatok időbeli átlagolásával (ha a mérést egy szakértő végzi) vagy egy halmazra (ha a mérést több szakértő végzi egyidejűleg) rendszerezni kell. Az első módszert ritkán alkalmazzák, mivel a szakértő szubjektív jellemzői ebben az esetben tartós tényezőkként lépnek fel, amelyeket nehéz kizárni, kompenzálni vagy figyelembe venni. A második módszerben véletlenszerűen működnek, és a halmaz átlagolásakor kiegyenlítődnek. A szakértői csoport által leolvasott értéket egyéni értékeinek halmaza vagy a valószínűség-eloszlás törvénye képviseli. A nagyszámú különálló három szigma leolvasással a hibás minták könnyen azonosíthatók és kijavíthatók. Ha a számolás megfelel a valószínűségi eloszlás normál törvényének, akkor a szakértők számának számtani átlaga n> 30 ... 40 is engedelmeskedik a normáltörvénynek, kisebb számmal pedig a Student-féle valószínűségi eloszlás törvényének. A mért érték vagy minőségi mutató lehetséges értékeinek intervallumát a számtani átlag közelében a kiválasztott megbízhatósági szint mellett a 2. ábrán látható grafikonok szerint állítjuk be. 38.

A szakértők kiválasztásánál nagy figyelmet fordítanak következetesség az övék vélemények, amelyet a minta varianciájának torzított vagy torzítatlan becslése jellemez. Ennek érdekében a szakértői csoport megalakításának szakaszában ellenőrző méréseket végeznek az eredmények matematikai feldolgozásával. Gyakran ilyenkor nem egy, hanem több mérési objektumot használnak egyszerre, amelyeket értéküktől vagy minőségüktől függően sorrendi skálán kell elhelyezni, pl. meghatározzák a rangjukat, mert a sorrendi skálán történő mérést rangsorolásnak nevezzük. Ebben az esetben az ún konkordancia együtthatója.

ahol S - az egyes vizsgálati tárgyak rangsorai összege eltéréseinek négyzeteinek összege a rangok számtani átlagától; P- a szakértők száma; m - a szakértelem tárgyainak száma. A szakértői vélemények egyetértésének mértékétől függően az egyezési együttható 0-tól (egyetértés hiányában) 1-ig (teljes egyhangúság esetén) értéket vehet fel.

75. példa. Határozza meg 5 szakértő véleményének összhangját, melyeknek 7 szakterületenkénti rangsorolási eredményeit a táblázat tartalmazza! 45.

1. megoldás. A rangok számtani átlaga

2. A 45. táblázatban megadott közbenső számítások eredményeit felhasználva megkapjuk S = 630.

3. Konkordanciatényező

A szakértői vélemények közötti egyetértés mértéke kielégítőnek mondható.

Ha a szakértők közötti egyetértés mértéke nem kielégítő, speciális intézkedéseket tesznek annak javítására. Alapvetően az eredmények megvitatásával és a hibák elemzésével járó edzésben csapódnak le. Amennyiben szakértői előzetes képzésre nincs lehetőség, a szakértői módszerrel történő mérés a szerint történik a Delphi módszer *. A módszer jellemzői a következők:

névtelenség; a szakértők nem azért találkoznak egymással, hogy elkerüljék bármelyikük tekintélyének és ékesszólásának befolyását;

többlépcsős; A felmérés minden fordulója után minden szakértő megismerkedik egymás véleményével, és szükség esetén írásban indokolja álláspontját. Ha egyetértenek vagy nem értenek egyet kollégáik véleményével, akkor átgondolhatják álláspontjukat;

ellenőrzés; minden kör után a szakértői vélemények konzisztenciáját addig ellenőrzik, amíg az egyéni vélemények terjedése egy előre meghatározott értékre nem csökken.

A szakértői módszerrel végzett, különösen kritikus mérések esetén a szakértői képzettség súlyozó tényezői is figyelembe vehetőek.

* Ezt a módszert először az 1950-es évek elején TJ Gordon és O. Helmer amerikai tudósok javasolták katonai problémák megoldására. Nevét az ókori görög városról, Delphiről kapta, ahol a legenda szerint Apollón templománál a 9. századból. időszámításunk előtt e. a IV. századig. n. e. létezett egy bölcsek tanácsa ("delphoi jósda"), amely jóslatairól híres.

A szakértők száma is fontos szerepet játszik. A csoportban lévő szakértők számának növekedésével a mérési pontosság nő. Bármely többszörös mérésnek ezt az alapvető tulajdonságát a (11) kifejezés határozza meg. Használata a szakértői csoport méretének meghatározásához n, a megadott mérési pontosság biztosítása érdekében ismét az előkészítő időszakban szükséges a szakértői módszerrel kapott számlálás valószínűség-eloszlási törvényének, vagy legalább szórásának megállapítása, függetlenül attól, hogy n. Ekkor az ábra szerinti grafikon szerint. 159, ami a függést tükrözi (11), megtalálható a szakértők száma n, amelynél a számtani átlag szórása megfelel a szükségesnek. A szakértői csoport kezdeti létszáma általában legalább 7 fő. Egyes esetekben eléri a 15 ... 20 szakértőt (tömeges felmérést általában csak szociológiai kutatások céljából végeznek). Ha az előkészítő időszakban nem határozzák meg, akkor a szakértői csoport bővítése miatt a szükséges pontosság elérése már a szakértői módszerrel történő mérés során megvalósul, ahogy az ábra mutatja. 39.

Egyes esetekben szakértői módszerrel a lehető legnagyobb mérési pontosság biztosítása szükséges. Ezekben az esetekben célszerű a szakértői csoport összetételét ilyen számú szakértőre korlátozni. P, amelynél a számtani átlagok különbségei és a mérési eredmények szórásának becslései at nés n A +1-szakértőknek nincs értelme. Ezeket a feltételeket az ábrán látható algoritmusok segítségével ellenőrizzük. 41 és 43.

Aszerint, hogy a szakértők milyen formában nyilvánítják ki véleményüket, pl. a vizsgálati módszer szerint megkülönböztetik őket:

közvetlen mérés;

körű;

összehasonlítás.

Nál nél közvetlen mérések szakértői módszerrel a fizikai mennyiségek vagy minőségi mutatók értékeit azonnal meghatározzák meghatározott egységekben (vagy SI-egységekben, vagy pontokban, szabványórákban, rubelekben, szabványos üzemanyag egységekben stb.). Az ilyen mérések relációs skálán és intervallumskálán vagy sorrendi skálán is elvégezhetők. Az összefüggések skáláján végzett mérésekhez szabványok megléte szükséges. Ide tartoznak a hossz, tömeg, fényerősség és sok más mérésére szolgáló érzékszervi módszerek. A súlytényezők közvetlen mérése, amelyek összege eggyel egyenlő, egy sorrendi skálán történik. Ezen együtthatók értékeit a képlet számítja ki

ahol P - szakértők száma; m - a "súlyozott" mutatók száma; - a j -edik mutató súlyozási együtthatója pontokban, az i -edik szakértő által megadott.

Referencia rendi skálákon pontokban mérik a tenger hullámainak erejét, a földrengések erejét stb. Közvetlenül pontok hozzárendelésével (általában 1-től 10-ig) egy sorrendi skálán mérhetők olyan tulajdonságok, amelyekre nincs szabvány vagy objektív kritérium. Utóbbi esetben a pontok arányából nem vonható le mennyiségi következtetés.

A szakértői módszerrel végzett közvetlen mérés a legnehezebb, és a legmagasabb követelményeket támasztja a szakértőkkel szemben.

Körű a mérési objektumok vagy mutatók preferenciájuk, fontosságuk vagy súlyuk sorrendjében való elrendezéséből áll. Az ilyen elrendezéssel elfoglalt helyet ún rang. Minél magasabb a rangsor, annál előnyösebb az objektum, minél jelentősebb, annál fontosabb a mutató.

A táblázatban található példa hét vizsgálati tárgy öt szakértő általi rangsorolására. 45. Ha ezek például műalkotások, akkor ezek minőségének rendelési skálán történő mérésének eredménye a következő:

a legjobb a hetedik, minőségileg második a negyedik, majd a hatodik, első, második, harmadik és ötödik. Ha a rangsorolást a súlyozó tényezők meghatározása érdekében végezték el GI hét minőségi mutató esetében, akkor az (53) képlettel számítják ki, amelyben - a rangot j- megállapított mutató én-m szakértő, 75. példában

Az összehasonlítás lehet szekvenciális és páronkénti. Soros összehasonlítás mindenki. A rangsor alattiak összesítésével végzett vizsgálat tárgya lehetővé teszi a rangsorolt ​​sorozat javítását, az abban szereplő objektumok helyzetének tisztázását, fontosságuk figyelembevételével. Akkor van értelme, ha több szakértelem egy azonos természetű összetett tárgynak tekinthető. A szekvenciális összehasonlítás sorrendje a következő.

1. A vizsgálat tárgyait preferenciájuk (rangsorolásuk) sorrendjében rendezzük.

2. A legfontosabb objektum 1-es pontszámot vagy súlyozást kap; az összes többihez relatív fontosságuk csökkenő sorrendjében - pontok vagy súlyozó tényezők 1-től 0-ig.

3. Az első objektumot összehasonlítjuk az összes többi objektum összességével. Ha a szakértő véleménye szerint ez előnyösebb, mint az összes többi aggregátuma együttvéve, akkor pontban mért eredményét vagy a súlytényezőt felfelé korrigálják, így nagyobb (néha meghatározott és mennyivel több) lesz az összeg. pontokból vagy súlyegyütthatókból minden más szakértelem tárgya, amely alacsonyabb rangú. Ellenkező esetben az első objektum mérési eredménye vagy súlyozási tényezője lefelé kerül úgy, hogy az kisebb legyen, mint a többi objektum pontösszege vagy súlyozási tényezője.

4. A második objektumot összehasonlítjuk a rang alatti összes többi objektummal. A fent megállapított szabály szerint a mérési eredményt vagy a súlyegyüttható értékét korrigálják (ebben az esetben ügyelni kell arra, hogy az első objektum preferenciája ne sérüljön a többi objektum összességével szemben, ha az az előző szakaszban volt beállítva). Ez az összehasonlítási és beállítási eljárás az utolsó előtti objektumig folytatódik.

5. A kapott mérési eredményeket vagy súlyozási tényezőket normalizáljuk, azaz. osztva a pontok vagy súlyok teljes összegével. Ezt követően 0 és 1 közötti tartományban vesznek fel értékeket, és összegük 1 lesz.

Páronkénti illesztés a legegyszerűbb és legindokoltabb pszichológiai szempontból, a 21. és 22. példában szerepel. Mint látható, táblázat. 17 és 18 felesleges. A páronkénti összehasonlításhoz elegendő az átló egyik oldalán lévő táblázatokban szereplő adatok. Ebben az esetben a preferenciát a preferált objektum számának megadásával fejezzük ki, a 46. táblázat szerint.

Pontszám j- th tárgy vagy súly j- a mutatókat az (53) képlet alapján számítjuk ki. Ebben az esetben

hol van a j-edik vizsgálati objektum i-edik szakértőjének preferencia gyakorisága; С - egy szakértő ítéleteinek teljes száma, a szakvélemény tárgyainak számához viszonyítva m(a mért mutatók vagy súlyozó tényezők száma) arányával

76. példa. Az egyszerűség kedvéért tegyük fel, hogy a hat vizsgálati tárgyról öt szakértő egyformán fejtette ki véleményét: mivel a táblázatban szerepel. 46. ​​Határozza meg az egyes objektumok súlyát, és 1 építsen fel egy rangsorolt ​​sorozatot.

Megoldás 1. Preferencia frekvenciák

Ezért a 3. szakaszban kapott értékeket G j már normalizáltnak tekinthető, és különösen súlyozó tényezőként használható.

5. A vizsgált tárgyak rangsorolása a következő: 3. sz.; № 1;№2; №6; №5; №4.

A páronkénti összehasonlítás tapasztalata a táblázat szerint. A 46. ábra azt mutatja, hogy az emberi psziché sajátosságaiból adódóan a szakértők néha öntudatlanul nem a következő, fontosabb párban lévő tárgyat részesítik előnyben, hanem azt, amelyik az első a listán. Ennek elkerülése érdekében használja a táblázat szabad részét, és végezzen páronkénti összehasonlítást kétszer (például először az első objektumot a második, harmadik, negyedik stb., majd a második az első, harmadik, negyedik, ... és így tovább az utolsóig, majd fordított sorrendben: az utolsó az utolsó előttivel és az elsőig; az utolsó előtti az utolsóval, az előző ... és ismét az elsőig). Így minden tárgypárt kétszer egyeztetünk, más sorrendben és bizonyos idő elteltével. Ilyen összehasonlítással ún teljes vagy kettős, időnként elkerülhető a véletlen tévedés, sőt, azonosítani lehet azokat a szakértőket, akik gondatlanok a feladataikat illetően, vagy nem rendelkeznek határozott nézőponttal. Más szóval, a kettős páronkénti összehasonlítás megbízhatóbb, mint az egyetlen. Az elszámolási eljárás vele változatlan marad, kivéve, hogy C = t(t-1).

Lehetőség van a mérési eredmények vagy a páronkénti összehasonlítással kapott súlytényezők értékeinek finomítására az egymást követő közelítés módszerével. A kezdeti eredményeket (lásd a 76. példa 3. pontját) ebben az esetben első közelítésnek tekintjük. A második közelítésben ezeket használjuk súlyozó tényezőként G j(1) szakértői ítélet. A harmadik közelítésben ezen súlytényezők figyelembevételével kapott új eredményeket ismét súlyegyütthatónak tekintjük G j(2) azonos szakértői vélemények stb. A Perron-Frobenius tétel szerint bizonyos feltételek mellett, amelyek a gyakorlatban mindig teljesülnek, ez a folyamat konvergál, i.e. normalizált mérési eredmények g j vagy a súlytényezők bizonyos állandó értékekre hajlanak, amelyek szigorúan tükrözik a vizsgálati objektumok és a szakértők által megállapított kezdeti adatok közötti kapcsolatot.

77. példa... Az öt vizsgálati tárgy egy szakértő által végzett teljes páros összehasonlításának eredményeit a táblázat tartalmazza. 47, hasonló a táblázathoz. 18, azzal az egyetlen különbséggel, hogy a negatív számok figyelmen kívül hagyása érdekében a preferencia j előtti objektum én-m 2-es számmal, az ekvivalenciát 1-es számmal jelöljük, és a preferenciát én- th tárgy előtt j- m - 0 számjegy.

Mit tud mondani a mérési eredményről a harmadik közelítésben? Megoldás.

1. Első közelítésként

G 1 (1) = 1+2+2+1+2= 8;

G 2 (1) = 0+1+2+2+2= 7;

G 3 (1) = 0+0+1+0+0= 1;

G 4 (1) = 1+0+2+1+2= 6;

G 5 (1) = 0+0+2+0+1= 3.

2. A második közelítésben

G 1 (2) = 8 * 1+7 * 2+1 * 2+6 * 1+3 * 2= 36;

G 2 (2) = 8 * 0+7 * 1+1 * 2+6 * 2+3 * 2= 27;

G 3 (2) = 8 * 0+7 * 0+1 * 1+6 * 0+3 * 0= 1;

G 4 (2) = 8 * 1+7 * 0+1 * 2+6 * 1+3 * 2= 22;

G 5 (2) = 8 * 0+7 * 0+1 * 2+6 * 0+3 * 1= 5.

3. A harmadik közelítésben

G 1 (3) = 36 * 1+27 * 2+1 * 2+22 * 1+5 * 2= 124;

G 2 (3) = 36 * 0+27 * 1+1 * 2+22 * 2 +5 * 2 = 83;

G 3 (3) = 36 * 0+27 * 0+1 *1+22 * 0+5 * 0 = 1;

G 4 (3) = 36 * 1+27 *0+1 * 2+22 * 1+5 * 2 = 70;

G 5 (3) = 36* 0+27* 0+1* 2+22 * 0+5 *1 = 7.

4. Értékek g j, táblázatban megadva. 47 észrevehetően különbözik az első és a harmadik közelítésben. Minden következő megközelítéssel finomítani fognak. A tisztázás során egyre inkább előtérbe kerül az első vizsgálati tárgy preferálása és a harmadik (legalább az ötödik) alacsony jelentősége.

5. Ha több szakértő van, akkor a végeredményt az ő adataik átlagolásával kell megkapni.

A szekvenciális közelítés módszere lehetővé teszi, hogy szigorú kvantitatív mérési eredményeket kapjunk egy összefüggésskálán, ha ismert (vagy szakértői módszerrel meghatározott), hogy a vizsgált tárgyak közül a legjobb súlya vagy mutatója hányszor haladja meg a mérési eredményeket. súlya vagy a legrosszabb tárgy azonos mutatója. Jelen esetben ezen a kapcsolaton, és a preferencián keresztül j- a vizsgálat tárgya előtt én- m az 1 + szám, az ekvivalencia - egy és a preferencia én- th tárgy előtt j- m - 1-es szám -, ahol

Ezt követően a páronkénti összehasonlítást az egymást követő közelítés módszerével végezzük. Finomítási folyamat g j addig folytatódik, amíg a pontosság el nem éri a megadott értéket. Mivel minden megközelítéssel a változás g j egyre kisebb lesz, ez a feltétel abban a formában írható, ahol általában venni = 0,001 ha 1< <=1,5, и =0,01, если >5. A köztes értékekhez a köztes értékek is ki vannak választva.

A számítások befejezése után a Ф rangsorolt ​​sorozat szélső tagjai értékeinek tényleges arányát összehasonlítjuk az eredetivel. . Ha az arány közel egy, a probléma megoldottnak tekintendő. Különben javítva és a számítás megismétlődik.

78. példa... A hat közül a legjobb tárgy az összehasonlítható mutató szerint 2,4-szer jobb teljesítményt nyújt a legrosszabbnál. Ennélfogva,

A szakértői véleményeket az objektumokról táblázat tartalmazza. 48.

Menjen a kezdeti adatokhoz a súlytényezők legalább 0,5%-os pontossággal történő kiszámításához.

6. Így a súlyozási együtthatók megfelelő pontosságú kiszámításához szükséges kiindulási adatok a táblázatban bemutatott formában vannak. 49.

A szakértők megkérdezése lehet személyes és részmunkaidős, csoportos és egyéni, személyre szabott és anonim. A szakértők véleményüket írásban (táblázatok, kérdőívek kitöltésével) vagy szóban (interjúk adása, beszélgetésen való részvétel) fejthetik ki. Mindezek és a szakértői felmérés minden más lehetőségének megvannak a maga előnyei és hátrányai, ezért ezek közül az egyik vagy másik kiválasztása az adott feltételektől és körülményektől függően történik.

Általános nézetek

Szakértői módszereket alkalmaznak a következő feladatok megoldására:

a termékminőség-értékelés céljának megfogalmazása, pontosítása;

termék- és fogyasztói osztályozás fejlesztése;

minőségi mutatók hierarchikus szerkezeti diagramjának felépítése;

mutatók súlyozási együtthatóinak meghatározása;

mutatók alapértékeinek meghatározása.

A szakértői módszer alkalmazása a következő feltételek betartását feltételezi:

szakértői értékelést kell végezni, ha nem lehetséges objektívebb módszereket alkalmazni a probléma megoldására;

a szakértői véleményeknek függetleneknek kell lenniük;

a szakértőknek feltett kérdések megfogalmazása zárja ki az eltérő értelmezések lehetőségét;

a szakértőknek hozzáértőnek kell lenniük a megoldandó kérdésekben;

a szakértők számának optimálisnak kell lennie;

a szakértők válaszainak egyértelműnek kell lenniük, és lehetőséget kell biztosítaniuk a matematikai feldolgozásra.

A szakértők által végzett műveletek két csoportra oszthatók: érzékszervi és mentális. Az érzékszervi vizsgálat az érzékszervek segítségével történik, a mentális - az információfeldolgozáson alapuló döntéshozatal. A szakértői módszerek hátrányai közé tartozik az inherens szubjektivitás, valamint a konformizmus jelensége - a csoportban uralkodó megítélés hatása a szakértő véleményére.

A szakértői módszerek alkalmazása magas szakmai színvonalú szakemberek bevonását igényli. Hazánkban még nem alakult ki a minőségértékeléssel foglalkozó szakemberekből álló intézet. Ezért ezekre a célokra általában az értékelt termékek szakembereit hívják meg.

Jelenleg egy új kifejezés, a „szakértői rendszerek” van aktívan kialakulóban. Szakértői rendszer alatt az „ember-gép” rendszert értjük, amelyben a személy döntő szerepet játszik az értékelésekben. A szakértői rendszerek két csoportra oszthatók:

• - tudásra épülő, elsősorban információkeresési folyamatban működő rendszerek;
• - megfelelő szoftverrel ellátott számítógépeket tartalmazó rendszerek, amelyek képesek „megválaszolni” olyan kérdéseket, mint „mi lesz, ha…?”

Az első típusú szakértői rendszerek fejlesztését tartják a legígéretesebbnek, mivel mindenekelőtt az ember, a számítógéptől eltérően, kreatívan tud gondolkodni és információkat szintetizálni.

Szakértői bizottság megalakítása, előkészítése

A termékek minőségének felmérésére létrehozott szakértői bizottságok két csoportból állnak: működő (szervezeti) és szakértői. A munkacsoport a minőségértékelés módszertanának kidolgozásával, a minőség szakértői értékelésének megszervezésével és lefolytatásával, a szakértőktől kapott információk feldolgozásával és az eredmények elemzésével foglalkozik. A munkacsoportba tartozik egy szervező, a kiértékelt termékek tanácsadója, valamint a gépírási, rajzi és számítási munkák elvégzéséhez szükséges technikai dolgozók. A szakértői csoport csak értékelő műveleteket végez.

A szakértői bizottságot létrehozó szervezetnek végzést vagy végzést kell kiadnia, amelyben megjelöli a szakértői bizottság összetételét, tagjainak feladatait, a munkavégzés időtartamát és időtartamát. A szakértői munka minőségének javításához szükséges, hogy a szakértői bizottság összetétele kellően hosszú ideig állandó legyen. AZ ÉS. Galeev úgy véli, hogy a szakértői csoportnak 7-12 (15) főből kell állnia. Ebben az esetben olyan döntést célszerű meghozni, amelyre a szakértői bizottság tagjainak legalább 2/3-át benyújtják. G.G. Azgaldov egyszerűsített értékelési módszert javasol, a szakértői csoport létszáma 7-től 10 főig terjed. Egyes esetekben, amikor kevés a fejlesztési idő (legfeljebb egy hónap), és a vizsgált objektum összetett (például teherautó vagy tengeri hajó), két-három szakértői csoportot kell létrehozni, 7 -10 fő egyenként. Ebben az esetben minden csoport az objektumtulajdonságok külön csoportjain dolgozik.

Ha közelítő vagy pontos módszereket alkalmaznak a minőség értékelésére, akkor a szakértői csoport méretének meghatározására összetettebb és pontosabb módszert alkalmaznak, amely két fő rendelkezésen alapul:

1. Minél több a szakértő, minél több a szakértő, ha minden más egyenlő, annál nagyobb a ge kollektív szakértői értékelés megbízhatósága, annál kisebb a relatív hiba és annál nagyobb a megbízhatósági szint (megbízhatóság), amellyel a ge értéket számítjuk. Ráadásul:

ahol a lényeg az adott jellemző valódi értéke, amelyet szakértői módszerrel határoznak meg;

g a megbízhatóságot meghatározó abszolút hiba

intervallum:

g = g kelet - g e. (31)

2. Minél több előzetes információt tud a munkacsoport a szakértői csoportról és annak értékeléseiről, annál kevesebb lehet a szakértők létszáma, egyéb tényezők azonossága mellett.

A szakértői csoport létrehozásakor a következő módszereket alkalmazzák a szakértők követelményeknek való megfelelésének elemzésére:

• 1) Kvalitatív módszer, amelyben a megfelelőséget a szakértői bizottság tevékenységének szervezője-vezetője és a vizsgált termék tanácsadójával folytatott beszélgetés során állapítják meg.
• 2). A kvantitatív módszer a szakértői minőség értékelésének következő típusait tartalmazza:

heurisztikus - a szakértők minőségi értékelésének értékeit egy személy határozza meg;

statisztikai - a becslések értékeit a szakértői válaszok feldolgozása eredményeként kapják meg;

teszt - a becslések értékeit speciális szakértői tesztek eredményeként találják meg;

dokumentációs - az értékelések értékei a szakértőkről szóló dokumentációs adatok elemzésén alapulnak;

kombinálva - a becslések értékeit a felsorolt ​​módszerek bizonyos készletével kapják meg.

A szakértők munkája előtt a következő kérdéseket kell megvitatni velük:

a „termékminőség” fogalmának lényege;

az értékelt termékekre és minőségre vonatkozó alapvető fogalmak és definíciók;

a szakértői módszerek lényege és alkalmazási köre;

alapvető értékelési műveletek, azok leírása, sajátossága, a megvalósítás nehézségei;

a szakértők által elkövetett leggyakrabban elkövetett hibák, az elvégzett munka tartalma és programja;

a szakértői értékelések értékeinek feldolgozásának módszerei és azok lényege.

Szükséges, hogy a szakértői csoport felépítése, szakmai összetétele és a szakértői létszám megfeleljen a felmérés módszerének.

E célból a munkacsoport kiválasztja a szakértők megkérdezésének módszerét, és azt a szakértői csoport megalakítása előtt lefolytatja.

A szakértők felmérése egyénileg vagy más szakértőkkel közösen történik; a szakértői ítéletek megvitatásával vagy anélkül a szakértői csoport ülésén. A felmérés állhat szakértő és műszaki dolgozó közötti beszélgetésből, a „kérdés-válasz” séma szerint (interjú), felmérési kártya önálló kitöltésében (kérdezés), felmérési kártya kitöltésében, kézhezvétel közben. minden szükséges magyarázatot egy műszaki dolgozótól (vegyes kérdőív).

Egyszerűsített minőségértékelési módszer alkalmazása esetén a munkacsoport (szervezeti) a szakértők kiválasztását az alábbi sorrendben végzi. Kiválasztják a potenciális szakértőkből álló csoportot, 2-5 fővel többen, mint egy szakértői csoportban kellene. Ezután minden potenciális szakértővel személyes beszélgetés során próbálnak információt szerezni magának a szakértőnek a minőségéről. G.G. Azgaldov egy szakértői „tulajdonfát” kínál a 8. ábra formájában.

Tekintsük a fenti tulajdonságok mindegyikének tartalmát.

Kompetencia - a szakértő átfogó ismerete a tárgyról (szakmai kompetencia) és a minőségértékelési módszerek (kvalimetrikus kompetencia). A szakmai kompetencia magában foglalja a terméktervezési és gyártási módszerek, az analógok minőségi mutatóinak, a termékfejlesztési kilátásoknak, a működés feltételeinek és jellegének ismeretét. A minőségi kompetencia biztosítja a termékminőség-értékelés elveinek és módszereinek megértését, azok gyakorlati alkalmazásának képességét, az értékelési skálák típusainak, a szubjektív valószínűségek ismeretét és az értékelt objektum megfelelő számú fokozatának megkülönböztetését. A kompetencia a legfontosabb, de nehezen értékelhető tulajdonság. A szakember értékelése egy már elsajátított szakmában meglehetősen egyszerű, de a szakembereknek a szakterületek metszéspontjában kell dolgozniuk, ehhez eredeti gondolkodás, intuíció, új ötletek értékelésének képessége kell, a „túlzott szakmaiság” pedig megakadályozhatja, hogy a szakértő túlmutat szakmai elképzelésein.

A kompetencia mutatójának meghatározásához leggyakrabban két módszert alkalmaznak: az önértékelést és a kölcsönös értékelést, amelyekre az alábbiakban kitérünk. A K com kompetenciamutató számítási képlete a következőképpen fejeződik ki:

K csomó = 0,4 K csomóval + 0,6 K csomóban, (32)

ahol K és com az önértékelés eredménye, pontokban;

Kinek - a kölcsönös értékelés eredménye, pontokban.

3. ábra A szakértő minőségét jellemző tulajdonságok

Bizalom - a szakértő meggyőződése a választott értékelés helyességéről.

Objektivitás - a szakértő azon képessége, hogy tárgyilagos legyen, vagyis amikor egy vizsgálaton vesz részt, ne engedjen be osztályzati, vezetői vagy személyes érdekeknek.

Hatékonyság - a rábízott munka gyors elvégzésének képessége, az egyik mutató értékeléséről egy másik értékelésére való gyors váltás képessége, konfliktushelyzetben lévő emberekkel való együttműködés képessége, képessége, hogy ellenálljon a többség véleményének, bízva igazában, a meghozott értékelések és ítéletek érvényessége és motiváltsága, a gondolatok világos megfogalmazásának képessége...

Érdeklődés - a rábízott munka elvégzésének vágya egyéni képességeitől, a fő munka leterheltségétől, a vizsga céljaitól és annak eredményeinek gyakorlati tevékenységében való felhasználásának lehetőségétől függ.

Ezen tulajdonságok figyelembevételével a munkacsoport 7-10 szakértőt választ ki, akikben ezek a legnagyobb mértékben kifejeződnek.

A szakértői csoport kialakításának utolsó szakasza a tesztelés, önértékelés, a szakértők kölcsönös értékelése, megbízhatóságuk elemzése és a vélemények konzisztenciájának ellenőrzése.

A tesztelést a szakértők kompetenciájának és szakmai alkalmasságának megállapítására végezzük, és a problémák szakértői általi, a valóshoz hasonló megoldásából áll, ismert (de nem szakértői) válaszokkal.

A szakértők önértékelése abból áll, hogy mindegyikük szigorúan korlátozott időn belül válaszol a kérdőív kérdéseire, majd a pontrendszer szakértője ellenőrzi szakmai tudását és üzleti kvalitásait.

Ha a szakértők rendelkeznek tapasztalattal a közös munkában, akkor kölcsönösen értékelhetik egymást.

A szakértők megbízhatóságának elemzése a megbízhatóság mértékének megfelelően történik, amely a szakértői munka más szakértői csoportokban végzett munkájának eredményeire vonatkozó információk alapján számítható ki. A megbízhatóság foka azon esetek számának aránya, amelyekben a szakértő véleménye egybeesett a vizsgálat eredményével, és azon vizsgálatok számának aránya, amelyekben részt vett.

A szakértői vélemények konzisztenciáját a W konkordancia együtthatóval értékeljük, amelyet az alábbiakban tárgyalunk.

Szakértői felmérés lebonyolítása

A szakértői felmérésnek meg kell felelnie a következő követelményeknek:

• - korlátozott számú kérdés, amelyet fel kell tenni egy szakértőnek;
• - a megoldandó probléma lefedettségének teljessége;
• - a kérdés átfogó mérlegelése;
• - korlátozott szavazási idő;
• - távolléti felmérés alkalmazásának lehetősége;

A szakértői minőségértékelés műveletei szakaszosan zajlanak:

• 1. Előkészületi szakasz:
  • - az értékelés céljának megfogalmazása;
  • - munkacsoport kialakítása.
• 2. A munkacsoport szakasza:
  • - az értékelés céljának tisztázása;
  • - értékelési módszerek, módosítások, módszerek és eljárások kiválasztása;
  • - a szakértők által végzett műveletek jegyzékének meghatározása;
  • - szakértői csoport létrehozása;
  • - a szakértői interjú módszereinek, módszereinek és eljárásainak megválasztása.
• 3. A szakértői csoport munkafázisa:
  • - a termékek és a fogyasztók osztályozása;
  • - a minőségi mutatók nómenklatúrájának meghatározása;
  • - a mutatók fontossági együtthatóinak meghatározása;
  • - a mutatók alapértékeinek meghatározása;
  • - egyedi mutatók becslésének meghatározása;
  • - komplex mutatók meghatározása.
• 4. Utolsó szakasz:
  • - szakértői értékelések értékeinek feldolgozása;
  • - az eredmények elemzése és a szakértői csoport döntésének előkészítése.

A harmadik szakasz – a szakértői csoport munkája – megvalósítása során szakértőktől kapnak válaszokat, amelyek a következőkre bonthatók:

• 1. Általános válaszok leírás formájában, az értékelés céljainak és a termékek működési (fogyasztási) feltételeinek meghatározásában, tisztázásában vagy kiegészítő információforrásként a termékek minőségének értékelése során szolgálnak.
• 2. Az osztályozási válaszok lehetnek leírások és névskála formájában is (például a fogyasztók csoportokba osztása az értékelt termék fogyasztási feltételeinek megfelelően).
• 3. A becsült válaszokat kvantitatív formában (pontok, százalékok, egységtörtek) vagy minőségi formában ("jó - rossz", "elég - nem elég") adják meg, a súlyozási tényezők, a minőségi értékek meghatározására szolgálnak. mutatók. A minőség értékelése során a szakértők megkérdezése két-három körben javasolt: egyéni és csoportos. Ez lehetővé teszi a szakértői ítéletek függetlenségének biztosítását az első körben (ami csökkenti a negatív konformális és tekintélyi befolyást), valamint a szakértők közötti információcserét a következő fordulókban. Nem helyénvaló háromnál több szakértői közvélemény-kutatást lefolytatni.

A termékminőség-értékelés vizsgálati műveleteinek megismétlésének szükségessége többféle ok miatt merülhet fel:

• - ugyanazon eljárásokkal, különböző körülmények között kapott eredmények összehasonlítása;
• - különböző módszerek vagy eljárások összehasonlítása, például személyes vagy levelező interjúk;
• - az eredmény pontosságának javítása a többszörös információcsere miatt;
• - a szakértő minőségének értékelése megítélésének stabilitásának meghatározásával, amelyet a reprodukálhatósági mutató fejez ki.

A többlépcsős módszer egyik változata a Delphi-módszer, amelyet az amerikaiak sokáig titokban tartottak.

A Delphi-módszert az ötvenes évek elején javasolták amerikai tudósok, T.J. Gordon és O. Helmer katonai problémák megoldására. Ennek a módszernek az elnevezése az ókori görög városról, Delphiről származik, ahol a IX. időszámításunk előtt e. Apollón templomában bölcsek tanácsa volt – a „delphi jósda”. A Delphi-módszer célja a szakemberek véleményének kiváltása olyan környezetben, amely kizárja a köztük lévő közvetlen vitát, de lehetővé teszi, hogy a kollégák válaszait figyelembe véve ismételten mérlegeljék ítéleteiket.

A Delphi módszer jellemzői:

• - névtelenség; a szakértők nem találkoznak egymással;
• - a kérdésekre adott válaszoknak tartalmazniuk kell egy mennyiségi jellemzőt;
• - többlépcsős; A szakértők minden forduló után megismerkednek kollégáik válaszaival, és szükség esetén írásos indoklást készítenek álláspontjukhoz, amely a felmérés következő szakaszában a szakértői vélemények változásában is megmutatkozhat;
• - ellenőrzés; minden forduló után a beérkezett válaszok statisztikai feldolgozása történik, amíg a szakértői vélemények egyezési foka el nem ér egy előre meghatározott értéket.

A lefolytatott felmérési körök száma a szakemberek képzettségétől és tapasztalatától függ. A kritikus méréseknél szakértői minősítési súlyok vehetők figyelembe. Egy 10-12 fős szakértői csoport esetében átlagosan három fordulót tekintenek elegendőnek.

A szakértői közvélemény-kutatások lebonyolításának módja szerint ezek a következők:

• - közvetlen mérés;
• - rangsor;
• - összehasonlítás.

Szakértői módszerrel közvetlenül mérve a minőségi mutatók értékeit meghatározott egységekben határozzák meg: SI-egységek, pontok, szabványórák, rubelek, hagyományos üzemanyag egységei stb. Az ilyen mérések végezhetők arányskálán vagy intervallumskálán. A kapcsolatok skáláján való méréshez szabvány megléte szükséges. A súlytényezők közvetlen mérése, amelyek összege eggyel egyenlő, az intervallumskálán történik.

Az együtthatók értékeit a (33) képlettel számítjuk ki:

ahol n a szakértők száma;

m a mérlegelt mutatók száma;

G ij - a j-edik mutató súlyozási együtthatója pontokban, adott

i-edik szakértő.

A szakértői módszerrel végzett közvetlen mérés a legnehezebb, és magasan képzett szakembereket igényel.

A rangsorolás a mérési objektumok vagy a minőségi mutatók preferencia vagy fontosság szerinti sorrendbe állításából áll. Az ilyen elrendezéssel elfoglalt helyet rangnak nevezik. A preferencia módszer szerint a szakértőt arra kérik, hogy az összes M j súlyozást preferencia sorrendjében számozza meg úgy, hogy a legkevésbé preferált tulajdonság súlya 1-et kapjon, a következő - 2, és minél fontosabb a tulajdonság, annál nagyobb. a súly értékét.

A j-edik tulajdonság súlyának számítási képlete M j:

ahol W jl az a hely, ahol a j-edik tulajdonság súlya

az l-edik szakértő;

r a szakértők száma;

n a tulajdonságok száma.

A rangmódszer szerint a szakértő 1-től 10-ig terjedő relatív fontossági skálán értékeli az egyes tulajdonságok fontosságát, és az ingatlanhoz egész- és törtszámokat is tud rendelni. Ennél a módszernél az M j számított tömegképlet a következőképpen alakul:

sőt P jl az l-edik szakértő j-edik tulajdonságának súlyának értékelése.

Az egyeztetés szekvenciálisra és párosra van felosztva. A szekvenciális összehasonlítási módszer a következőkből áll:

• 1. Az összes tulajdonság súlyának preferencia szerinti elrendezése hasonló a preferencia (rangsorolási) módszerhez.
• 2. A legfontosabb tulajdonság a súly M j = 1,0; az összes többi csökkenő sorrendben van, 1-től 0-ig.
• 3. Ha egy M 1 súlyú tulajdonság fontosabb, mint az összes többi tulajdonság együttvéve, akkor M 1 olyan értékre nő, amely meghaladja az összes többi súly összegét:

Ha a szakértő úgy ítéli meg, hogy az M 1 tulajdonság kevésbé fontos, akkor fordított eljárást kell végrehajtani:

• 4. Hasonló módon a második objektumot összehasonlítjuk az összes többi, a rang alatti objektum összességével, és így tovább az összes többivel. Ebben az esetben gondoskodnia kell arról, hogy az első objektum preferenciája ne sérüljön az összes többi objektummal szemben, ha azt az előző szakaszban megállapították.
• 5. A kapott mérési eredményeket vagy súlyozási tényezőket normalizálják, azaz elosztják a pontok vagy súlyozó tényezők teljes mennyiségével, majd 0 és 1 közötti értékeket vesznek fel, és összegük 1 lesz.

A páronkénti összehasonlítási módszer a legegyszerűbb, és két objektum összehasonlításából áll. Az eredményeket ortogonális mátrix formájában mutatjuk be. Például össze kell hasonlítani hatféle tapéta esztétikai mutatóit, amelyeket az 1, 2, .... 6 számok jelölnek (3. táblázat), ahol az i-edik típus preferenciája a j-edik típussal szemben. 1-nek, az ellenkezője pedig 0-nak felel meg.

A rangsorolt ​​sor alakja (növekvő sorrendben): 4., 5., 6., 2., 1., 3. sz.

Ugyanezt a példát tekinthetjük a következő rangsorolással: az i-edik típus előnye a j-edikhez képest 1-nek felel meg, az ellenkezője - (-1); és azonos minőséggel - 0 (4. táblázat).

Következésképpen a legmagasabb esztétikai mutatók a 3-as, majd az 1-es tapéták; A 2-es, a 6-os és a 4-es azonos tulajdonságokkal rendelkezik, a legrosszabb mutatók az 5-ös tapétákra vonatkoznak.

Shishkin I.F. a páronkénti összehasonlítás következő változatát adja. A preferenciát a preferált objektumszám megadásával fejezzük ki (3. táblázat).

3. táblázat

4. táblázat

A j-edik objektum pontszámát vagy a j-edik mutató súlyát a (39) képlet számítja ki. Ebben az esetben:

ahol F i, j a j-edik objektum i-edik szakértőjének preferencia gyakorisága

szakvélemény;

c - egy szakértő által hozott ítéletek száma

a szakterületek száma m (mért

mutatók vagy súlytényezők) arányával:

5. táblázat

Vizsgálati objektum száma

Az eredmények elemzése

A szakértők megkérdezése után meg kell határozni az egyezés mértékét a W (41) konkordancia együttható segítségével.

ahol S az egyes vizsgált tárgyak rangsorai összegének a rangsorok számtani átlagától való eltéréseinek négyzeteinek összege;

n a szakértők száma;

m a szakértelem tárgyainak száma.

A konkordancia együtthatója 0-tól (egyetértés hiányában) 1-ig (teljes egyhangúság esetén) értéket vehet fel.

A W érték jelentőségét a (Pearson-eloszlás) (42) kritérium segítségével állapítjuk meg:

Az értéket összehasonlítjuk a táblázatos értékkel egy adott szignifikanciaszinten és a szabadságfok számában f = n-1. Az (f) pontnál a kutatók közötti egyetértés mértéke (a W konkordancia együttható értéke) kétségtelen.

Ha vannak "kapcsolódó rangok", akkor a konkordancia együtthatót a képlet adja meg

L-edik azonos rangsor a k-adik rangsorban. Például, ha valamelyik k-edik kutató felírta a rangokat 1; 2; 4,5; 4,5; 4,5; 4,5; nyolc; nyolc; nyolc; 10, akkor neki

(4 3 -4)+(3 3 -3)=84.

A W érték jelentőségét is a kritérium segítségével állapítjuk meg

amelyet adott szignifikanciaszinten és az f = n-1 szabadságfokszámú táblázattal is összehasonlítunk.