مجله علمی دانشگاه علوم پزشکی رفسنجان

مرور روایی
مجله دانشگاه علوم پزشکی رفسنجان
دوره 19، مرداد 1399، 538-515



مبانی روش¬شناختی و کاربردهای روش دلفی: یک مرور روایی

عبدالله رحمانی ، رضا وزیری‌نژاد ، حسن احمدی نیا ، محسن رضائیان 






دریافت مقاله: 3/10/98     ارسال مقاله به نویسنده جهت اصلاح: 24/12/98     دریافت اصلاحیه از نویسنده: 7/2/99     پذیرش مقاله: 17/2/99





چکیده
پیدایش مسائل پیچیده و جدید که اطلاعات کافی در مورد آنها وجود ندارد، سبب شده است که روش¬های اجماع یا اتفاق نظرگسترش پیدا کنند. از جمله روش¬های اجماع ¬نظر می¬توان گروه اسمی و روش دلفی را نام برد. روش دلفی فرآیندی سیستماتیک می¬باشد که برای پیش¬بینی و کمک به تصمیم¬گیری از طریق راندهای پیمایشی، جمع¬آوری اطلاعات و در نهایت اجماع گروهی به کار می¬رود. این روش به عنوان یک فرآیند ارتباطی گروه طراحی شده است که هدف آن انجام معاینات دقیق و بحث در مورد یک مسئله خاص به منظور تعیین اهداف، تحقیقات سیاسی و پیش بینی وقایع آینده بر اساس نظرات متخصصین است. بنابراین هدف از انجام این مطالعه آشنایی کلی با روش¬شناختی و کاربرد¬های روش دلفی در طراحی برنامه¬های مختلف با توجه به اهمیت این روش در تحقیقات در زمینه¬ی علوم پزشکی از جمله سلامت می¬باشد. در ابتدای این مطالعه، به ساختار کلی روش مطالعه دلفی (تاریخچه، تعاریف، اهداف و کاربرد آن) پرداخته شده است. سپس انواع مختلف روش¬های مختلف دلفی شامل کلاسیک، سیاست، تصمیم، عددی و تاریخی (همراه با مثال برای درک بهتر موضوع) مورد بحث قرار گرفته اند. در ادامه اجزای اصلی روش دلفی که شامل، بازگویی یا تکرار، متخصصین، صلاحیت متخصصین، تعداد متخصصین شرکت کننده در مطالعه، بازخورد کنترل شده، پرسش‌نامه، روش نمونه‌گیری، گمنامی شرکت کنندگان، زمان، آنالیز نتایج، اجماع نظر متخصصین شرح داده شده است. در انتها فرآیند انجام مطالعه دلفی که شامل دور اول، دور دوم، دور سوم، بررسی نقاط ضعف و قوت روش دلفی، روایی و پایایی روش دلفی می¬باشد، مورد بررسی قرار گرفته‌اند.
واژه‌های کلیدی: روش¬شناختی، کاربرد، روش دلفی، مرور روایی 
 
مقدمه
پیدایش مسائل پیچیده که اطلاعات کافی در مورد آنها وجود ندارد، سبب شده است که روش¬های وفاق یا اتفاق نظر گسترش پیدا کند. از جمله روش¬های اجماع نظر می¬توان گروه اسمی و روش دلفی را نام برد ]1[. روش دلفی دارای فرآیندی سیستماتیک می¬باشد که برای پیش¬بینی و کمک به تصمیمگیری از طریق راندهای پیمایشی، جمع¬آوری اطلاعات و در نهایت اجماع گروهی است ]2[. روش دلفی زمانی به کار می¬رود که برای رسیدن به یک نتیجه کلی درمورد یک موضوع خاصی نیازمند به جمع¬آوری و ترکیب نظرات متخصصین داشته باشیم. مخصوصاً زمانی که متخصصین از نظر جغرافیایی از هم فاصله داشته باشند، اسامی متخصصین اعضای هیاًت یا پنل (Panel) ناشناخته می¬باشد، اما مجموع نظرات آنها در مورد موضوع مورد بررسی پس از رسیدن به اجماع یا توافق¬نظر منتشر خواهد شد ]3[. روش دلفی یک روش یادگیری گروهی است که بیش از نیم قرن است که مورد استفاده قرار می¬گیرد. محاسبات تکنیک دلفی بر ¬اساس نظرات کارشناسان است ]4[. تکنیک دلفی به عنوان یک فرآیند ارتباطی گروه طراحی شده است که هدف آن انجام معاینات دقیق و بحث در مورد یک مسئله خاص به منظور تعیین اهداف، تحقیقات سیاسی یا پیش¬بینی وقایع آینده است ]5[. دلفی یکی از رایجترین و شناخته شده¬ترین روشهای آینده نگاری است. این روش در ایران نیز، بسیار معروف است اما به ندرت از این روش برای طراحی سناریوهای آینده یا برای آینده¬نگاری استفاده می¬شود. با توجه به این که این روش در پیش¬گویی و آینده پژوهی موضوعات مهم و هم¬چنین در تحقیقات در زمینه ی علوم پزشکی از جمله سلامت می¬تواند بسیار کارآمد باشد و مورد استفاده قرار گیرد. شاید یکی از دلایل عمده این مسأله آشنایی اندک و نه چندان عمیق مدیران با این روش باشد. بنابراین این مطالعه با هدف معرفی روش¬شناختی روش دلفی به بررسی این روش از نظر، تاریخچه، تعاریف مختلف، انواع روش دلفی، اهداف و کاربرد¬های این روش، شرایط کاربرد، اجزای اصلی روش دلفی، فرآیند انجام این روش، مزایا و معایب و همچنین محدودیت¬ها و ارائه پیشنهادات برای استفاده بهتر از این روش می¬پردازد. با توجه به اینکه برای نوشتن مقاله مروری نویسنده محترم مسئول می¬بایست دارای مقاله تحقیقی در زمینه موضوع مورد بحث باشد، بنابراین به مقاله¬ای با عنوان آشنایی با روش دلفی ]3[ و هم‌چنین با توجه به اینکه روش دلفی یکی از انواع مطالعات کیفی می¬باشد می¬توان به مقالاتی با عنوان استاندارد‌هایی برای گزارش پژوهش‌‌های کیفی ]6 [و آشنایی با روش گروه صوری ]7[ استناد گردد.
تاریخچه و تعاریف مختلف روش دلفی
نام روش دلفی از افسانه¬ی معبد آپولو یونان باستان که در جزیره دلفی قرار دارد گرفته شده است، که منشأ الهام الهی آپولو، خدای خورشید و موسیقی است ]9-8[. تکنیک دلفی در اصل بر اساس حدس و گمان، قضاوت و الهام مردم پیشنهاد شد، اما به تدریج فرم آموزشی را به دست آورد ¬-]11-10[. این روش برای اولین بار در اواخر دهه 1950، در تحقیقی توسط شرکتU.S. RAND (Corporation-Santa Monica, California) RAND برای بررسی علمی نظرات کارشناسان در مورد پروژه دفاعی نظامی معرفی شد، اما به دلایل امنیتی تا 12 سال بعد منتشر نگردید، در نهایتDalkey و Helmer آن را معرفی کردند ]12-10[. این تکنیک به تدریج جای خود را در مطالعات علمی پیدا کرد، اما از اواسط دهه 90 میلادی، بسیار محبوب شد ]12,10[. در نهایت، این روش از اواسط دهه¬ی 1960 به عنوان یک روش مهم علمی شناخته شد. در حال حاضر برای طیف وسیعی از مطالعات و سؤالات آینده محور و پیچیده و در زمینه¬های گوناگون، که نیاز به اجماع نظرات و یا توافق بین نظرات اعضا دارد مورد استفاده قرار می¬گیرد ]13[.
فقدان چارچوب نظری، که به عنوان عمده¬ترین ضعف این روش مطرح بوده، موجب گردید تا برخی دلفی را تکنیک(technique) و بعضی¬ها واژه¬های رویکرد یا شیوه،(Delphi approach)  مطالعه دلفی (Delphi study)، پیمایش دلفی(Delphi survey) ، رأی گیری دلفی(Delphi poll) ، روش دلفی(Delphi method) ، مطالعه اجماع دلفی (Delphi consensus study) را برای توصیف مطالعات دلفی صحیح¬تر بدانند ]14[. دلفی رویکرد یا روشی سیستماتیک در تحقیق برای استخراج نظرات از یک گروه متخصصان در مورد یک موضوع یا یک سؤال است ]15[. رسیدن به اجماع گروهی از طریق یک¬سری از راندهای پرسشنامه¬ای با حفظ گمنامی پاسخ دهندگان، و بازخورد نظرات به اعضای پانل است ]16[. این روش با استفاده از جمع¬آوری نظرات کارشناسان در دفعات متعدد با استفاده متوالی از پرسشنامه¬ها به دست انجام میگیرد و برای نمایاندن همگرایی نظرات و تشخیص اختلاف عقیده¬ها یا واگرایی آرا به کار می‌رود. هر تکرار، یک دوره را تشکیل می¬دهد. در واقع، پرسش¬نامه ابزاری برای برقراری ارتباط و اثرگذاری کارشناسان بر یکدیگر است. روش مطالعه چند مرحله¬ای برای گردآوری نظرات در موارد ذهنی بودن موضوع و استفاده از پاسخ¬های نوشتاری به جای گردهم آوردن یک گروه متخصص است، و هدف اجماع با امکان اظهار نظر آزادانه و تجدید ¬نظر عقاید با تخمین¬های عددی به دست میآید ] 18-17[. روش دلفی یک روش منظم برای تعیین اجماع متخصصین است که برای پاسخ به سؤالاتی که با روش های آزمایشگاهی و اپیدمیولوژیکی قابل جوابگویی نیستند، مفید است ]19[.
انواع روش دلفی
در اکثر منابع، روش دلفی به سه دسته کلی تقسیم¬بندی می¬گردد: 1- دلفی کلاسیک، (Classic Delphi) 2- دلفی سیاسی (Policy Delphi) 3- دلفی تصمیم (Decision Delphi) Rowe and Wright (1999) روش دلفی کلاسیک را با چهار ویژگی اصلی توصیف می¬کنند؛  ناشناس بودن شرکت¬کنندگان در دلفی،  به شرکت¬کنندگان این امکان را می¬دهد که آزادانه نظرات خود را بدون فشارهای اجتماعی بیان کنند تا با دیگران در گروه مطابقت داشته باشند. تصمیم گیری¬ها بر¬اساس شایستگی آنها ارزیابی می¬شود. تکرار یا بازگویی؛ به شرکت¬کنندگان امکان می¬دهد با توجه به پیشرفت کار گروه در هر دور، نظرات خود را اصلاح کنند. بازخورد کنترل شده؛ شرکت¬کنندگان را از دیدگاه سایر شرکت کنندگان آگاه می¬کند و فرصتی را برای شرکت-کنندگان دلفی فراهم می¬کند تا نظرات خود را روشن یا تغییر دهند. گزارش آماری پاسخ گروهی؛ امکان تجزیه و تحلیل کمی و تفسیر داده¬ها را فراهم می¬آورد ]20,14,13[. برای مثال Rosenthal  و همکاران در مطالعه¬ای با عنوان تعریف و طبقه¬بندی عوارض حین عمل یک مطالعه دلفی و ارزیابی پایلوت، در این مطالعه با استفاده از روش¬دلفی کلاسیک،  از 52 متخصص انتخاب شده 40 نفر (77 درصد میزان همکاری) از 14 کشور در هر دور شرکت کردند. نتیجه مطالعه دلفی منجر به تعریف کاملی از عوارض حین عمل به عنوان هرگونه انحراف از مسیر حین عمل ایده آل بین برش و بسته شدن پوست شد. این طبقه بندی بر اساس نیاز به درمان در چهار طبقه شامل (عدم نیاز به معالجه درجه I، نیاز به معالجه درجه II)، و شدت عوارض آن (تهدید¬کننده زندگی / ناتوانی دائمی درجه III و مرگ درجه IV)، دسته‌بندی گردید. این مطالعه مقدماتی یا (Pilot Study) نشان دهنده عملی خوب (6 از مقیاس 7) و توافق خام بالای 87 درصد،  ضریب همبستگی Intraclass Correlation Coefficient of 0.83 (95 % CI 0.73–0.90، کاپای وزنی 83 درصد و فاصله اطمینان ]  kappa of 0.83 [95 % confidence interval (CI) 0.73–0.94]21[. گاهی برای برآورده ساختن نیاز محققین از روش دلفی تعدیل شده که دلفی کلاسیک تعدیل شده(Modified Classic Delphi)  نامیده می¬شود، استفاده می گردد. در صورت دستیابی به ثبات در پاسخ کارشناسان اطلاعات در گزارش نهایی ارائه می¬شود. شرکت کنندگان، کارشناسانی هستند که درباره واقعیت¬های آینده نظر می¬دهند و محققان برای حصول به اجماع و همگرایی در پاسخ¬های کارشناسان تلاش می¬کنند. نکته مهم این دلفی، ناشناس ماندن کارشناسان است ]22[. 
روش دلفی سیاست اغلب درباره موضوعات سیاسی و اجتماعی به کار می¬رود. در این روش نیز نتایج دورهای قبلی پیوسته بازخورد داده می¬شوند. اما در اینجا هدف رسیدن به وفاق در میان کارشناسان نیست. این نکته مهم-ترین تفاوت دلفی سیاست و دلفی کلاسیک است. در واقع، هدف دلفی سیاست به دست آوردن راه¬حل¬های مختلف است که در راستای این هدف، روش دلفی به عنوان یک ابزار برای توسعه نظرات به کار می¬رود و هدف نهایی، انتخاب مناسب¬ترین سیاست است. این روش، شامل به دست¬ آوردن نظرات و عقاید واگراست. دلفی سیاست دارای ویژگی¬های، ناشناس بودن افراد در صورت تمایل، تکرار، بازخورد کنترل شده دسته¬بندی نظرات به شکل متضاد مجادله ساختار یافته می‌باشد ]23[. به عنوان مثال، Hahn و همکاران در مطالعه¬ای تحت عنوان اجماع سیاست دخانیات در بین قانون¬گذاران ایالتی سابق، از روش دلفی سیاست استفاده کردند. قانون¬گذاران پیشین ایالتی بیش از آنچه انتظار می-رفت، از سیاست‌های کنترل دخانیات حمایت می¬کردند و از کاهش وابستگی دولت به کنترل دخانیات بسیار حمایت می¬کردند. قانون¬گذاران پیشین ایالتی با 43 درصد  موارد دور دوم که برای آنها در دور اول توافق صورت نگرفته بود، توافق داشتند و این نشان¬دهنده افزایش چشمگیر اجماع بود. با اطلاعات جدیدی از همکارانشان، قانون¬گذاران پیشین از محدودیت‌های مربوط به سیگار کشیدن در محل کار، محدودیت موارد تبلیغاتی در مورد دخانیات و افزایش متوسط مالیات غیر مستقیم حمایت کردند ]24[.
 روش دلفی تصمیم برای تصمیم¬گیری درباره مسائل اجتماعی به¬کار می¬رود. برخلاف دو نوع قبلی که از یک واقعیت موجود آغاز می¬شد، در دلفی تصمیم یک گروه تصمیم گیرنده واقعیت موجود را تعریف می¬کنند. انگیزه ایجاد این¬گونه دلفی آن است که تصمیم¬های بنیادین درباره توسعه آینده موضوعات مورد بحث را معمولاً فقط توسط دو یا سه نفر گرفته شود. دلفی تصمیم دارای پنج ویژگی، شبه گمنامی، تکرار، بازخورد کنترل شده، تحلیل¬آماری جواب¬ها ثبات و همگرایی پاسخ ها درباره یک موضوع خاص است ]24[. شبه گمنامی یعنی اینکه از ابتدای مطالعه، کارشناسان با نام به یکدیگر شناسانده میشوند، ولی پاسخ¬های آنها به پرسشنامه مجهول باقی میماند. این کار کارشناسان را تشویق می¬کند که پرسشنامهها را خودشان پر¬کنند. از نتایج این کار، افزایش رویکرد شرکت ¬کنندگان به پاسخ¬گویی به پرسش¬نامه¬ها است ]24-23[. برای مثال تصمیم دلفی به عنوان ابزاری برای سیاست فناوری- تجربه اتریشی استفاده شده است. متخصصین سؤالات را که توسط مجموعه ای از مطالعات قبلی انتخاب شده بودند در هفت زمینه تهیه کردند. تحقیقات دلفی دو دوره به ترتیب میزان پاسخ 46 درصد  و 71 درصد  داشت.  در مجموع 1127 پاسخ در پایان. چندین نتیجه جالب در مورد امیدوارترین زمینه¬ها و طراحی سیاست¬های فناوری پدید آمد ]25[.
 دلفی دارای انواع دیگری از جمله، عددی (Numeric)، این نوع دلفی برآوردهای عددی تاریخ ها، مقادیرهای یا اهمیتی را استخراج می¬کند. برای مثال اینکه جمعیت جهان در سال 2100 چه قدر و چگونه است و یا در چه سالی انسان خواهد توانست به مریخ سفر کند، این نوع دلفی همانند طبقه¬بندی سنتی در دیدگاه Woodenberg  است. تاریخی  (Historical)،  هدف این روش آزمون نظام¬دار از دیدگاه¬های بزرگ گذشته است (به ویژه فیلسوفان سیاسی) و کاربرد دیدگاه¬ها¬ی منطق دانان برای حل مشکلات جوامع امروزی است. در این روش نیز چندین هیاًت تشکیل می¬شود و از افراد صاحب نظر درباره دیدگاه آن فیلسوف دعوت به عمل می¬آید و پرسش¬هایی در مورد دیدگاه فیلسوفی مانند افلاطون در خصوص یک موضوع جدید مانند علل افزایش جرم و جنایت طرح می¬شود نیز میباشد ]26-22[.
اهداف و کاربرد روش دلفی
شاید بتوان گفت که مهمترین هدف دلفی، ایجاد یک اجماع در میان عده¬ای از کارشناسان است. ایده اصلی این روش آن است که پاسخ دهندگان بدون آنکه تحت تأثیر افراد مشهور و معتبر یا افرادی که در جلسات خوب سخن می‌گویند، قرار بگیرند، از دیدگاه¬های دیگران استفاده کنند ]23-21[. در روش دلفی، با بی اثر ساختن توان سخنوری اشخاص، همه نظرات غیرمعمول برای تحلیل بعدی به طور یکسان به اعضای گروه برگردانده می¬شود. هدف اصلی دلفی، پیش¬بینی آینده بود ] 27, 25[ اما در زمینه¬های تصمیم¬گیری و افزایش اثربخشی آن، قضاوت تسهیل حل مسأله، نیازسنجی، هدف گذاری، کمک به برنامه¬ریزی، تعیین اولویت، پیش¬بینی آینده، خلاقیت، سازمان¬دهی ارتباطات گروهی، جمع¬آوری گروهی اطلاعات، آموزش گروه پاسخ¬ دهنده، تعیین سیاست¬ها، تخصصیص منابع و اجماع یا توافق گروهی نیز به کار می¬رود ]26[.
اجزای اصلی روش دلفی
اجزای اصلی دلفی شامل: تکرار یا بازگویی پرسش¬نامه، متخصصین، بازخورد کنترل شده، گمنامی، آنالیز، نتایج، اجماع، زمان و تیم هماهنگ کننده است ] 28,22,4-1[ که در زیر به شرح هریک از موارد پرداخته می¬شود. 
بازگویی یا تکرار (Iteration)
 منظور از تکرار در این روش، یک¬سری دورها به صورت فرآیندی سیستماتیک و نوشتاری به وسیله پرسشنامه و با هدف اجماع نظرات متخصصین در یک زمینه خاصی است. متخصصین حداقل دو بار در مورد سؤال مشابه نظر داده و با دریافت اطلاعات از سایرین، امکان تجدید نظر در پاسخ های خود را دارند که باعث توسعه کار گروهی بدون آگاهی از وجود سایرین می¬شود ]30,29[. از نظر تعداد دورها، مقالات تا 10 دور را گزارش داده¬اند اما دلفی کلاسیک در برگیرنده چهار دور بوده که محققین معمولاً برای دستیابی به اهداف تحقیق خود، آن را به دو تا سه دور کاهش می¬نمایند ]31 ,29[. در هر صورت، تصمیم¬گیری درمورد تعداد دورها تا حدود زیادی عملی یا تجربی بوده و بستگی به زمان در دسترس و نوع سؤال آغازین دارد ]29[. اگرچه با افزایش دورها، میزان صحت افزایش یافته اما اغلب بعد از سه دور، خستگی ایجاد می¬کند و معمولاً نتایج جدید و مفیدی به دست نمی¬آید ]23[.
متخصصین یا کارشناسان ( (Experts
بیشتر استفاده کنندگان از روش دلفی پیشنهاد می¬کنند که متخصصان باید برای انجام کار خود زمان و مکان مناسب و مرتبط با مخاطب هدف انتخاب کنند. متخصصان در حوزه بالینی ممکن است شامل پزشکان متخصص، محققان با تخصص علمی و بیماران باشند که به واسطه تجربه تأثیر یک بیماری یا مداخله، دارای تخصص هستند ]32[. موفقیت یک مطالعه دلفی کاملاً وابسته به تخصص شرکت¬کنندگانی است که هیاًت متخصصین را تشکیل می-دهند. شرکت¬کنندگان دلفی متخصصین یا اعضای هیاًت می¬باشند ]33[. شرکت کنندگان دلفی باید چهار مورد از لزومات"تخصص" را برآورده کنند: 1) دانش و تجربه در مورد موضوعات مورد بررسی، 2) ظرفیت و تمایل به مشارکت، 3) زمان کافی برای شرکت در مطالعه دلفی و 4) مهارت¬های ارتباطی مؤثر ]34-32[. پارامترهای کلیدی مطالعه نیز صلاحیت اعضای هیاًت، اندازه هیات و روش انتخاب آنها  است ]35[.
صلاحیت کارشناسان (Qualification of experts)  
چندین پیشنهاد در مورد چگونگی انتخاب گروهی از متخصصان وجود دارد. اگرچه هر موقعیت و مجموعه ای از متخصصان که از آن استفاده می¬کنند منحصر به فرد است، برخی اصول کلی برای اجرای روند ارائه شده است. کارشناسانی با دانش مناسب، استفاده از متخصصین غیر یکنواخت که معمولا بین 5 تا 20 متخصص برآورد شده است ]36[. شناسایی متخصصین دلفی، نکته بسیار مهمی در روش دلفی بوده به طوری که دستیابی به اهداف، وابسته به انتخاب دقیق شرکت¬کنندگان وکارشناسان این روش می‌باشد ]37[. تمرکز روش دلفی بر استخراج نظرات از متخصصین در زمان کوتاه داشته و نتایج وابسته به تخصص افراد در دانش مورد نظر، کیفیت و صحت پاسخ¬ها، و همکاری و درگیری مداوم آنها در دوره مطالعه است. متخصص دلفی باید دانش کافی در زمینه موضوع مورد نظر را  داشته باشد، در بحث¬ها درگیر شده و بر نتایج فرآیند تأثیر بگذارد. پاسخ-دهنده¬گان باید نسبتاً بیطرف، و اطلاعات کسب شده منعکس¬کننده دانش و درک آن¬ها باشد. علاوه بر توانایی، علاقه و تعهد شرکت¬کنندگان به موضوع، درگیرشدن مداوم در کلیه دور¬ها نیز مورد نیازاست ]20 ,16[.
تعداد متخصصین شرکت¬کننده در مطالعه  (Number of experts participating in the study)
در حالی که هیچ قانون روشن و صریحی و هیچ فرمولی جهت تعین حجم نمونه یا انتخاب تعداد متخصصین شرکت¬کننده در مطالعه وجود ندارد، تعداد متخصصین وابسته به فاکتورهای همگن یا ناهمگن بودن نمونه، هدف دلفی، وسعت مشکل، کیفیت تصمیم، توانایی تیم تحقیق در اداره مطالعه، اعتبار داخلی و خارجی، زمان جمع¬آوری داده¬ها و منابع در دسترس، دامنه مسأله و پذیرش پاسخ است. تعداد شرکت کنندگان معمولاً کم¬تر از 50 نفر و اکثراً 15 تا 20 نفر بوده است ]38[.
نمونه ناهمگن یا همگن (Heterogeneous or homogeneous sample): در جایی که این گروه یک¬دست باشد، ممکن است یک نمونه کوچکتر از ده تا پانزده نفر نتیجه کافی داشته باشند. با این حال، اگر گروه¬های مختلفی درگیر باشند (به عنوان مثال یک مطالعه بین المللی)، به احتمال زیاد به نمونه بزرگتری نیاز خواهد بود و ممکن است چند صد نفر شرکت کنند ]39[. برای محققین جدیدی که وارد مطالعه می¬شوند باید تا حدودی احتیاط کرد زیرا گروه¬های ناهمگن می¬توانند پیچیدگی و دشواری جمع¬آوری داده¬ها، دستیابی به اجماع، انجام تجزیه و تحلیل و تأیید نتایج را تا حد زیادی افزایش دهند ]40.[
کیفیت تصمیم¬گیری/ مبادله قابلیت مدیریت دلفی (Decision quality/Delphi manageability tradeoff): هرچه تعداد افراد شرکت¬کننده در مطالعه، یا اندازه نمونه ما بیشتر شود، خطای تصمیم¬گیری کاهش می¬یابد یا به عبارت دیگر کیفیت تصمیم¬گیری افزایش می¬یابد. با این حال، بالاتر از یک اندازه مشخص، مدیریت کردن فرآیند دلفی و تجزیه و تحلیل داده¬ها در ازای فواید حاشیه¬ای دشوار می¬شود ]40 ,39[.
تأیید داخلی یا خارجی (Internal or external verification): هرچه گروه بزرگ¬تر باشد، نتایج را با اطمینان بیشتری می¬توان تأیید کرد. با این حال، یک نمونه کوچکتر ممکن است مورد استفاده قرار گیرد که باید تأیید نتایج با تحقیقات پیگیری انجام ¬شود ]41[.
در دلفی معمولا از نمونه¬های ناهمگن برای به دست آوردن طیف گسترده نظرات، پاسخ¬های با کیفیت و راه‌حل‌های قابل پذیرش استفاده می¬شود. این نمونه¬گیری موجب افزایش حجم نمونه، مشکلات جمع¬آوری داده¬ها و در نهایت، پیچیدگی رسیدن به اجماع، اجرای آنالیز و بازبینی نتایج می¬شود ]41-40[، هرچند که با حجم نمونه بزرگتر تعداد قضاوت¬ها افزایش و ترکیب آنها اعتماد را افزایش می-دهد ]40-37[. در جدول زیر پنج مرحله انتخاب متخصصین برای انجام یک مطالعه دلفی منظم آورده شده است که این مراحل اقتباس شده از مقاله¬ای با عنوان، روش دلفی به عنوان یک ابزار تحقیقاتی; طراحی سنجش و برنامه¬های کاربردی که توسط Okoli و همکارانش انجام گرفته است ]42[.
 

جدول 1) روش انتخاب متخصصین در یک مطالعه دلفی   
مرحله اول
آمادگی برای انتخاب موضوع تحقیق     -  شناسایی رشته¬ها، مهارت¬ها، شاغلین، ادارات دولتی مرتبط با موضوع تحقیق
-  مشخص کردن سازمان¬های زیربط
-  شناسایی آکادمی¬ها و مطبوعات مرتبط¬ با موضوع مورد بررسی
مرحله دوم
تعیین جمعیت متخصصین شرکت کننده      - نوشتن اسامی متخصصین، رشته¬ها و مهارت¬های مرتبط
-   نوشتن اسامی افراد متخصص در سازمان¬های مرتبط
-  نوشتن اسامی افراد متخصص در آکادمی¬ها و شاغلین مطبوعات مرتبط
مرحله سوم
معرفی متخصصین اضافه    -   تماس با متخصصین لیست شده در بالا
-  معرفی متخصصین دیگر و تماس با آنها
مرحله چهارم
رتبه¬بندی متخصصین    -  طبقه¬بندی متخصصین براساس لیست¬های مرتبط
- رتبه¬بندی متخصصین در هر لیست براساس صلاحیت آنها یا معیار¬های ورود جهت شرکت در مطالعه
مرحله پنجم
دعوت از متخصصین    -  دعوت از متخصصین برای هر هیاًت براساس زمینه¬های مرحله اول
-  دعوت از متخصصین براساس رتبه¬بندی در هر زیر گروه از لیست مرحله چهارم
-  مشخص کردن افراد نمونه یا شرکت¬کنندگان در مطالعه
- متوقف نمودن انتخاب و بیرون کشیدن متخصصین با دستیابی به اندازه¬ی هر هیاًت نمونه¬گیری
 این جدول از مقاله Okoli و همکاران  با تغیرات نگارشی لازم گرفته شده است ]42[.

 
بازخورد کنترل شده (Controlled feedback)
معنی و مفهوم بازخورد، ایجاد یک فرصت مناسب برای بازنگری و ویرایش مجدد نظرات خود و بررسی و ارزشیابی نظرات سایر افراد توسط متخصصین می¬باشد. بنابراین، متخصصین شرکت¬کننده در روش دلفی تشویق و ترغیب میشوند و اجازه دارند تا نظرات و قضاوت هایشان در دورهای قبلی را دوباره مورد بازنگری مجدد قرار دهند. اما این نکته حائز اهمیت می¬باشد که تبادل اطلاعات بین متخصصین آزاد نمی¬باشد ]42- 41[.
پرسش¬نامه    (Questionnaire)
پرسش¬نامه مصاحبه¬ای است که به صورت نوشته تهیه و بدون حضور مصاحبه¬کننده تکمیل می¬شود. در واقع، پرسشنامه روشی غیرحضوری و چند نفره برای گردآوری نظرات کارشناسان است. دلفی یکسری از دورهای پیمایشی یا پرسشنامه¬ای است که با پرسش¬نامه اولیه، پرسش¬نامه دورهای بعدی را نیز شکل می¬دهد و باید در مرحله طراحی تحقیق در مورد آن تصمیم گرفته شود ]27[. شیوه طرح پرسش¬ها اهمیت فراوانی دارد. یکی از اشتباهات رایج این است که در یک پرسش دو مطلب جداگانه عنوان می¬شود. پرسش¬ها نباید تنها به صورت پرسش¬های دو گزینه¬ای « بله » و « خیر » باشد. بلکه پرسش¬های تشریحی نیز، باید طرح شود تا پاسخ دهندگان بتوانند نظرات خود را ابراز کنند. در انتهای پرسشنامه¬ها باید قسمتی را به پرسش¬ها و پاسخ¬های پیشنهادی فرد پاسخ¬دهنده اختصاص داد ]32-27[.
روش نمونه¬گیری(Sampling) 
اگر متخصصین یا افراد شرکت¬کننده در مطالعه شناخته شده نباشند از روش نمونه¬گیری گلوله برفی (Snowball) استفاده می¬شود ]2[. به طوری که هر موقع یک متخصص در زمینه مورد پژوهش یافته شد از ایشان خواسته می¬شود که اگر متخصص دیگر واجد شرایط در این زمینه را می¬شناسد معرفی کند. اما اگر متخصصین شناخته شده باشند از روش نمونه¬گیری مبتنی بر هدف استفاده می¬کنیم و اگر تعداد متخصصین شناخته شده در زمینه مورد پژوهش ما زیاد باشد از روش نمونه¬گیری تصادفی استفاده می¬شود. در هر حال کیفیت اطلاعات شرکت¬کنندگان در مطالعه مهم¬تر از تعداد آنها می¬باشد ]23[.
گمنامی شرکت¬کنندگان ( Anonymity of Delphi participants)
یکی از ویژگی¬های مهم این روش از مطالعه ناشناختگی و گمنامی (Anonymity) افراد شرکت¬کننده در مطالعه می‌باشد. افراد هم¬دیگر را نمی¬شناسند به همین خاطر امکان تاثیر¬پذیری آنها از هم کاهش می¬یابد ]1[. در روش مطالعه دلفی، اطلاعات بدون تماس فیزیکی منتقل می¬گردد و شرکت¬کنندگان، سایر افراد درگیر در مطالعه را نمی¬شناسند و یا حداقل پاسخ¬های آنها ناشناخته می¬باشد ]28[. ناشتاختگی به هر یک از اعضای شرکت¬کننده در مطالعه فرصت برابری می¬دهد تا نظرات خود را بیان کرده و نظرات خود را بدون فشار روانی و شناسایی به وسیله سایر اعضاء ارائه دهند، که تسهیل¬کننده تحقیقات و پاسخ¬های باز بوده و موجب کسب دانش و آگاهی کافی در تحقیق می¬گردد ]17، 11[ در مواردی ممکن است افراد همدیگر را شناخته اما در هر صورت، به پاسخ¬های یک¬دیگر به طور مشخص دسترسی ندارند ]29[. به نظر می¬رسد احتمال ناشناختگی کامل نباشد، چرا که ممکن است محقق، افراد پاسخ¬دهنده اصلی را بشناسد ]32[. اما برای حفظ حقوق شرکت¬کنندگان به آنها اجازه می¬دهند که در آخرین فرم پژوهش نامشان را به عنوان همکار بنویسند ]4 .[
زمان (Time) 
اجرای مطالعه دلفی زمان¬بر می¬باشد. زمان مورد نیاز برای اجرای پژوهش دلفی شامل زمان¬های لازم برای هماهنگ کردن جهت (سازمان¬دهی، درخواست و دریافت اطلاعات)، فکرکردن، نوشتن و ارسال به متخصصین است ]44-43[. در مطالعات مختلف، زمان¬های متفاوتی برای اجرای پژوهش گزارش شده است ]45[. اما استفاده از تکنولوژی الکترونیک از جمله ساخت پرسش¬نامه¬ها به صورت لینک فرصتی است که با امتیازهای ذخیره¬سازی، پردازش و توانایی انتقال پرسرعت، حفظ گمنامی پاسخ¬دهندگان و پتانسیل بازخورد سریع از طریق رایانه و اینترنت سریع¬تر و آسا¬ن¬تر انجام می‌گردد ]45-44.[
آنالیز نتایج (Analysis of results) 
روش¬های تجزیه و تحلیل داده¬ها با توجه به هدف مطالعه دلفی، ساختار دورها، انواع سؤالات و تعداد شرکت¬کنندگان متفاوت است. به طور معمول، از تکنیک¬های تحلیل محتوا برای شناسایی مضامین اصلی تجربه و توافق انسان به عنوان پایه و اساس حقیقت استفاده می¬شود ]46[. در پژوهش¬هایی با روش دلفی، هم اطلاعات کیفی و هم کمی جمع¬آوری میشود اما متأسفانه روش مورد استفاده برای آنالیز و چگونگی مدیریت اطلاعات تولید شده به روشنی تعریف نگردیده است. نبود راهنمای مناسب منجر به تنوع رویکرد و تفسیر گزارش¬ها به طریق مختلف شده که در نتیجه، انسجام و پیوستگی روش را تحت تأثیر قرار می¬دهد ]47[. شاخص‌های آماری اصلی مورد استفاده در مطالعات دلفی شاخص‌های مرکزی (میانگین، میانه و مد) و شاخص¬های پراکندگی (انحراف معیار و دامنه¬ی میان چارکی) هستند ]22,2 [. در میان این شاخص¬ها استفاده از میانه و مد مطلوب¬تر می¬باشد، هرچند میانگین نیز قابل به کارگیری است ]2[. استفاده از مد نیز برای گزارش¬کردن دادههای دلفی مناسب و توصیه شده است ]32[. در کل، بهطور معمول، برای آنالیز نتایج دلفی، در اولین دور، آنالیز محتوی برای شناسایی موضوعات اصلی در پرسشنامه بدون ساختار اولیه انجام می¬گیرد که نتایج آن پرسش¬نامه بدون ساختار را به پرسش¬نامه¬های با ساختار تبدیل نموده، اساس دورهای بعدی را تشکیل می-دهد. در دومین دور، آغاز به کارگیری روش¬های کمی است که تکنیک رتبه¬بندی و درجه بندی (میانه و چارک¬ها) استفاده می¬شود و در سومین دور و دورهای بعدی، شاخص-ها¬ی مرکزی و پراکندگی به کار میروند ]48 ,2[.
اجماع نظرات متخصصین (Consensus)
منظور از اجماع، رسیدن به اتفاق¬نظر در مورد یک ایده و گاهی تلاش برای مشخص ساختن تفاوت¬ها است. اجماع به معنی یافتن پاسخ صحیح نیست، بلکه صرفاً توافق شرکت کنندگان در یک سطح خاص در موضوع است ]50-49[. تحقیقات در زمینه¬ی مطالعات دلفی نشان می¬دهد که در این مطالعات معیار مشخصی برای نمایاندن دست¬یابی به اجماع و هم¬گرایی وجود ندارد. معیاری که معمولاً مورد توجه است، این است که حداقل60 درصد پاسخ¬دهندگان موافق این باشند که این رویدادها با احتمالی بین 50 تا 90 درصد رخ می¬دهد. این تحقیقات، هم¬چنین نشان می¬دهند که بیشترین تغییر در نظرات کارشناسان از دور اول به دور دوم دلفی رخ می¬دهد و شفافیت و ترکیب¬بندی مناسب پرسش¬ها به کسب اعتماد بیشتر نسبت به نتایج منجر خواهد شد ]50-48[. وقتی پرسش¬ها به این حد از کیفیت رسید، پرسش¬نامه برای شرکت کنندگان فرستاده می¬شود. در پرسش¬نامه اول، هدف مطالعه، نحوه اجرای روش دلفی (تعداد دفعات اجرای دلفی جدول زمان¬بندی مطالعه) و آدرسی که شرکت¬کننده باید پرسش¬نامه تکمیل شده را به آنجا بفرستد آورده می¬شود. در گذشته پرسش¬نامه¬ها برای کارشناسان پست می¬شد، امروزه پرسشنامه را می¬توان از طریق پست الکترونیک نیز، برای کارشناسان فرستاد. زمان پاسخ¬دهی به پرسش¬ها و ارسال آنها حداکثر در حدود دو هفته است. بنابراین، لازم است که یک هفته پس از فرستادن پرسشنامه، زمان پاسخ¬دهی به شرکتکنندگان یادآوری شود ]50[. معمولاً برگزاری سه تا چهار دوره برای رسیدن به اجماع و هم¬گرایی کافی است. معیار دیگری که نشانه حصول اجماع و پایان مطالعه دلفی است، ثابت بودن پاسخ اکثر شرکت¬کنندگان در دو دور متوالی و دستیابی به ثبات در آراء و نظرات است ]51-49[. البته دست¬یابی به توافق صد¬درصد امکان¬پذیر نیست، چرا که زمینه سیاسی، اجتماعی، اقتصادی و علمی افراد متفاوت است ] 28[. معیارهای نشان دهنده اجماع درصد گزینه¬ها (رایج¬ترین)، ثبات پاسخ¬ها و تفسیر بر مبنای نظر متخصصین است ]49,38[.
فرآیند مطالعه دلفی
همان¬طور که در قسمت انواع روش دلفی اشاره شد، روش دلفی در برگیرنده¬ی یک¬سری از دورها است و دلفی کلاسیک معمولاً شامل چهار دور می¬باشد که به طور معمول به سه دور خلاصه می¬گردد ]14-13[. بنابراین، فرآیند روش دلفی شامل دور اول، دور دوم، دور سوم و تصمیم¬گیری و تصویب می¬باشد. 
در نمودار زیر 3 مرحله اصلی روش دلفی را برای انجام منظم  مطالعه دلفی آورده شده است. این مراحل برگرفته شده از مقاله ای با عنوان، روش دلفی برای طبقه بندی تحقیقات، می¬باشد که توسط Skulmoski و همکارانش انجام گرفته است ]14[.
 


طرح 



   
                                     نمودار 1:  مراحل اصلی انجام مطالعه به روش دلفی

 
اگرچه بسیاری از مطالعات بیانگر درجه¬ای از تفسیر و انعطاف¬پذیری هستند، یک نظرسنجی کلاسیک دلفی از مجموعه¬ای از مراحل تعریف شده پیروی می¬کند که هم روندهای رفتاری و هم آماری را منعکس می¬کند. به طور معمول سه دور از پرسش¬نامه¬ها به یک هیاًت متخصصین منتخب ارسال می¬شود، اگرچه تصمیم¬گیری درباره تعداد دور تا حد زیادی عملی و واقع بینانه است و بیشتر وابسته به موضوع انتخاب شده می¬باشد ]53-51[. گفته می¬شود که پرسش¬نامه¬های آزمایشی پایلوت اختیاری هستند، اما محققین ممکن است با انجام این طرح پایلوت به شناسایی ابهامات، بهبود امکان سنجی و هم¬چنین روشن شدن سؤالات و تمرکز سؤالات بر هدف تحقیق برای اجرای هر چه بهتر طرح کمک کند ]52[. همچنین بهتر است که به هر صورتی یا تماس تلفنی، یا ایمیل و یا پیام با افراد شرکت-کننده در مطالعه ارتباط برقرار گردد که مسائل مورد نیاز اجرای طرح از جمله، ارائه هدف و معرفی مرکز یا شخص انجام دهنده، علت انتخاب، معرفی فرم¬ها، نحوه پاسخ دادن به سؤالات پرسش¬نامه، زمان مورد نیاز، نحوه دریافت پرسش¬نامه، نحوه دریافت نتایج، تمایل به شرکت و تشکر بیان گردد ]43[.
دور اول 
این دور اولین مرحله از انجام مطالعه با استفاده از روش دلفی می¬باشد. هدف آن، جمع¬آوری و طبقه¬بندی نظرات کارشناسان شرکت ¬کننده در مطالعه با استفاده از سؤالات باز و بسته موجود در پرسش¬نامه می¬باشد که حاصل آن تهیه پرسش¬نامه برای دور¬های بعدی و در نهایت تصمیم-گیری در مورد موضوع مورد بحث می¬باشد.
پرسش¬نامه دور اول معمولاً بدون ساختار است و دارای سؤالات باز است. این امر به شرکت¬کنندگان امکان می¬دهد تا از دامنه نسبتاً آزاد مطالبی راجع به موضوع مورد بررسی توضیح دهند. نقش دور اول شناسایی موضوعات مرتبط با عنوان تحت مطالعه است که باید در دورهای بعدی به آنها پرداخته شود. سؤالات باز به منظور افزایش توانگری داده‌های جمع¬آوری شده شناخته می¬شوند ]54[. در این مرحله از هر یک از متخصصین شرکت¬کننده در مطالعه  درخواست می¬شود تا شخصاً هر نوع ایده و نظر خود را آزادانه بیان نمایند، و فهرست موضوعات مورد نظر خود را به طور مختصر و بدون نام بازگردانند ]44[. در این مرحله، تمام پاسخ¬های مرتبط تا حد امکان جمع¬آوری شده و نیازی به توسعه کامل ایده¬ها نیست و هیچ تلاشی برای ارزیابی یا قضاوت نظرات صورت نمی¬گیرد زیرا بقیه مراحل بر اساس مرحله اول شکل می¬گیرد ]56-55[. پس از جمع¬آوری پرسش¬نامه¬های تحویل داده شده به شرکت کنندگان، پاسخ‌های داده شده، سازمان¬دهی و نظرات مشابه ترکیب می¬گردد و سپس گروه¬بندی بین سؤالات انجام میگیرد و موضوعات تکراری و حاشیه¬ای حذف می¬گردد ]55 ,34[. سپس تجزیه و تحلیل کیفی از نتایج این مرحله انجام می‌شود و این پایه¬ای را برای ساخت پرسش¬نامه¬های دورهای دوم و بعدی فراهم می¬آورد. آنالیز پاسخ¬های اولین دور براساس کدهای کیفی و یا خلاصه¬ها¬ی آماری صورت می‌گیرد ]55[.
دور دوم
این دور دومین مرحله از انجام مطالعه با روش دلفی است.  در این مرحله پرسش¬نامه تهیه شده در دور اول، دوباره در اختیار همان شرکت¬کنندگان دور اول قرار داده می¬شود. هدف از انجام این دور رتبه¬بندی کردن موارد موجود در پرسش¬نامه بر اساس معیار¬های طراحی شده همراه با ذکر دلایل و همچنین انجام تحلیل¬های اولیه می¬باشد.
در دور دوم، هریک از شرکت¬کنندگان دلفی در مرحله اول پرسش¬نامه دور دوم را دریافت می¬کنند و از آنها خواسته میشود مواردی را که توسط محققان جمع¬آوری شده است بر اساس اطلاعات ارائه شده در دور اول بررسی کنند. هر عنوان را با استفاده از مقیاس لیکرت  (Likert scale) رتبه‌بندی، و به عبارتی، کمیت¬پذیر نمایند. بر این اساس، ممکن است لازم باشد که از اعضای هیاًت نمایندگان دلفی رای¬گیری یا ایجاد اجماع نظر درباره یک موضوع خاص را ارائه دهند ]58-56[. به طور خاص، فرآیند بازخورد به شرکت¬کنندگان منتخب دلفی اجازه می¬دهد تا دوباره قضاوت¬های اولیه خود را درباره اطلاعات ارائه شده در تکرارهای قبلی ارزیابی کنند. بنابراین، در یک مطالعه دلفی، نتایج تکرارهای قبلی درباره اظهارات و یا موارد خاص می‌تواند توسط اعضاء جداگانه در تکرارهای بعدی با توجه به توانایی آنها در بررسی و ارزیابی نظرات و بازخورد ارائه شده توسط دیگر اعضای هیاًت دلفی، تغییر یا اصلاح شود ]56 ،29[. در اینجا موارد مورد توافق و عدم توافق مشخص می‌گردد و فضایی برای شناسایی ایده¬های جدید، تفسیر، حذف و تصحیح، توضیح قدرت و ضعف آنها به وجود می¬آید حتی در بعضی موارد، از شرکت¬کنندگان خواسته میشود تا استدلال و دلیل اولویت¬بندی خود بین گزینه¬ها را بیان کنند ]29 ,2[. پس از جمع¬آوری پرسش¬نامه دور دوم، آنالیز و خلاصه آماری از جمله چارک و میانه و یا رتبه¬بندی تهیه میشود. نتیجه آن آغاز شکل¬گیری همگرایی نظرات بین شرکت¬کنندگان است ]59-57[.
دور سوم
این دور سومین و اغلب آخرین مرحله از انجام مطالعه با روش دلفی است. هدف از انجام این دور بازبینی و تجدید-نظر  نظرات کارشناسان درخصوص پرسش¬نامه تهیه شده و داوری و رتبه¬بندی انجام گرفته می¬باشد که هدف آن رسیدن به اجماع نظر و توافق در خصوص موضوع مورد بحث می¬باشد.
در دور سوم، هر یک از شرکت¬کنندگان دلفی پرسش‌نامه‌ای دریافت می¬کنند که شامل موارد و رتبه¬بندی-هایی است که توسط محققان در دور قبل جمع¬بندی شده است که از آنها خواسته می¬شود تا در داوری¬های وی تجدید نظر کنند یا دلایل باقی ماندن در خارج از اجماع را مشخص کنند. این دور به اعضای هیاًت دلفی فرصتی می¬دهد تا با در نظر گرفتن میانگین و میانه نمرات هر سوال یا عنوان، اهمیت آن را درجهبندی کرده و درباره اطلاعات و داوری¬های آنها در مورد اهمیت نسبی موارد توضیحات بیشتری ارائه دهند ]60[. از این دور به بعد، شرکت¬کنندگان پاسخ¬های خود و سایر اعضاء را دوباره ملاحظه نموده و فرآیند تا زمان عدم دست¬یابی به ایده جدید و شناسایی نقاط ضعف و قوت همه نظرات، تکرار می¬گردد. البته تعداد دورهای بعدی با توجه به هزینه، زمان و احتمال خستگی شرکت¬کنندگان در نظر گرفته می¬شود ]17[.
در بعضی موارد دور چهارم هم انجام می¬گیرد که، لیست موارد باقی¬مانده، رتبه¬بندی¬های آنها ، نظرات اقلیت¬ها و مواردی که به اجماع می¬رسند، در اختیار اعضای هیاًت قرار می¬گیرد. این دور فرصتی نهایی برای شرکت¬کنندگان برای تجدید نظر در داوری¬های خود ارائه می¬دهد. لازم به یادآوری است که تعداد دورهای دلفی تا حد زیادی به میزان اجماع از محققان بستگی دارد و می¬تواند از سه تا پنج دور متغیر باشد. در قسمت تصمیم¬گیری و تصویب هم نتایج نهایی مطالعه انجام شده، و تهیه و منتشر می¬گردد و متخصصین شرکت¬کننده در طرح در نتایج سهیم می¬گردند ]61[.
در نمودار زیر روند نمای ساده روش دلفی را برای انجام یک مطالعه دلفی منظم آورده شده است که مراحل این نمودار برگرفته شده از مقاله¬ای با عنوان، تکنیک دلفی؛ ارزیابی تجربی که توسط Riggs و مقاله¬ای دیگر با عنوان مفاهیم روش شناختی و عملی تکنیک دلفی در تصمیم‌گیری بازاریابی و ساخت: یک مقاله مقدماتی ارزیابی مجدد که توسط Story و همکاران  انجام گرفته است ]63-62[.
 
 














                                                                                                                      بله





نمودار 2- روند ساده انجام مراحل روش دلفی

 
نقاط قوت و ضعف روش دلفی  (Weaknesses and strengths)
نقاط قوت روش دلفی 
1- دلفی به عنوان روشی سریع (نسبت به روش¬های دیگر)، ارزان و یک روش نسبتاً کارآمد برای ترکیب دانش و تواناییهای گروهی از متخصصان توصیف شده است ]64[.
2- انعطاف¬پذیری زیاد این روش، کاربرد در برنامه¬های مختلف، به کارگیری رویکردهای ارتباطی مختلف و امکان استفاده در سطح جغرافیایی وسیع، عدم نیاز به آموزش مصاحبه¬گران، گمنامی، استفاده از سؤالات باز، شناسایی و فهم زیربنای موضوع از مزایای دیگر روش دلفی است ]65-64[.
3- دلفی برای پرسش¬هایی که نیاز به توضیح و قضاوت دارد، یک روش مناسب است. با کاربرد پرسش¬نامه در روش دلفی، امکان دسترسی به تعداد بیشتری متخصص وجود دارد. در واقع میزان محدودیت در تعداد شرکت¬کنندگان بستگی به میزان دقت و بودجه دارد ]64[.
4- مزیت مهم پرسش¬نامه در روش دلفی این است که بر اساس نیازهای اطلاعاتی موردنظر محققان تنظیم می¬شود ]64 ،61[.
5- از لحاظ روانی، اغلب افراد نمی¬توانند درباره پاسخ¬هایی که به پرسش¬نامه می¬دهند، مطمئن باشند و نیازمند تکیه گاهی خارجی هستند. میانگین نظرات دیگر افراد، که در مراحل بعدی در پرسش¬نامه¬ها آورده می¬شود می¬تواند نقش این تکیه¬گاه را بازی کند ]61[.
6- دلفی دلایل شفافی برای اجماع ارائه می¬دهد. پرسشنامه دلفی را می¬توان چندین بار مرور و برای مراجعات بعدی بایگانی کرد ]66 ,30 ,2[.
نقاط ضعف روش دلفی
1- روش دلفی نیاز به دقت زیاد برای انتخاب شرکت کنندگان و تهیه پرسش¬نامه دارد و یکی از مهم¬ترین محدودیت¬های این تکنیک، نیازمندی به تلاش و کار زیاد، سیر آهسته و وقت¬گیر بودن آن است ]67 ,33[.
2- برخی از محققان معتقدند که روش دلفی نسبت به روش¬های دیگر پاسخ¬های صحیح¬تری به دست نمی¬دهد و توافق به دست آمده در این روش نیز، نتیجه اعمال فشار بر شرکت کنندگانی است که نظریات غیرمعمول دارند. در این اجماع، خصوصیات فردی نقش مؤثری دارد. مثلاً این که شخص تا چه حد گرایش به تضاد با جمع دارد، در تغییر عقیده او مؤثر است. اگر شخصی تضاد کمتری داشته باشد، تمایل او به جذب در گروه و قبول نظر اکثریت بیشتر است. به عبارتی ممکن است اجماع ظاهری یا فشار برای هم¬نوایی با رتبه¬بندی رخ دهد و یا بازخورد توافقات گروه بر نظرات اعضای هیاًت¬ها تأثیر بگذارد ]28 ,17[.
3-  در روش دلفی، برخی از نظرات احتمالاً تأثیر گذار و مهم افراد به دلیل اینکه نظر اکثریت اهمیت دارد، نادیده گرفته می¬شود.
4-  تکنیک دلفی تنها مرحله آغازینی است که صرفا برای کسب اجماع می¬کوشد و این اجماع ضرورتاً دقیق¬ترین نظر نیست ]19[. بلکه ممکن است نتیجه، شناسایی یک¬سری عبارات عمومی به جای عناوین خاص اطلاعاتی باشد. چرا که در دلفی فرض، برابری شرکت¬کنندگان از دانش و تجربه است، اما در عمل این فرض ممکن است صحیح نباشد. بخصوص در موضوعات خاص معمولاً توزیع متخصصین یا همان اعضای هیاًت نابرابر بوده و بعضی از متخصصین دارای دانش عمیق در مورد موضوع بوده، در حالی که سایر اعضای هیاًت دانش زیاد در مورد موضوع مورد بررسی نداشته باشند. بنابراین افرادی که دانش عمیق نداشته، قادر به تعیین موضوعات بسیار مهم را نداشته و نتیجه یک¬سری عبارات کلی یا عمومی خواهد بود ]30,18,4[.
5- پرسشنامه دلفی ممکن است گمراه¬کننده و حتی نامربوط باشد. بنابراین، باید با دقت زیادی طراحی شود ]18[.
6- پرسشنامه دلفی ممکن است پاسخ دهنده¬گان را محدود کند و آنها را از گفتن آنچه که فکر می¬کنند درست است، باز دارد ]28[.
 7-  طولانی بودن مدت زمان مطالعه، ریزش افراد متخصص، احتمال دریافت میزان پایین پاسخ، خستگی افراد از مراحل و موضوع، عدم وجود معیارهای کلیدی و مشخص در تعریف افراد متخصص، سطح اجماع و اندازه گروه متخصص شرکت¬ کننده در مطالعه از دیگر محدودیت های این روش می¬باشد ]17[.
روایی و پایایی Reliability and Validity) (
هنگام انجام هر مطالعه تحقیقاتی، باید به مسائل مرتبط با ویژگی¬های فنی آن توجه شود. شاخص اعتبار نشان می-دهد که تا چه اندازه در تمام مواقع تحت شرایط یکسان نتایج مشابه حاصل می¬شود؛ به عبارت دیگر، آیا اگر اطلاعات یکسانی به دو یا تعداد بیشتری از افراد گروه متخصص داده شود، نتایج مشابه به دست خواهد آمد؟ کنترل روایی و پایایی روش دلفی آسان نیست چنان که دلفی به دلیل نداشتن شواهدی از پایایی شدیداً مورد انتقاد قرار گرفته است. به عبارتی، اگر اطلاعات یا سؤالات مشابه به اعضای هیاًت داده شود، دست¬یابی به نتایج یکسان حتمی نیست برای غلبه بر این معضل، لینکلن و گوبا (Lincoln and Guba) معیاری برای مطالعات کیفی که میتواند به اطمینان در مورد اعتبار تفسیر نتایج کمک کند، تولید کرده¬اند. این معیار بر اساس چهار مقوله، قابلیت انتقال (transferability)، اعتبار یا قابل قبول بودن (credibility) قابل استفاده یا کاربرد (applicability) قابل حسابرسی یا سازگاری (conformability) پایه گذاری شده است ]64[. به هر حال، استفاده از پرسش¬نامه¬های پی در ¬پی و شرکت کنندگانی که درباره موضوع مورد بررسی تخصص داشته و علاقه¬مند به شرکت در فرآیند دلفی هستند، می-تواند به افزایش روایی محتوای دلفی کمک کند در نهایت اعتبار نتایج حاصل از روش دلفی، تحت تأثیر میزان پاسخ-دهی است ]68[.
پیشنهادهایی برای انجام بهتر مطالعات دلفی
1-  این روش برای مطالعات پیچیده که نیاز به بارش افکار متخصصین در یک زمینه خاص دارد کاربرد داشته و برای  انجام هرچه بهتر آن باید، هماهنگی¬ها و ابزار و فنون لازم فراهم گردد و همچنین تا حد ممکن افراد خبره و متخصص موضوع مورد بررسی جهت شرکت در مطالعه انتخاب گردند ]43[.
 2-  مشخص کردن و مناسب بودن موضوع مورد بررسی جهت جلوگیری از سردرگمی متخصصین و شرکت¬کنندگان مطالعه ]29.[
3-  انتخاب متخصصین علاقه¬مند،. توجیه کردن صحیح آنها و ارسال پیام¬های یادآوری، برای شرکت در مطالعه جهت جلوگیری از ریزش شرکت¬کنندگان ]2[.
4- تنظیم کردن زمان کافی برای ارائه نظرات هر متخصص با توجه به شرایط مطالعه ]8[.
5-  مشخص کردن معیارهای رسیدن به اجماع و توافق-نظر بر اساس نظرات اعضای هیاًت قبل از شروع مطالعه ]14[.
6-  قرار دادن گروهی از محققین یا افراد هماهنگ¬کننده جهت پاسخ¬گویی و شفاف¬سازی هرگونه سؤال و ابهامی در مراحل انجام پژوهش ]8،5[.
7-  مصاحبه با چند نفر  از افراد محقق و آگاه جهت مشخص کردن اعتبار یافته¬ها ]63-59[.
نتیجه¬گیری
در این مقاله مفاهیم و اصول اصلی تکنیک دلفی بیان شده است. همچنین نشان داده شده است که روش دلفی روشی گسترده و سیستماتیک و قابل انعطاف است، که از گروهی از متخصصین خبره برای پیش¬بینی و تعیین اولویت-های طرح مورد نظر که در سطح وسیع و طرح¬های مختلف به کار رفته است. به ویژه برای دستیابی به اجماع در موضوعات مبهم، نامشخص و با شواهد تجربی کم بسیار کمک کننده است. مزایای آن گمنامی، به¬کارگیری رویکردهای مختلف ارتباطی، شناسایی و فهم زیربنای موضوع، و به خصوص عدم تأثیرگذاری عقاید و شخصیت افراد خاص در نظرات گروه است. البته محدو¬دیت¬هایی همچون سیر آهسته و وقت¬گیر، امکان اجماع ظاهری، تورش منبع اطلاعات، ریزش افراد متخصص، احتمال دریافت میزان پایین پاسخ، خستگی افراد از مراحل و موضوع، عدم وجود معیارهای کلیدی و مشخص در تعریف افراد متخصص، سطح اجماع و اندازه گروه متخصص شرکت¬کننده در مطالعه هم-چنین به عنوان یک روش مفید برای شکل دادن به ارتباطات و توافق در گروه¬های متنوع شناخته شده است. با این حال، عدم وضوح در مورد ابزاری که با آن اجماع تعریف می¬شود و تفسیرهای مختلف حاصل از دلفی، نقاط ضعف روش شناختی و لزوم تصمیم¬گیری دقیق و صریح را در کاربرد آن نشان می¬دهد. در پایان، یافته¬های حاصل از روش دلفی بیان¬گر نظرات متخصصین است، نه یک واقعیت غیرقابل انکار. معیارهای تصمیم¬گیری و رسیدن به اجماع کلی قبل از اجرای مطالعه باید مطابق با اهداف مطالعه به طور دقیق مشخص گردد و تحقیقات لازم و مناسب برای اعتبار سنجی دقیق یافته¬ها انجام گیرد که این فرآیند به اعتبار پژوهش کمک می¬کند. 
تشکر و قدردانی
به این وسیله از دوران محترمی که زحمت داوری این پژوهش را متقبل شدند و صمیمانه نکات لازم را جهت اصلاح مجدد بازگو کردند، همچنین تمامی کسانی که در انجام این پژوهش ما را یاری نمودند، نهایت تشکر و سپاسگزاری را داریم. 
. 
 
References


 
[1] Hasson F, Keeney S, McKenna H. Research guidelines for the Delphi survey technique. Journal of advanced nursing 2000 Oct;32(4):1008-15.
[2] Ahmadi F, Nasiriani K, Abazari P. Delphi technique: a tool for research. Iranian Journal of Medical Education 2008;8(1):175-85.
[3] Rezaeian M. Getting to Know the Delphi Method. Journal of Rafsanjan University of Medical Sciences 2019 Mar 10;17(12):1093-4.
[4] Hsu CC, Sandford BA. The Delphi technique: making sense of consensus. Practical Assessment, Research, and Evaluation 2007;12(1):10.
[5] Habibi A, Sarafrazi A, Izadyar S. Delphi technique theoretical framework in qualitative research. The International Journal of Engineering and Science. 2014 Aug 13;3(4):8-13.
[6] Rezaeian M. Standards for Reporting Qualitative Research. Journal of Rafsanjan University of Medical Sciences 2019 Dec 10;18(9):859-60. 
[7] Rezaeian M. Getting to Know the Nominal Group Technique. Journal of Rafsanjan University of Medical Sciences 2019 Apr 10;18(1):1-2.
[8] Walker AM, Selfe J. The Delphi method: a useful tool for the allied health researcher. British Journal of Therapy and Rehabilitation 1996 Dec;3(12):677-81.
[9] Kim CH, Yeo K. beyond consensus: a review of Delphi research published in Malaysian social science journals. International Journal of Business & Society 2018 Jan 3;19.
[10] Habibi A, Sarafrazi A, Izadyar S. Delphi technique theoretical framework in qualitative research. The International Journal of Engineering and Science 2014 Aug 13;3(4):8-13.
[11] Turoff M, Linstone HA. The Delphi method: techniques and applications. [cited 2008 Oct 19]. Available from: http://is.njit.edu/pubs/delphibook/
[12] Kauko K, Palmroos P. The Delphi method in forecasting financial markets An experimental study. International Journal of Forecasting 2014 Apr 1;30(2):313-27.
[13] Rowe G, Wright G. The Delphi technique as a forecasting tool: issues and analysis. International journal of forecasting 1999 Oct 1;15(4):353-75.
[14] Skulmoski GJ, Hartman FT, Krahn J. The Delphi method for graduate research. Journal of Information Technology Education: Research. 2007 Jan 1;6(1):1-21.
[15] Crisp  J, Pelletier  D, Duffield C, Adams A, Nagy SU. The Delphi method?. Nursing research 1997 Mar 1;46(2):116-8.
[16] Keeney S, Hasson F, McKenna HP. A critical review of the Delphi technique as a research methodology for nursing Int J Nurs Stud 2001 Apr; 38(2): 195-200.
[17] Ali AK. Using the Delphi technique to search for empirical measures of local planning agency power. The Qualitative Report 2005 Dec 1;10(4):718-44. 
[18] Grove SK, Burns N, Gray J. The practice of nursing research: Appraisal, synthesis, and generation of evidence Elsevier Health Sciences; 2012.
[19] Jorm AF. Using the Delphi expert consensus method in mental health research. Australian & New Zealand Journal of Psychiatry 2015 Oct;49(10):887-97.
[20] Chu HC, Hwang GJ. A Delphi-based approach to developing expert systems with the cooperation of multiple experts. Expert systems with applications 2008 May 1;34(4):2826-40.
[21] Rosenthal R, Hoffmann H, Clavien PA, Bucher HC, Dell-Kuster S. Definition and classification of intraoperative complications (CLASSIC): Delphi study and pilot evaluation. World journal of surgery 2015 Jul 1;39(7):1663-71.
[22] Salsali M, Parvizy S, Adibehajibagheri M. Raveshhaye tahghige kayfi. Tehran: Boshra. 2003.
[23] Fathivajgar K. [Barnamerizyeh amozeshe zemne khedmate karkonan]. 1st ed. Tehran: Samt 2004. Persian
[24] Hahn EJ, Rayens MK. Consensus for tobacco policy among former state legislators using the policy Delphi method. Tobacco Control. 1999 Jun 1;8(2):137-40.
[25] Tichy G. The decision Delphi as a tool of technology policy-the Austrian experience. International Journal of Technology Management 2001 Jan 1;21(7-8):756-66.
[26] Abaszadegan M, Torkzade J. [Niyazsanjie amuzeshi dar sazmanha]. 1st ed. Tehran: Entesharate Sherkate Sahami Enteshar 2000. Persian
[27] Dempsey PA, Dempsey AD. Using nursing research: Process, critical evaluation, and utilization. Lippincott Williams & Wilkins; 2000.
[28] Van Teijlingen E, Pitchforth E, Bishop C, Russell E. Delphi method and nominal group techniques in family planning and reproductive health research. Journal of Family Planning and Reproductive Health Care 2006;32(4):249-52.
 [29] Windle PE. Delphi technique: assessing component needs. Journal of perianesthesia nursing: official journal of the American Society of PeriAnesthesia Nurses 2004 Feb;19(1):46.

[30] Landeta J. Current validity of the Delphi method in social sciences. Technological forecasting and social change 2006 Jun 1;73(5):467-82.
[31] Beretta R. A critical review of the Delphi technique. Nurse researcher 1996 Jun;3(4):79-89.
[32] Mayers CA. An evaluation of the use of the Mayers' Lifestyle Questionnaire. British Journal of Occupational Therapy 1998 Sep;61(9):393-8.
 [33] Powell C. The Delphi technique: myths and realities. Journal of advanced nursing 2003 Feb;41(4):376-82. 
[34] Adler M, Ziglio E. Gazing into the oracle: The Delphi method and its application to social policy and public health. Jessica Kingsley Publishers; 1996. 
[35] Bramwell L, Hykawy E. The Delphi technique: a possible tool for predicting future events in nursing education. Canadian Journal of Nursing Research Archive 1999 Apr 13;30(4).
[36] Armstrong JS, Forecasting LR. From crystal ball to computer. New York ua 1985.
[37] Manca DP, Varnhagen S, Brett-MacLean P, Allan GM, Szafran O, Ausford A, Rowntree C, Rumzan I, Turner D. Rewards and challenges of family practice: Web-based survey using the Delphi method. Canadian Family Physician 2007 Feb 1;53(2):277-86.
[38] Oranga HM, Nordberg E. The Delphi panel method for generating health information. Health policy and planning 1993 Dec 1;8(4):405-12. 
[39] Cantrill JA, Sibbald B, Buetow S. The Delphi and nominal group techniques in health services research. International Journal of pharmacy practice 1996 Jun;4(2):67-74.
[40] Dalkey N, Helmer O. An experimental application of the Delphi method to the use of experts. Management science 1963 Apr;9(3):458-67.
[41] Fraser DM. Delphi technique: one cycle of an action research project to improve the pre-registration midwifery curriculum. Nurse Education Today 1999 Aug 1;19(6):495-501.
[42] Okoli C, Pawlowski SD. The Delphi method as a research tool: an example, design considerations and applications. Information & management 2004 Dec 1;42(1):15-29.
[43] Andrews CG, Allen JM. Utilization of technology-enhanced Delphi techniques. InWorkforce Education Forum 2002 (Vol. 29, No. 1, pp. 1-15). 
[44] Jones J, Hunter D. Consensus methods for medical and health services research. BMJ: British Medical Journal 1995 Aug 5;311(7001):376.
[45] McMillan SS, King M, Tully MP. How to use the nominal group and Delphi techniques. International journal of clinical pharmacy 2016 Jun 1;38(3):655-62.
[46] Fry M, Burr G. Using the Delphi technique to design a self-reporting triage survey tool. Accident and emergency nursing 2001 Oct 1;9(4):235-41.
[47] Imani Jajarami H. Ashnaie ba ravesh Delphi va karborde an dar tasmimgiri. Faslnameh Modiriat Shahri 2000;1(1):35-9.
[48] Murphy MK, Black NA, Lamping DL, McKee CM, Sanderson CF, Askham J, Marteau T. Consensus development methods, and their use in clinical guideline development. Health technology assessment (Winchester, England) 1998 Mar 1;2(3):i-88.
[49] Linstone HA, Turoff M, editors. The delphi method. Reading, MA: Addison-Wesley; 1975 Dec, (pp. 3-12).
[50] Kennedy HP. Enhancing Delphi research: methods and results. Journal of advanced nursing 2004 Mar;45(5):504-11..
[51] Jones J, Sanderson C, Black N. What Will Happen to the Quality of Care with Fewer Junior Doctors?: A Delphi Study of Consultant Physicians' Views. Journal of the Royal College of Physicians of London 1992 Jan;26(1):36.
[52] Jairath N, Weinstein J. The Delphi methodology (Part one): A useful administrative approach. Canadian journal of nursing administration 1994;7(3):29-42.
[53] Rowe EJ. Enhancing judgement and decision making: a critique and empirical investigation of the Delphi technique (Doctoral dissertation, University of the West of England at Bristol).
[54] McGeary J. A critique of using the Delphi technique for assessing evaluation capability-building needs. Evaluation Journal of Australasia 2009 Mar;9(1):31-9.
[55] Critcher C, Gladstone B. Utilizing the Delphi technique in policy discussion: a case study of a privatized utility in Britain. Public administration 1998;76(3):431-49.
[56] Farley CL. Midwifery’s research heritage: A Delphi survey of midwife scholars. Journal of midwifery & women's health 2005 Mar 1;50(2):122-8.
[57] Williams PL, Webb C. The Delphi technique: a methodological discussion. Journal of advanced nursing 1994 Jan;19(1):180-6.
[58] Brooks KW. Delphi technique: Expanding applications. North Central Association Quarterly 1979;53(3):377-85. 
[59] Gibson JM. Using the Delphi technique to identify the content and context of nurses' continuing professional development needs. Journal of clinical nursing 1998 Sep;7(5):451-9.
[60] Weaver WT. The Delphi forecasting method. The Phi Delta Kappan 1971 Jan 1;52(5):267-71.
[61] Cornick P. Nitric oxide education survey–Use of a Delphi survey to produce guidelines for training neonatal nurses to work with inhaled nitric oxide. Journal of Neonatal Nursing 2006 Apr 1;12(2):62-8.
[62] Riggs WE. The Delphi technique: An experimental evaluation. Technological forecasting and social change 1983 Mar 1;23(1):89-94.
[63] Story V, Hurdley L, Smith G, Saker J. Methodological and practical implications of the Delphi technique in marketing decision-making: a re-assessment. The Marketing Review 2000 Dec 1;1(4):487-504.
[64] Lindeman CA. Delphi survey of priorities in clinical nursing research. Nursing research 1975;24(6):434-41..   
[65] Pill J. The Delphi method: substance, context, a critique and an annotated bibliography. Socio-economic planning sciences 1971 Feb 1;5(1):57-71.
[66] Jairath N, Weinstein J. The Delphi methodology (Part one): A useful administrative approach. Canadian journal of nursing administration 1994;7(3):29-42. 
[67] Beech B. Studying the future: a Delphi survey of how multi‐disciplinary clinical staff view the likely development of two community mental health centres over the course of the next two years. Journal of advanced nursing 1997 Feb;25(2):331-8.
[68] Goodman CM. The Delphi technique: a critique. Journal of advanced nursing 1987 Nov;12(6):729-34.
 
 
Methodological Principles and Applications of the Delphi Method: A Narrative Review

A. Rahmani , R. Vaziri Nejad , H. Ahmadi Nia , M. Rezaian 



Received: 24/12/2019    Sent for Revision: 14/03/2020    Received Revised Manuscript: 26/04/2020    Accepted: 06/05/2020


Background and Objectives: The appearance of complex issues with insufficient information has resulted in the consensus or unanimity spread. The consensus methods include the nominal group and the Delphi method.The Delphi method is a systematic process to predict and help making decision through survey rounds and information gathering and finally the group consensus. This method has been designed as a group communication process aiming at conducting accurate examinations and discussion of a particular issue in order to determine aims, political researches and future events prediction based on experts’ opinions. Therefore, the aim of this study is to gain a general understanding about methodology and its applications in designing different programs with due attention to the importance of this method in medical sciences research, including health. In this study, first the general structure of the Delphi study method (history, definitions, purposes and its application) is discussed.  Afterwards, different types of Delphi method, including classical, policy, decision, numerical and historical methods (along with examples for better understanding of the subject) are discussed. In the following part, the main components of  the Delphi method including recitation or repetition, experts, experts qualifications, number of experts involved in the study, controlled feedback, questionnaire, sampling method, participant anonymity, time, results analysis, and experts consensus are explained. Finally, the Delphi study process, which includes the first, second and third rounds, and studying the weaknesses and strengths, validity and reliability of the Delphi method, is studied. 
Key words: Methodological, Application, Delphi method, Narrative review

Funding: This study did not have any funds.
Conflict of interest: None declared.
Ethical approval: None declared.

How to cite this article: Rahmani A, Vaziri Nejad R, Ahmadi Nia H, Rezaian M. Methodological Principles and Applications of the Delphi Method: A Narrative Review. J Rafsanjan Univ Med Sci 2020; 19 (5): 515-38. [Farsi]