معرفی Cedser: چارچوبی برای کمک های اجتماعی درجا یادگیری درجا از دانش و تظاهرات تخصصی

روبات های کمکی اجتماعی پتانسیل تقویت و تقویت اثربخشی درمانگر در کارهای تکراری مانند روشهای درمانی شناختی را دارند. با این حال ، سهم آنها به طور کلی محدود بوده است زیرا کارشناسان دامنه به طور کامل در کل خط لوله فرآیند طراحی و همچنین در اتوماتیک رفتار روبات ها دخیل نبوده اند. در این مقاله ، ما رفتار کمک کننده عامل یادگیری فعال (CENSSER) را ارائه می دهیم ، یک چارچوب جدید که با استفاده از تخصص درمانگر (رویکرد دانش محور) و تظاهرات آنها (رویکرد داده محور) رفتار کمکی را به طور فعال می آموزد. با سوءاستفاده از این رویکرد ترکیبی ، روش ارائه شده در یادگیری سریع درجا ، به روشی کاملاً خودمختار ، سیاست های شخصی خاص بیمار را امکان پذیر می کند. با هدف ارزیابی چارچوب خود ، ما دو مطالعه کاربر را در یک مرکز مراقبت روزانه انجام دادیم که در آن افراد مسن تحت تأثیر زوال عقل خفیف و اختلال شناختی خفیف (22 نفر) درخواست کردند تا تمرینات شناختی را با حمایت از یک درمانگر و بعداً حل کننداز یک ربات وقف شده با Cader. نتایج نشان داد که: (i) این روبات توانست عملکرد بیماران را در طول جلسات حتی بیشتر از درمانگر پایدار نگه دارد.(ب) کمکهای ارائه شده توسط ربات در طول جلسات سرانجام با ترجیحات درمانگر مطابقت داشت. نتیجه می گیریم که Cedser ، با طراحی ذینفعان محور خود ، می تواند راه را برای رویکردهای جدید هوش مصنوعی که با استفاده از تعامل انسانی و انسانی به همراه تخصص انسانی یاد می گیرند ، هموار کند ، که این مزایا برای سرعت بخشیدن به روند یادگیری است و نیاز به طراحی را از بین می برد. از توابع پاداش پیچیده و در نهایت جلوگیری از کشورهای ناخواسته.

روی نسخه خطی کار می کنید؟

معرفی

بروز ناتوانی شناختی در دهه گذشته افزایش یافته است و پیش بینی می شود در 20 سال آینده حتی بیشتر شود (سازمان بهداشت جهانی 2017). روبات های توانبخشی می توانند ابزاری بسیار مفید برای تقویت اثربخشی درمانگران و کاهش بار کار آنها باشند (ماتاریچ 2017). علاوه بر این ، آنها می توانند به ایجاد شکاف بین خواسته های سیستم مراقبت های بهداشتی و کمبود متخصصان مراقبت های بهداشتی کمک کنند (Riek 2017 ؛ Abdi et al. 2018). این امر به ویژه در مورد کارهای تکراری صدق می کند. در واقع ، روشهای درمانی شناختی و فیزیکی توسط روبات های اجتماعی قابل پرداخت است. علاوه بر این ، روبات ها می توانند خدمات خود را در هر زمان ارائه دهند ، بدون اینکه هیچ نوع کسالت یا خستگی نشان دهند.

با این حال ، نحوه تکرار تخصص درمانگران از نظر هوش اجتماعی در یک روبات به روشی کاملاً خودمختار هنوز یک سؤال تحقیقاتی باز است (وینکل و همکاران 2020). برای رسیدگی به آن ، یک روبات باید پیش نیازهای زیر را برآورده کند (Senft et al. 2019): (i) رفتار آن باید منطقی و قابل درک باشد و به شخصی که با او تعامل دارد آسیب نبیند.(ب) باید به سرعت یاد بگیرد ، زیرا تعداد تعامل معمولاً بسیار محدود است.(iii) راه اندازی آن آسان است و به هیچ تخصص فنی احتیاج ندارد. به این الزامات ، مورد بعدی را اضافه می کنیم: (IV) نیاز به کاهش بار کاری درمانگران دارد.

در مطالعات قبلی، سه روش اصلی برای یادگیری یک رفتار برای ربات اتخاذ شده است: یادگیری تقویتی (RL) (پارک و همکاران 2019؛ کلاباو و همکاران 2019)، یادگیری تقویتی تعاملی (IntRL) (کروز و همکاران 2016; آمرشی و همکاران 2014؛ توماز و همکاران 2005) و یادگیری از تظاهرات (LfD) (ناکس و همکاران 2016؛ لیو و همکاران 2016). با این حال، هیچ یک از این رویکردها با هر چهار پیش نیاز فوق مطابقت ندارد. RL رایج ترین رویکرد مورد استفاده در SAR برای یادگیری رفتار روبات ها است. با این حال، یادگیری ممکن است کند باشد و طراحی یک تابع پاداش منحصر به فرد که متناسب با نیازهای خاص هر فرد باشد، می تواند چالش برانگیز باشد. به نظر می رسد IntRL روند یادگیری را سرعت می بخشد و کنترل رفتار یادگیری ربات را به یک متخصص می دهد. با این حال، همچنان بار بزرگی را بر دوش متخصصانی که سیگنال های پاداش ممکن است در طول زمان با تطبیق استراتژی خود ناسازگار شوند، وارد می کند. در نهایت، LfD از طریق یادگیری تقویت معکوس (IRL) با عدم نیاز به طراحی تابع پاداش، به موضوع اصلی RL می پردازد، زیرا هدف اصلی LfD تخمین آن از روی نمایش است. با این وجود، استفاده از آنها در تنظیمات دنیای واقعی ممکن است به تظاهرات مستمر از متخصص نیاز داشته باشد تا رفتار ربات را با تغییرات محیط تطبیق دهد. روشی که اخیرا توسط Senft و همکاران معرفی شده است.(2017)، به نام SPARC، به سه مورد از چهار مورد فوق الذکر پرداخت. روش مبتنی بر IntRL در یک مطالعه کاربر توانایی خود را برای ایجاد رفتار ربات مستقل نشان داد، اگرچه نویسندگان هیچ کاهش قابل توجهی در بار درمانگر پیدا نکردند. بنابراین، آنها فقط تا حدی آخرین نیازی را که ما معرفی کردیم برآورده می کنند. علاوه بر این، نویسندگان آنها اضافه کردن دانش قبلی از انسانی که ربات قرار است با آن تعامل داشته باشد را در نظر نگرفتند (Petric and Kovacic 2020). در سناریوهای کمکی، متخصص انسانی معمولاً درمانگر است که بیماران خود را به خوبی می شناسد. بنابراین، راه اندازی رفتار ربات با استفاده از دانش متخصص از توانایی های شناختی بیمار می تواند به سرعت بخشیدن به فرآیند یادگیری کمک کند و به درمانگران راهی آسان برای تنظیم رفتار اولیه ربات ارائه دهد. این امر به ویژه در شرایطی که تعداد تعاملات محدود است صادق است.

در این مطالعه ، ما یک رویکرد جایگزین را پیشنهاد می کنیم که هدف از آن به دو جنبه اصلی است: سازگاری کوتاه مدت و شخصی سازی رفتار روبات اجتماعی. برای انجام این کار ، ما رفتار کمک کننده فعال یادگیری (CESSER) را معرفی می کنیم ، یک چارچوب تعاملی که روبات ها را قادر می سازد تا به طور فعال از بیماران و درمانگران بیاموزند. CESSERSER بر مسئله مربوط به فقدان داده ها غلبه می کند و از دانش قبلی درمانگر در مورد مهارت های شناختی بیماران به همراه داده های جمع آوری شده در طول روزهای درمانی استفاده می کند. برای دستیابی به آن ، یک شبیه ساز خاص بیمار ، که از بیمار و ربات در سطح بالا نمادین مدل می کند ، برای تولید داده ها استفاده شد. در نتیجه ، CESSER قادر به ارائه ، در حالت مشخصی از یک کار ، کمک به یک بیمار خاص ، با ترکیب تعامل چند حالته بر اساس نیازهای فردی آنها است.

به منظور ارزیابی چارچوب پیشنهادی ، ما یک رویکرد طراحی کاربر محور را اتخاذ می کنیم ، که در آن ذینفعان (درمانگران ، روانشناسان و متخصصان مغز و اعصاب) در طراحی مجموعه ای از تمرینات شناختی با هدف آموزش توانایی های شناختی بیماران (کاربران نهایی) همکاری می کنند. مانند حافظه و توجه ، همراه با عملکردهای حرکتی ، مانند چنگ زدن. بنابراین ، به عنوان یک مزیت بیشتر ، ذینفعان در روند تعریف الزامات توسعه ربات و همچنین ارزیابی آن درگیر هستند.

نمونه ای از یک جلسه ورزش شناختی که در آن یک درمانگر (یا انسان یا روبات) در هنگام انجام یک تمرین شناختی به بیمار کمک می کند

در مرحله اول ، ما یک مطالعه مشاهده ای را انجام می دهیم که در آن از یک درمانگر خواسته می شود سرنخ ها و تشویق به بیمار را با روشی تعامل چند منظوره ، در طی یک تمرین شناختی ارائه دهد. به این ترتیب ، ما رفتار درمانگر را بازرسی می کنیم ، یعنی سطح کمک های ارائه شده به همراه عملکرد بیماران با توجه به چندین تمرین شناختی. ثانیا ، ما اولین مطالعه کاربر را انجام می دهیم (شکل 1A را ببینید) ، که در آن از یک درمانگر خواسته می شود در حالی که آنها مجموعه ای از تمرینات شناختی را انجام می دهند با بیماران تعامل داشته باشد و با توجه به سطح تعریف شده از مطالعه مشاهده ، کمک می کند. به این ترتیب ، ما داده هایی را جمع آوری می کنیم که بعداً برای ابتدای Careser استفاده می شود. ثالثاً ، ما یک مطالعه کاربر دوم را انجام می دهیم (شکل 1B را ببینید) که در آن دانش درمانگر از توانایی های شناختی بیماران ، به همراه داده های جمع آوری شده از مطالعه قبلی ، برای تهیه یک سیاست شخصی خاص بیمار با استفاده از نوازنده استفاده می شود. و ارزیابی آن با یک ربات.

در نهایت ، در مورد بهترین دانش ما ، این اولین مطالعه از یک ربات است که تمرینات شناختی جسمی را به روشی کاملاً خودمختار برای افراد مبتلا به اختلال شناختی انجام می دهد ، و ما قصد داریم از دیدگاه هوش مصنوعی در محدودیت های این محدودیت نور را از بین ببریمرویکرد و در مورد چالش های باز برای روباتیک گرایان که هدف آنها استقرار روبات های اجتماعی برای این نوع جمعیت است.

سوالات تحقیق

ما یک سناریوی کمکی را در نظر می گیریم که در آن از یک ربات خواسته می شود که یاد بگیرد چگونه بین چندین سطح کمک ، آنهایی که به بهترین وجه نیازهای خاص فرد را بر اساس (i) داده های جمع آوری شده از تعامل بین درمانگر و بیماران ارائه می دهند. در همان کار ؛(ب) دانش پیشینی از درمانگر در مورد قابلیت های شناختی بیماران. و (iii) تعامل ربات با بیماران. بنابراین ، ما این سؤال را مطرح می کنیم:

آیا این روبات ، وقف Careser ، براساس نیازهای فردی خود قادر به ارائه کمک های تطبیقی و شخصی به یک بیمار خاص خواهد بود؟

به منظور رسیدگی صحیح به این سؤال تحقیق ، ما آن را به شرح زیر اصلاح می کنیم:

آیا کمک های اجتماعی ارائه شده توسط ربات با ترجیحات درمانگر مطابقت دارد؟

در صورت وجود ، عملکرد بیماران در هنگام کمک به ربات درمانی از زمانی که توسط متخصص درمانگر کمک می شود یا توسط شبیه ساز خاص بیمار تخمین زده می شود ، متفاوت است؟

آیا این روبات قادر است بیمار را درگیر کند تا از کسالت و اضطراب جلوگیری کند؟

در RQ1A ، ما هدف ما ارزیابی اینكه آیا رفتارهای كمك روبات توسط درمانگر انسانی انتظار می رود یا خیر. در RQ1B ، ما هدف ما ارزیابی این است که آیا بین عملکرد بیماران در هنگام کمک به یک درمانگر انسانی و در هنگام کمک به یک روبات ، تفاوت بین عملکرد بیماران وجود دارد. علاوه بر این ، آیا شبیه ساز ، بخشی از چارچوب CESSER ، در مدل سازی توانایی های شناختی بیماران و تولید داده ها بر این اساس صلاحیت دارد. سرانجام ، در RQ1C ، ما هدف ما تعیین اینكه آیا ربات درمانی می تواند عملکرد بیماران را در طول جلسات ثابت نگه دارد یا خیر. این آخرین سؤال تحقیق بر اساس تئوری نقطه چالش (گواداگنولی و لی 2004) است که به موجب آن یادگیری بهینه هنگامی اتفاق می افتد که کار نه خیلی آسان باشد (کسالت) و نه خیلی دشوار (ناامیدی).

منطقی و مشارکت

ما دریافتیم که حداقل دو شکاف در تحقیقات فعلی وجود دارد: (i) طراحی و ارزیابی یک روبات کمک اجتماعی به روشی کاملاً خودمختار برای کمک به بیماران مبتلا به اختلال شناختی و (ب) تطبیق رفتار اجتماعی ربات متناسب با نیازهای فردی بیمارواد

با توجه به شکاف طراحی ، برخی از مطالعات تصور می کنند که ویژگی های این روبات بدون در نظر گرفتن ذینفعان (از جمله کاربران نهایی) و نیازهای خاص آنها (هونگ و همکاران 2019) چه می تواند باشد. از طرف دیگر ، برخی از مطالعات بر روی بیماران متمرکز شده اند ، اما سکوهای روباتیک که در این مطالعه به کار رفته اند فاقد قابلیت های قابل توجهی برای حمایت از درمانگر و تعامل با بیماران هستند (Mancioppi و همکاران 2019). با توجه به سطح استقلال سکوی روباتیک ، اکثر مطالعات در سناریوهای دنیای واقعی برای یک تکنیک جادوگر Oob (Woz) انتخاب شده اند ، که در آن روبات ها توسط یک انسان کنترل می شوند تا آنها را به نظر برسانند. در "چه ، چه کسی ، و چه موقع" کمک می کردند (پینو و همکاران 2020) خودمختار بودند. به این ترتیب ، راه حل رباتیک به دور از کاربرد نیست. سرانجام ، در مورد جمعیت هدف درگیر در مطالعات ، تعداد کمی از آنها با بیماران واقعی انجام شد. بنابراین ، در مورد نحوه عملکرد روبات های اجتماعی با جمعیت آسیب پذیر بسیار کمی شناخته شده است (وانگ و همکاران 2017).

شکاف دوم که ما شناسایی می کنیم در روشهای فعلی برای یادگیری ترجیحات کاربران است ، که به طور کلی فرض می کنند: (i) دسترسی به یک مجموعه داده یا امکان جمع آوری به راحتی داده ها از تعامل ، (ب) امکان یادگیری آنلاین ، با فرض یک آزمایشو رویکرد خطا ، (iii) مشارکت مداوم یک معلم یا سرپرست در فرآیند یادگیری ، و (IV) آزمایشگر قادر به طراحی یک تابع پاداش است. در بیشتر سناریوهای دنیای واقعی ، مانند آنچه در اینجا شرح داده شده است ، این فرضیات ممکن است شکست بخورد.

در این مطالعه ، ما Careser را معرفی می کنیم ، که با استفاده از آن ما می خواهیم موضوعات ذکر شده در بالا را با تمرکز ویژه بر روند یادگیری سطوح مختلف کمک که به بهترین وجه متناسب با نیازهای فردی بیمار است ، بپردازیم. به طور خاص ، مشارکت این کار موارد زیر است:

در حال توسعه CESSER ، چارچوبی که با استفاده از تظاهرات و تخصص درمانگر ، رفتارهای دستیار اجتماعی روبات را می آموزد ،

توسعه شبیه سازی عامل مدل تولیدی (هدف) ، یک شبیه ساز خاص بیمار که با استفاده از مدلهای مولد بیزی بیمار و روبات توانایی های شناختی بیمار را در حین کار و رفتار کمکی ربات پیگیری می کند و بر همین اساس تعامل ایجاد می کند.

طراحی رفتارهای کمک کننده اجتماعی ربات ، که با درگیر کردن ذینفعان در فرآیند طراحی ، صدا ، حرکات و بیان صورت را ترکیب می کند

اعتبار سنجی نوازنده در یک روبات کاملاً خودمختار با بیماران مبتلا به اختلال خفیف شناختی و زوال عقل خفیف در یک سناریوی آموزش شناختی در ثانیه کوتاه مدت.

چالش ها

برای دستیابی به مشارکتهای فوق ، باید چندین چالش را برطرف کنیم:

مدل سازی بر روی یک روبات مجموعه رفتارهای درمانگر با ترکیب نشانه های اجتماعی کلامی و غیر کلامی.

ساختن یک مدل شناختی قابل اعتماد از بیمار و ربات برای شبیه سازی تعامل و تولید داده ها.

یادگیری یک سیاست خاص بیمار از تعداد محدودی از تعامل با توجه به اینکه رفتار بیمار بسیار تصادفی است. بنابراین ، سیستم باید آن را پیگیری کند و مطابق آن سازگار شود.

ارزیابی ربات کاملاً خودمختار در یک سناریوی دنیای واقعی با جمعیت آسیب پذیر.

استفاده از یک تخته فیزیکی به جای یک تخته مجازی که بر روی دستگاه تکرار می شود ، که به نوبه خود به معنای کنترل هیچ کنترلی بر اقدامات کاربران نیست.

کار مرتبط

نشان داده شده است که قادر به ارائه مداخله متناسب در سناریوهای کمکی کوتاه مدت و بلند مدت درجا است (Scassellati و همکاران 2018). علاوه بر این ، مشخص شده است که یک رفتار زیر حد متوسط از روبات می تواند بر روند یادگیری تأثیر بگذارد (کندی و همکاران 2015). برای دستیابی به شخصی سازی ، چندین روش و رویکرد ارائه شده است. در اینجا ، ما در مورد مهمترین کار تقسیم شده بر روی رویکرد بحث می کنیم: مدل مارکوف پنهان (HMM) ، یادگیری تقویت (RL) ، یادگیری تقویت تعاملی (Intl) ، یادگیری از تظاهرات (LFD).

ردیابی دانش بیزی (BKT) و شبکه بیزی (BN) انواع خاصی از HMM هستند. شودد و همکاران.(2017) رویکردی را مبتنی بر BKT برای شخصی سازی آموزش زبان در تعامل انسان و روبات ارائه داد. نتایج حاصل از یک مطالعه اولیه نشان داد که شرکت کنندگان هنگام تعامل با یک ربات که آموزش تطبیقی را در مقایسه با یک ربات ارائه می دهد که آموزش تصادفی را ارائه می دهد ، با موفقیت آموختند. لیزبرگ و همکاران.(2014) BN را برای ارزیابی مهارت طراحی کرد و ارزیابی کرد که آیا شخصی سازی و تا چه اندازه می تواند بر مهارت های دانش آموزان تأثیر بگذارد. نتایج حاصل از یک مطالعه طولانی مدت نشان داد که دانشجویان کلاس اول که از دانش آموزان Keapon کمک شخصی دریافت کرده اند ، از دانشجویان بهتر از دانش آموزان که درسهای غیر شخصی دریافت کرده اند. یک کار بسیار الهام بخش توسط گوردون و برازال (2015) انجام شد که یک روبات اجتماعی ارائه داد که با استفاده از یک رویکرد یادگیری فعال بیزی ، ارزیابی مهارت های خواندن کلمه کودک را فراهم می کند و تعامل بین ربات و کودک را با هر کودک خاص تطبیق می دهدمهارتبا وجود تعامل کوتاه ، نتایج نشان داد که سیستم می تواند در سنین مختلف کودکان و مهارت های اولیه خواندن شخصی سازی شود.

در مقایسه با کار ما ، این مطالعات عمدتاً بر آموزش مهارت های جدید به کاربران متمرکز است ، در حالی که ما بیشتر به آموزش یک توانایی شناختی خاص متمرکز هستیم. به طور مشابه با کار ما ، رویکردهای آنها سعی کردند تکامل مهارت های کاربران (توانایی های شناختی) را به روشی آسان و قابل درک الگوبرداری کنند. به عنوان لیزبرگ و همکاران.(2014) ، ما از BN برای الگوبرداری از توانایی های شناختی بیماران و رفتار ربات استفاده کردیم ، و مانند گوردون و بریزال (2015) ، سیستم ما به طور فعال دانش خود را در طول جلسات به روز می کند. به طور متفاوت ، ما یک رویکرد ترکیبی را برای جمع آوری BN با ترکیبی از تعامل واقعی با دانش قبلی متخصص در مورد بیماران اتخاذ می کنیم. علاوه بر این ، ما از الگوریتم حداکثر آنتروپی IRL (Ziebart 2010) برای یادگیری یک تابع پاداش که رمزگذاری می کند ، در قالب ویژگی ها ، اطلاعات مربوط به محیط و کاربران استفاده کردیم و بنابراین ، قادر به ایجاد یک خط مشی روبات پیچیده تر است.

یک رویکرد متفاوت ، معروف به RL ، ترک سیستم برای یادگیری از طریق تجربه با تعامل با محیط و به حداکثر رساندن عملکرد پاداش آینده مورد انتظار خود است. چان و نجت (2012) یک سیستم روباتیک به نام برایان 2. 0 ارائه دادند که قادر به درگیر کردن افراد در فعالیتهای تحریک کننده شناختی مانند بازی های حافظه بود. کار بسیار جالب دیگر توسط مورو و همکاران انجام شد.(2018). در کار خود ، آنها LFD و RL را برای آموزش یک رفتار شخصی با کمک اجتماعی روبات ترکیب کردند. به منظور اعتبارسنجی چارچوب خود ، رفتارهای این روبات توسط دانشجویان تدریس می شد ، و سازگاری ربات در شبیه سازی ارزیابی شد. Clabaugh و همکاران.(2019) یک روبات کمک اجتماعی را طراحی کرد که می تواند حمایت خود را از کودکان مبتلا به اختلال طیف اوتیسم در حین انجام کارهای ریاضی سازگار و شخصی سازی کند. نتایج با 17 کودک نشان داد که این روبات به هدف ارائه کمک های متناسب و علاوه بر این ، درگیری آنها را در طی کارها افزایش داده است. به همین ترتیب ، پارک و همکاران.(2019) و گوردون و همکاران.(2016) SAR را طراحی کرد که بتواند به ترتیب کمک های خود را به کودکان در یادگیری سواد و زبان دوم متناسب کند. نتایج نشان داد که در شرایط شخصی ، شرکت کنندگان می توانند از نظر یادگیری ، تعامل و حفظ کلمه عملکرد بهتری داشته باشند.

مشابه کار ما ، چان و نجت (2012) و مورو و همکاران.(2018) با الگوبرداری از رفتار کاربران با توجه به داده های قبلاً جمع آوری شده با استفاده از رویکرد Woz (Chan and Nejat 2012) یا با فرض پروفایل های مختلف کاربران ، بر ایجاد رفتار اولیه ربات تمرکز کنید. متفاوت ، از چان و نجت (2012) و مورو و همکاران.(2018) ، شبیه ساز ما بعد از هر جلسه ای که توسط ربات با بیمار انجام شده است ، مدل کاربر را به روز می کند تا همیشه تخمین قابل اعتماد از قابلیت های آنها داشته باشد. علاوه بر این ، مدل شناختی کاربر ما با داده های واقعی ضبط شده در طی این تعامل ها آغاز می شود و فقط تخمین زده نمی شود. به عنوان Clabaugh و همکاران.(2019) ، ما سیستم خود را در یک سناریوی دنیای واقعی با جمعیت آسیب پذیر ارزیابی کردیم ، در مورد ما ، بیماران مبتلا به اختلال شناختی. در مقابل Clabaugh و همکاران.(2019) ، پارک و همکاران.(2019) و گوردون و همکاران.(2016) ، ربات ما با توجه به رفتار اولیه تعریف شده توسط داده های جمع آوری شده از تعامل انسانی و انسانی و تخصص درمانگر ، تعامل با کاربران را آغاز می کند ، به طور بالقوه از اکتشاف اولیه که ممکن است ربات را به حالت های نامطلوب سوق دهد ، جلوگیری می کند.

با توجه به کار ما ، این مطالعات نشان داد که چگونه RL می تواند یک رویکرد مؤثر برای شخصی سازی تعامل انسان و روم باشد. با این حال ، RL نیاز به طراحی یک تابع پاداش دارد که مبتنی بر فرض "یک اندازه متناسب با همه" است. یعنی همان عملکرد باید برای همه کاربران کار کند. هنگامی که جمعیت مورد نظر افرادی با نیازهای ویژه مانند افراد مسن با اختلال شناختی هستند ، طراحی پاداش که برای همه آنها کار می کند بسیار دشوار است. علاوه بر این ، طراحی آن می تواند بسیار چالش برانگیز باشد وقتی که ما سعی می کنیم اطلاعات بسیار ناهمگن حاصل از سنسورهای چند مدلی (سطح نامزدی در مقابل عملکرد در مقابل استرس) را ادغام کنیم. سرانجام ، RL برای همگرایی به یک خط مشی قابل قبول ، به مقدار قابل توجهی از داده ها نیاز دارد.

Intrl مبتنی بر همان اصول مشابه RL است ، با این استثنا که در این حالت ، یک متخصص ، که می تواند یک عامل یا یک انسان باشد ، می تواند بازخورد یا راهنمایی را ارائه دهد و بنابراین تغییر شکل یا عملکرد پاداش ، عملکرد ارزش عمل، یا سیاستSenft و همکاران.(2019) چارچوبی به نام SPARC را ارائه داد که هدف آن انتقال به یک کنترل کامل از رفتار ربات بود. نتایج حاصل از یک مطالعه کاربر با 75 شرکت کننده نشان داد که SPARC قادر به ارائه کمک تطبیقی است و از نظر افزایش یادگیری تأثیر بر کودکان دارد. با این حال ، کاهش بار کاری متخصص اثبات نشده است. وینک و همکاران.(2020) SPARC را گسترش داد و این امکان را برای شخصی سازی رفتار خود به یک فرد خاص فراهم کرد. نتایج اولیه یک آزمایش 9 هفته ای نشان می دهد که این روبات می تواند رفتار مناسب را با روشی کاملاً خودمختار بیاموزد ، در حالی که هنگام ارائه کمک قادر به یادگیری نبود. Tsiakas و همکاران.(2018) یک چارچوب Intrl را پیشنهاد کرد که با هدف ارائه کمک های متناسب بر اساس عملکرد افراد و سطح درگیری آنها در طول کار انجام شود. نتایج شواهدی ارائه می دهد که نشان می دهد هنگام استفاده از بازخورد ، عملکرد کار و درگیری کاربران شبیه سازی شده افزایش یافته است.

از این مطالعات ، ما می بینیم که چگونه Intrl یک رویکرد بسیار امیدوارکننده برای سناریوهای دنیای واقعی به نظر می رسد زیرا باعث کاهش تعداد تعامل مورد نیاز برای یادگیری رفتار معقول می شود. با این وجود ، نیاز به مشارکت یک متخصص برای هدایت روند یادگیری در کل مدت کار دارد. این دلیلی است که ما تصمیم می گیریم رویکردی متفاوت اتخاذ کنیم که در آن از متخصص خواسته می شود سیستم را آغاز کند و سپس ربات به روشی کاملاً مستقل تعامل خواهد داشت.

LFD با تکیه بر تظاهرات ارائه شده توسط یک انسان ، یکی از کارآمدترین روشها برای انتقال مهارتهای جدید به یک دستگاه است. به طور کلی برای یادگیری وظایف سطح پایین ، به عنوان مثال ، برای یادگیری یک مسیر حرکتی نشان داده شده استفاده می شود. تعداد بسیار کمی از آثار فرصت استفاده از آن را در کارهای سطح بالا مانند رفتار ربات مورد بررسی قرار داده است. حسین و همکاران.(2019) بر یادگیری پویایی تعامل بین یک انسان و یک روبات متمرکز شد. نتایج نشان داد که سیاستهای تولید شده با استفاده از توابع پاداش به درستی از سیاست های تظاهرات کننده تقلید می کنند. Woodworth و همکاران.(2018) یک فرمولاسیون ترجیحی ترجیح داد ، که در آن یک ربات ترجیحات کاربر را فقط بر اساس مشاهده رفتار کاربر در کارهای مختلف استنباط می کند. نتایج حاکی از آن است که الگوریتم پیشنهادی ، بر اساس حداکثر حاشیه IRL ، قادر به یادگیری ترجیحات کاربر در هنگام تعامل با ربات است. Sequeira و همکاران.(2016) روشی را برای ایجاد استراتژی های تعامل اجتماعی برای تعامل انسان و ربات بر اساس مطالعات WOZ ارائه داد. رفتارهای ربات نهایی سه مرحله طراحی را پشت سر گذاشت: جمع آوری داده ها ، که در آن دانش تخصصی جمع آوری می شود ، استخراج استراتژی ، که در آن استراتژی ربات از این داده ها آموخته می شود ، و در نهایت پالایش استراتژی ، که در آن رفتار ربات در طول تعاملی اصلاح می شودفعل و انفعالات. به همین ترتیب ، ناکس و همکاران.(2014) روشی را برای یادگیری رفتارهای تعاملی اجتماعی با استفاده از یک الگوی Woz ارائه داد. لویی و نجت (2020) سیستمی را برای یادگیری فعالیتهای جدید از معلمان غیر متخصص به منظور تسهیل خودمختاری مداخلات تفریحی درمانی ایجاد کردند. یک مطالعه کاربر که در یک مرکز مراقبت مسکونی انجام شده است ، نشان داد که مراقبان این سیستم را آسان برای استفاده می دانستند و ساکنان رفتار ربات را هم دلپذیر و هم با ارزش پیدا کردند.

به طور کلی ، LFD یا از طریق عملیاتی کردن یک ربات یا انجام خود وظیفه ، مزایای اصلی (i) جلوگیری از رفتار نامناسب و کم کیفیت را دارد که به طور معمول در مراحل اولیه الگوریتم RL رخ می دهد.(ب) در دسترس بودن برای انسانهای غیر روباتیک ، زیرا هر کس می تواند به راحتی تظاهرات را به ربات ارائه دهد. علاوه بر این ، هنگامی که تظاهرات با استفاده از IRL آموخته می شود ، دیگر نیازی به تعریف عملکرد پاداش نیست زیرا این امر به طور مستقیم از تظاهرات آموخته می شود. این برای جلوگیری از "متناسب با همه رویکرد" بسیار مهم است. این مطالعات از انگیزه ما برای استفاده از LFD به عنوان روشی برای یادگیری رفتار درمانگر پشتیبانی می کند. سرانجام ، همه این آثار مبانی جامد را برای درک چگونگی سازگاری و شخصی سازی می توانند در تعامل کمکی انسان و روبات به دست آورند.< SPAN> به طور کلی ، LFD یا از طریق عملیاتی کردن یک ربات یا انجام خود وظیفه ، مزایای اصلی (i) جلوگیری از رفتار نامناسب و کم کیفیت را دارد که به طور معمول در مراحل اولیه الگوریتم RL رخ می دهد.(ب) در دسترس بودن برای انسانهای غیر روباتیک ، زیرا هر کس می تواند به راحتی تظاهرات را به ربات ارائه دهد. علاوه بر این ، هنگامی که تظاهرات با استفاده از IRL آموخته می شود ، دیگر نیازی به تعریف عملکرد پاداش نیست زیرا این امر به طور مستقیم از تظاهرات آموخته می شود. این برای جلوگیری از "متناسب با همه رویکرد" بسیار مهم است. این مطالعات از انگیزه ما برای استفاده از LFD به عنوان روشی برای یادگیری رفتار درمانگر پشتیبانی می کند. سرانجام ، همه این آثار مبانی محکم را برای درک چگونگی سازگاری و شخصی سازی می توانند در تعامل انسانی و روتوت کمک کنند. به طور کلی ، LFD یا از طریق عملیاتی کردن یک ربات یا انجام خود وظیفه ، مزایای اصلی آن را دارد (i) جلوگیری از رفتارهای نامناسب و کم کیفیت که به طور معمول در مراحل اولیه الگوریتم RL رخ می دهد.(ب) در دسترس بودن برای انسانهای غیر روباتیک ، زیرا هر کس می تواند به راحتی تظاهرات را به ربات ارائه دهد. علاوه بر این ، هنگامی که تظاهرات با استفاده از IRL آموخته می شود ، دیگر نیازی به تعریف عملکرد پاداش نیست زیرا این امر به طور مستقیم از تظاهرات آموخته می شود. این برای جلوگیری از "متناسب با همه رویکرد" بسیار مهم است. این مطالعات از انگیزه ما برای استفاده از LFD به عنوان روشی برای یادگیری رفتار درمانگر پشتیبانی می کند. سرانجام ، همه این آثار مبانی جامد را برای درک چگونگی سازگاری و شخصی سازی می توانند در تعامل کمکی انسان و روبات به دست آورند.