When Interpretable Parameters Fail to Explain: Evidence from the Rescorla-Wagner Model

Interpretowalne parametry w modelach uczenia ze wzmocnieniem (RL) są powszechnie używane do mechanistycznego wyjaśniania ludzkich zachowań. W artykule udowadniamy, że ta praktyka może zawodzić nawet w przypadku minimalnego agenta Rescorla-Wagner. 

Kluczowe tezy i wyniki:

• Anizotropowa geometria wiarygodności: Wykazaliśmy, że diametralnie różne kombinacje tempa uczenia oraz stochastyczności wyboru mogą równie dobrze dopasowywać się do tych samych sekwencji (w zadaniu Probabilistic Learning Task) przy estymacji największej wiarygodności (MLE). 
• Zniekształcenia estymacji: Zjawisko to prowadzi do ustrukturyzowanych błędów, rozkładów scaled vector error (SVE) o grubych ogonach, uderzeń w granice (boundary hits) oraz nakładania się na siebie odzyskanych dystrybucji parametrów z różnych reżimów. Diagnostyka siatkowa dodatkowo pokazuje, że jakość odzyskiwania parametrów silnie waha się w obrębie generującej przestrzeni parametrów.
• Autorski workflow diagnostyczny: Aby uwidocznić powyższe ograniczenia, zaproponowaliśmy przepływ pracy, który łączy analizę geometrii wiarygodności, diagnostykę błędów brzegowych oraz siatkową weryfikację odzyskiwania parametrów (grid-based parameter recovery). 
• Wartość praktyczna: Nasze rozwiązanie dostarcza procedury pozwalającej ocenić, kiedy dopasowane parametry są wystarczająco silnie ograniczone przez dane, aby opierać na nich wiarygodne wyjaśnienia oparte na parametrach, a kiedy takie twierdzenia powinny zostać opatrzone odpowiednimi zastrzeżeniami.