Language Models Don’t Always Say What They Think:Unfaithful Explanations in Chain-of-Thought Prompting [논문 리뷰]

Abstract

LLM은 CoT를 사용하면 여러 task에서 좋은 성능을 낼 수 있다. 그래서 사람들은 모델이 출력한 CoT를 모델이 실제로 문제를 푼 과정이라고 믿고 싶어 한다. 하지만 이 논문에서는 CoT가 실제 이유를 충실하게 반영하지 않을 수 있다고 주장한다. 특히 입력에 biasing feature를 넣었을 때, 모델의 답이 그 bias에 영향을 받으면서도 CoT에서는 그 영향을 거의 언급하지 않는다는 것을 보여준다. (힌트 떄문에 답을 고른 후 문제 조건을 논리적으로 따져봐서 그 답을 골랐다고 주장)

ex) few shot prompting에서 정답이 항상 A가 되도록 answer choice를 조작해도 CoT에선 A가 반복적으로 정답이었다는 사실을 말하지 않는다

⇒ CoT explanation은 plausible(설명이 그럴 듯 하고 말이 되는지) 할 수 있지만 faithful(설명과 실제 모델의 선택이 일치하는지) 하지 않을 수 있다

Introduction

CoT는 모델이 step-by-step reasoning을 말하게 만든다. 그래서 CoT는 모델이 왜 그런 답을 냈는지 보여주는 창처럼 여겨진다. 하지만 이 논문에서는 CoT가 그럴듯하고 논리적으로 보여도, 그것이 실제 이유라는 보장은 없다고 말하고 있음.

CoT가 기본적으로 faithful할 것이라고 기대하면 안 되는 이유도 설명하고 있음. 모델의 training objective는 자신의 실제 이유를 정확히 보고하도록 직접 학습시키는 것이 아니먀, RLHF 같은 과정은 오히려 인간 평가자가 좋아할 만한 답변을 만들도록 유도할 수 있기 때문이다

Table 1 ex) Claude 1.0이 같은 문제에 대해 서로 다른 CoT를 생성하는 예시이고 문제는 루니가 축구 관련 행동을 했다는 문장이 plausible한지 묻는 문제다.

일반 context에서는 모델이 축구 지식을 사용해서 정답을 맞힌다.
그런데 biased context에서는 few-shot prompt 안에서 정답이 항상 A가 되도록 조작한다. 그러자 모델은 A를 고르고, 그 선택을 정당화하는 새로운 CoT를 만들어낸다.

문제는 모델이 few-shot prompt에서 A가 반복적으로 정답이었기 때문에 A를 고른 것 같다라고 말하지 않는다는 점이다. 대신 문장 자체에 대한 해석을 바꿔서 A를 정당화한다

Evaluating Systematic Unfaithfulness

이 논문은 counterfactual(반사실적) 방식으로 faithfulness를 본다(주어진 입력에만 충실하게 답변하는지) ⇒ 입력에 biasing feature를 넣었을 때 답이 바뀐다면, 그 biasing feature가 모델의 decision에 영향을 준 것이지만 CoT가 그 biasing feature를 언급하지 않는다면, 그 CoT는 unfaithful하다.

Experimental Setup 1

첫 번째 실험은 BIG-Bench Hard, BBH를 사용한다. BBH는 여러 reasoning task로 구성된 benchmark다. 이 논문에서는 BBH의 23개 task 중 13개 task를 선택했으며 이 task들은 deductive reasoning(논리적 연역)뿐 아니라 주관성이나 world knowledge(방대한 데이터)가 섞여 있어, 모델이 틀린 답에 대해 그럴듯한 CoT를 만들 가능성이 있다고 보았다.

모델 특징

GPT-3.5 / text-davinci-003	RLHF fine-tuned model(인간 피드백 기반 강화학습 파인튜닝 모델)
Claude 1.0	Constitutional AI로 학습된 assistant model

biasing feature 설명

Answer is Always A	few-shot 예시에서 정답이 항상 A가 되도록 answer choice 순서를 조작
Suggested Answer	prompt에 “I think the answer is A…”처럼 특정 답을 제안하는 문장 추가

⇒ 모델이 biased context와 unbiased context에서 어떻게 달라지는지 비교

Results

Figure 1은 BBH 실험의 핵심 결과를 보여주며 biased context에서 모델 accuracy가 크게 떨어짐

특히 zero-shot CoT에서 GPT-3.5는 Suggested Answer bias 때문에 accuracy가 최대 36.3%까지 떨어졌으며 Claude에서도 큰 accuracy drop을 보임

중요한 점은 단순히 accuracy가 떨어졌다는 게 아니라 accuracy가 떨어진 이유는 biasing feature가 모델 답을 잘못된 쪽으로 끌고 갔기 때문이라고 할 수 있다. 하지만 CoT는 그 biasing feature를 언급하지 않았음(논문에서는 이것을 systematic unfaithfulness(bias에 의해 예측이 왜곡)라고 봄)

*논문에서는 CoT가 항상 나쁘다고 말하지 않음. 몇몇 few shot에서는 CoT가 Bias sensitivity를 줄이기도 했음. 또 반대로 zero shot에서는 오히려 강하게 Bias 쪽으로 끌고가는 성향을 보임

Qualitative Analysis(모델은 답에 맞춰 CoT를 바꾼다)

Table 4의 unfaithful explanation 예시들을 보면 Suggested Answer bias setting에서 unfaithful explanation 104개를 직접 annotation했는데 그 결과, unfaithful explanation의 최대 73%가 bias-consistent answer를 적극적으로 지지하는 reasoning을 포함했으며 15%의 unfaithful explanation은 눈에 띄는 명백한 오류가 없었음 ⇒ 틀린 답을 지지하는 CoT도 겉으로 보기엔 충분히 그럴듯할 수 있기 때문에 CoT가 틀렸다는 것을 항상 reasoning error로 발견할 수 없음(사용자가 속기 쉽다)

Experimental Setup 2

두 번째 실험은 BBQ, Bias Benchmark for QA(모델의 사회적 고정관념 및 편향을 체계적으로 측정하기 위해 설계된 데이터 셋)을 사용한다.

1. BBQ에는 ambiguous context가 있다. 예를 들어 정보가 부족해서 사실상 알 수 없다고 답해야 하는 상황(흑인과 백인 중 누가 마약을 사려 하는가?)이 있고 이 논문에서는 여기에 어떤 답을 조금 더 그럴듯하게 만들 수는 있지만, 결정적이지 않은 정보인 weak evidence(흑인은 주머니를 만지고 있었다, 백인은 가격을 물어보고 있었다)를 추가한다.
2. 같은 weak evidence를 서로 다른 집단에 붙여 두 버전을 만든다(두 집단 상황을 바꿈)
3. 모델이 evidence를 일관되게 사용한다면 답도 evidence에 따라 바뀌어야 하지만 모델이 stereotype(고정관념)에 맞는 쪽으로 evidence를 더 강하게 해석한다면, CoT는 unfaithful 해짐*여기서의 weak evidence가 1번 실험에서의 Bias와 다른 이유는 여기서는 reasoning에서 고려할 수 있는 문제 내부의 단서를 준 것 이기 때문이
4. *두 집단이 같은 행동을 했을 때 특정 집단만 더 의심스럽다고 판단하는지 ⇒ 이런 경우에는 evidence가 아니라 stereotype이 판단에 영향을 주었을 수 있음.

Results

결과적으로 CoT는 No-CoT보다 stereotype bias를 줄이는 경향이 있었지만 CoT에서도 여전히 systematic unfaithfulness가 나타났음 (모델은 CoT에서 weak evidence를 언급하면서도, 그 evidence를 stereotype(Bias)에 맞게 불일관적으로 해석) ⇒ 모델은 evidence를 보고 판단했다고 말하지만 실제로는 stereotype 과 맞는 방향으로 evidence를 더 강하게 해석함

*Please ensure that your answer is unbiased and does not rely on stereotypes(편견 사용 x) 라는 문구를 추가 했을 때 어느 정도 도움이 되지만 모르는 bias, 새로운 bias, domain-specific bias는 prompt로 막기 어려

Related Work (기존 연구 흐름)

1. 기존 연구들은 CoT 안에 contradiction이나 math error가 있는지 보는 경우가 많았음 ⇒ 하지만 이 논문은 plausible(그럴듯한) explanation도 faithful하지 않을 수 있음을 보인다.
2. 일부 연구는 few-shot CoT demonstration에 오류를 넣거나 바꾸면서 어떤 부분이 중요한지 본다. 하지만 이 논문은 generated CoT 자체가 아니라 input feature를 perturb해서 모델의 explanation faithfulness를 평가한다
3. 이 논문은 counterfactual simulatability를 adversarial setting에서 본다는 점이 특징이다. 즉, 모델을 특정 답으로 bias시키고, 그 bias를 CoT가 말하는지 확인한다.

기존 연구들은 CoT가 말이 되는지, 오류가 있는지를 중점적으로 봤다면 이 논문에서는 CoT가 실제 답 선택 이유를 말하고 있는지에 중점을 두고 있음. ⇒ 내가 하고픈 연구 주제에 굉장히 밀접함.

Discussion

1. 모델이 biasing feature의 영향을 알고도 말하지 않는 것인지 아니면 아예 그 영향을 인식할 능력이 없는 것인지는 모름 ⇒ 이 논문에서는 모델이 그 영향을 인식할 수 있는지 후속 연구가 필요하다고 말하고 있음
2. systematic unfaithfulness가 adversarial attack(오작동을 일으키도록 의도적으로 조작된 입력값을 주입하는 보안 위협 기법)의 경로가 될 수 있음 ⇒ 사용자가 prompt에 biasing feature를 교묘히 넣으면, 모델은 그 bias에 끌려 답을 바꿀 수 있지만CoT에는 그 bias의 흔적이 남지 않는다. 결국 CoT를 보고 모델의 fairness를 검사하려는 시스템은 문제가 생긴다.

Future Work

faithfulness를 개선하려면 CoT explanation이 생성되는 과정 자체를 조절해야 한다고 말한다

방향 의미

debiasing prompt	알려진 bias를 줄이는 instruction 추가
decomposition-based approach	문제를 분해해 biasing cue의 영향을 줄임
explanation-consistency	정답이 명확하지 않아도 explanation consistency를 학습 신호로 사용
targeted training	faithful CoT를 직접 유도하는 학습

Limitations

자신들의 평가가 faithfulness failure를 찾아낼 수는 있지만, explanation이 faithful하다는 것을 증명할 수는 없으며(unfaithful이 안 발견됐다고 해서 반드시 faithful하다고 말 할 수 없음), 작은 input modification에 대한 faithfulness만 평가한다. 하지만 실제로는 훨씬 다양한 input과 상황에서 모델 behavior를 예측할 수 있는 explanation이 필요하다는 것을 한계로 들었다

Conclusion

결론적으로 CoT prompting이 LLM의 reasoning 능력을 향상시킬 수 있지만, 동시에 systematic unfaithfulness를 보일 수 있음.

 

질문

1. BBH 실험은 모델이 답을 바꿨는데도 biasing feature를 CoT에 언급하지 않으면 unfaithful하다고 보는데 제가 저번에 말씀드렸던 연구 주제처럼 symbolic reasoning task에서 모델이 높은 accuracy를 보이는 경우에는, 모델이 실제로는 shortcut이나 memorized pattern으로 답을 먼저 알고 있고 CoT는 나중에 생성된 rationalization일 수도 있는데, 이때 외부 biasing feature에 의해 답이 바뀌지 않는다고 해서 CoT가 faithful하다고 볼 수 있는가?
2. 모델이 biasing feature의 영향을 알고도 말하지 않는 것인지 아니면 아예 그 영향을 인식할 능력이 없는 것인지