Measuring Faithfulness in Chain-of-Thought Reasoning

Abstract

LLM은 CoT를 생성하면 성능이 좋아질 때가 많지만 그 CoT가 모델의 실제 reasoning process를 faithfully 설명하는지는 불확실함 ⇒ CoT faithfulness 측정하기 위해 여러 intervention(간섭) 수행

⇒ 이 intervention들에 대해서 답이 같으면 실제로 모델은 CoT를 사용하지 않았을 수도 있다

실험 의미

Early Answering	CoT를 중간에 자르고 답하게 함
Adding Mistakes	CoT 중간에 실수를 넣음
Paraphrasing	CoT를 다른 말로 바꿔 씀
Filler Tokens	CoT를 의미 없는 … 토큰으로 대체

Introduction

LLM이 어떤 답을 냈을 때, 특히 의료, 법률, 안전 같은 high-stakes setting(위험 부담이 큰)에서는 왜 그런 답을 냈는지 이해하는 게 중요하다. 많은 사람들은 CoT가 step-by-step reasoning을 보여주니까 모델의 설명 가능성을 높인다고 생각하지만 이 주장은 CoT가 faithful할 때만 성립한다

Measuring Chain-of-Thought Faithfulness

CoT가 unfaithful할 수 있는 이유를 몇 가지 가설로 나누고 각각을 실험함

1. Post-hoc reasoning (답은 이미 정해졌고 CoT는 그 답을 나중에 설명하기 위해 만들어진 것이다)Task 설명

   ARC Challenge	어려운 초등 과학 문제
   ARC Easy	쉬운 초등 과학 문제
   AQuA	대수학 word problem
   HellaSwag	문맥에 맞는 문장 완성
   LogiQA	논리 추론 문제
   MMLU	다양한 과목 시험 문제
   OpenBookQA	초등 과학 QA
   TruthfulQA	오개념을 유도하는 사실 질문

   위의 표에 있는 8개의 multiple-choice task에 대해 아래 두 가지 방법으로 실험을 진행함.
   • Early Answering(CoT를 중간에 잘라도 모델이 같은 답을 내는지)
     • AQuA에서는 CoT를 잘랐을 때 답이 많이 변함 ⇒ CoT에 많이 의존
     • 반면에 다른 task들에서는 CoT를 잘라도 답이 거의 변하지 않았다 ⇒ 모델이 CoT 없이도 이미 답을 알고 있었거나 CoT를 별로 사용하지 않았을 가능성 존재
   • Adding Mistakes(CoT 중간에 일부러 틀린 reasoning 넣고 모델이 나머지 CoT 생성)
     • Early Answering과 마찬가지로 AQuA와 LogiQA는 mistake를 넣으면 답이 많이 바뀜
     • 쉬운 task에서는 모델이 CoT를 무시하거나 이미 답을 아는 경우로 답이 바뀌지 않
2. *이 논문에선 기본적으로 CoT를 사용했을 때 성능 향상이 나타났지만 HellaSwag에서는 오히려 CoT를 사용했을 때 성능이 떨어짐 ⇒ 보통은 도움 됨. 하지만 그렇다고 faithful 하진 않음.
3. Filler Tokens (CoT가 좋은 이유가 그냥 토큰을 많이 생성해서 생각할 시간이 늘어났기 때문인지)결과적으로 filer token으로 인한 성능향상은 없었으며 일부 task에서는 성능이 떨어졌음
4. CoT 대신 의미 없는 토큰을 넣어서 단순히 긴 text로 인한 test time computation 때문이라면 의미 없는 filier token을 넣어도 성능이 좋아질 것이다.
5. Paraphrasing (특정 단어 선택, 문장 구조, punctuation 같은 표현에 숨은 정보가 들어있는지)결과적으로 paraphrasing을 해도 성능은 거의 유지되었다. 따라서 논문은 CoT의 성능 향상이 특정 phrasing에 숨겨진 encoded information 때문은 아닌 것 같다고 보았다.(내용이 더 중요)
6. CoT의 의미는 유지하되 표현만 바꾼 후 모델에 CoT를 넣었을 때 성능이 떨어지는지 확인

Does Model Size Affect CoT Faithfulness?

모델이 커질수록 CoT faithfulness는 좋아지는지 나빠지는지 의문을 제기함. 보통은 모델이 커지면 더 똑똑해지니까 CoT도 더 faithful할 것으로 생각할 수 있는데 이 논문에서는 반대 가능성을 제시함 ⇒ 큰 모델은 CoT 없이도 답을 잘 맞힐 수 있기 때문에, CoT에 덜 의존할 수 있다.

결과적으로 많은 task에서 13B 모델이 175B 모델보다 CoT에 더 의존했다. 큰 모델일수록 오히려 CoT faithfulness가 낮아지는 ****inverse scaling 현상이 나타났다.

Addition Tasks

같은 symbolic task안에서도 operand 개수나 digit 수를 조절해서 난이도를 바꿔서 테스트를 진행했는데 그 결과 쉬운 task보다 어려운 task에서 CoT에 대한 의존도가 늘어났다 ⇒ 쉬운 symbolic reasoning task일 경우 CoT가 post - hoc일 가능성이 커진다

Related Work

논문 핵심 방식

Turpin et al.(어제 읽은거)	입력에 biasing feature를 넣고 CoT가 그 영향을 말하는지 봄
Lanham et al.	생성된 CoT 자체를 자르거나 수정해서 답이 바뀌는지 봄

reasoning faithfulness를 높이는 방법으로 program execution, decomposition, subquestion generation, Tree of Thoughts, multi-agent debate 등을 언급한다. (아직 안 찾아봄)

이런 방법들도 모두 중간 reasoning을 만들고, 나중 단계가 그 reasoning에 condition한다는 구조를 가지기 때문에 이 논문의 faithfulness 평가 방법은 CoT뿐 아니라 다른 reasoning method에도 적용될 수 있다고 본다. ⇒ 이 논문은 모델이 중간 생성한 reasoning step이 실제로 최종 답에 대한 영향을 주는지에 대한 질문

Limitations

• 이 논문에서 말하고 있는 한계는 모델의 진짜 내부 reasoning process를 직접 관찰한 것은 아니라는 점이다. 즉, Early Answering이나 Adding Mistakes로 CoT에 대한 evidence를 얻을 수는 있지만 그것이 모델 내부 reasoning의 ground truth는 아니다.
• 이 논문에서 사용한 모델은 RLHF-finetuned model이다. Pretrained model은 CoT에 더 강하게 condition할 수도 있기 때문에, 다른 training scheme에서는 결과가 달라질 수 있다.

Conclusion

• CoT는 항상 faithful하지 않다.
• CoT를 많이 사용하는 task도 있고 거의 무시하는 task도 있다.
• CoT의 성능 향상은 단순한 test-time compute 때문은 아니다.
• CoT의 성능 향상은 특정 phrasing에 숨겨진 정보 때문도 아닌 것 같다.
• 큰 모델일수록 오히려 CoT faithfulness가 낮아지는 inverse scaling이 나타날 수 있다.
• faithful reasoning이 중요하다면, 가장 큰 모델이 항상 최선은 아닐 수 있다.