Self-Written Notes Causally Steer Hypothesis Revision in a Small Language Model: From Harmful Shortcuts to Near-Ceiling Corrections
Language-model agents increasingly write notes, playbooks or "memories" from their own experience and reuse them on later tasks. We ask a narrow causal question: when a model writes notes from its own graded attempts, do those notes change its later judgments, and are the changes general or local? We studied GPT-OSS-20B (greedy decoding) on a synthetic hypothesis-revision task. The model must judge whether a new measurement is a counterexample to its current rule. In earlier diagnostics the model often missed counterexamples in XOR worlds, and we traced this to confusing which formula belongs to which hypothesis name. Restating the definitions removed the misses. The model then wrote its own note over 36 graded practice worlds, with nine opportunities to revise it. We tested the note on held-out worlds against three controls: no note; a length-matched note the model wrote on an unrelated addition task under the same update schedule; and a generic human instruction to restate each hypothesis's formula. In the first note chain, the self-written note cut XOR counterexample misses from 27/48 to 7/48. The length-matched unrelated note left them at 27/48. Both preregistered tests were significant (Holm-adjusted p < 1e-4). The same note raised AND misses from 5/24 to 23/24. It contained a fixed, world-independent rule ("H0 = AND of the two bits, H1 = XNOR") that offers a post-hoc account of the opposite changes on the task's fixed XOR and AND contrast inputs. Under the human instruction, XOR misses were 8/48 and AND misses were 3/24; the latter comparison with M0 was descriptive and did not establish equivalence or superiority. Three further formation chains, with preregistered tests and memo coding submitted before scoring, did not reproduce the "help XOR, harm AND" pattern. Instead, outcomes varied sharply: one note referred the model to the actual per-world definitions and reached 1/48 and 0/24 misses; one instructed the model to emit two JSON objects, leading to a formatting failure in 94/96 Q calls; one showed no detected improvement on XOR and no Holm-adjusted evidence of harm on AND. Pre-scoring content coding anticipated some qualitative outcomes but not all; the second coder had already seen the first coder's summary, so the coding was not fully blind. Inserting a self-generated note was a causal intervention on the later prompt, and outcomes varied with the particular note used: they ranged here from harmful shortcuts to near-ceiling corrections. Because note content, formation history and formatting were not independently manipulated, this study does not identify which phrase caused each effect. A practical implication is that self-written memories should be inspected before reuse. [국문 요약] 언어모델 에이전트가 자기 경험에서 쓴 메모를 이후 과제에 다시 쓰는 일이 늘고 있다. 본 연구는 GPT-OSS-20B가 채점된 자기 시도를 보고 직접 쓴 메모가 이후 판단을 인과적으로 바꾸는지, 그리고 그 변화가 일반적인지를 통제된 합성 과제에서 검증했다. 사슬 0: 자기 메모는 XOR 반례 놓침을 27/48에서 7/48로 줄였다. 같은 갱신 일정으로 무관한 덧셈 과제에서 만든 메모에서는 개선이 검출되지 않았다(27/48). 두 메모의 과제 내용과 오답 경험은 같지 않았다. 그러나 같은 메모가 AND 놓침을 5/24에서 23/24로 늘렸다. 메모에 담긴 고정 오규칙("H0 = AND, H1 = XNOR")은 가족별로 고정된 대비 입력에서 이 차이를 설명하는 사후 가설이다. 해당 문구만의 효과를 따로 분리하지는 않았다. 사람이 쓴 정의 재진술 지시에서 XOR 놓침은 8/48, AND 놓침은 3/24였다. AND에서 해가 검출되지 않았지만, 동등성이 입증된 것은 아니다. 새 사슬 3개(사전 등록 검정, 채점 전 메모 코딩과 예측): 지난 사슬의 'XOR 개선·AND 악화' 조합은 재현되지 않았다. 한 사슬은 형식 실패(Q 96회 중 94회에서 JSON 객체 두 개 출력), 다른 사슬은 XOR 1/48·AND 0/24에 도달했다. 나머지 한 사슬은 XOR 개선이 검출되지 않았고 AND 악화도 다중검정 보정 뒤 검출되지 않았다. 코딩은 일부 방향을 미리 짚었으나, 두 번째 코더가 첫 번째 코더의 요약을 본 탓에 완전한 블라인드는 아니었다. 메모 삽입은 이후 입력을 바꾸는 인과적 개입이고, 이 자료의 성적은 메모별로 크게 달랐다. 다만 문구 하나의 효과를 분리해 입증한 것은 아니다. 따라서 자기 생성 메모는 재사용 전에 내용과 출력 형식을 함께 점검할 필요가 있다.
Authors
- Il Hun Kim (ORCID: https://orcid.org/0009-0007-6198-7661)
Publication Details
- Journal
- Zenodo (CERN European Organization for Nuclear Research)
- Published
- 2026-11-08
- DOI
- https://doi.org/10.5281/zenodo.24040346
- Primary Topic
- Topic Modeling
- Type
- preprint