知の物理学研究センター / Institute for Physics of Intelligence (iπ)

【日時/Date】
７月７日（月）１３：３０－１５：００

【場所/Venue】
理学部1号館５階５１２セミナー室 ＆ Zoom

【発表者/Speaker】
中石　海先生（理化学研究所）

【タイトル/Title】
"Temperature-induced critical phase transition in large language models"

【概要/Abstract】
Large Language Models (LLMs) have demonstrated impressive performance. Meanwhile, their behavior is highly sensitive to parameters. A theoretical framework is needed to understand how parameters affect LLMs. In [1], we perform statistical analyses on how the temperature parameter, the ubiquitous parameter analogous to the physical temperature, affects LLM-generated texts, revealing the existence of a sharp, physically defined phase transition. Specifically, in the low-temperature regime, the correlation function between two words converges to a positive value as their distance increases, and texts have repetitive structures. In contrast, in the high-temperature regime, the correlation decays more rapidly, and repetitive structures disappear. Furthermore, at the phase transition temperature, the generated text exhibits critical phenomena, sharing statistical properties with natural languages. Our findings suggest that statistical-physical theories and methods can be used to characterize the regime in which LLMs generate natural texts with statistical properties similar to those of natural languages.
[1] Kai Nakaishi, Yoshihiko Nishikawa, and Koji Hukushima, arXiv:2406.05335.

これらの講演に関するZoomのリンク等の案内を受け取ることを希望されるかたは、
下記のgoogle formからメールアドレスをご記入ください。こちらに登録頂いた情報は、案内の配信のみに利用いたします。
対面のセミナー会場にはコーヒー、お茶菓子を用意いたしますのでぜひご利用ください。

登録フォーム：https://forms.gle/xnLmd9Kc1BaaNPgq8

過去の発表リスト：https://www.phys.s.u-tokyo.ac.jp/about/17106/

　　　　　　　　　　世話人：知の物理学研究センター　髙橋昂

⇦Top page