調べたらちゃんと変更する方法がありました。マニュアルにも載ってます。
column FOO new_value VAR select global_name FOO from global_name; set sqlprompt '&&VAR> '
実行するとプロンプトがglobal_nameになる。ただし、glogin.sqlは起動時に参照するだけなので、SQL*Plus起動後にconnectで別のインスタンスへつないでしまうと変更されない。また、/nologでつないでしまうと、エラーになっちゃうので、その都度入力するのがちょっと面倒*1。これを回避できないかなぁ…。
*1:つっても私は/nologってパッチ当てるとき位しか使わないけど