Не уверенный, если я столкнулся с той же самой проблемой, но

tf.keras.backend.clear_session()

в начале ячейки, в которой модель (Keras, в моем случае) была создана и обучалась, помог "сократить помеху" поэтому, только текущий график остается в визуализации TensorBoard после повторенных выполнений той же ячейки.

Среда: TensorFlow 2.0 (tensorflow-gpu==2.0.0b1) в Colab со встроенным TensorBoard (использующий эти %load_ext tensorboard прием).