Насколько я знаю, это было невозможно, и согласно соответствующей документации в LibreOffice такой функции нет.
Вероятно, вам нужно использовать стороннее программное обеспечение для применения закругленных ребер.
Однако, исходя из моих знаний, это возможно в текущем OpenOffice. Вы можете сделать снимок:)