Не совсем понял вопрос
Если внутри отображения, то у Rectangle есть свойство radius

А если надо само окно приложения сделать произвольной формы, то с QDeclarativeView можно поступить, как с обычным виджетом. Как в этом примере doc.qt.nokia.com/4.7/widgets-shapedclock-shapedclock-cpp.html