El formato del diccionario (y el método para instalarlo) cambió de la versión 2 a la versión 3.
En la versión 3 el diccionario se instala como una extensión. Tenés que bajar
este archivo y darle doble click. Directamente te abre el openoffice y te instala el diccionario.
Si tenés la versión 2, podés ejecutar el asistente que dice Daniel que si mal no recuerdo está en el menú
Archivo > Asistentes o podés instalarlo manualmente para eso tenés que bajar el paquete de diccionario y descomprimirlo en la carpeta
Archivos de programa/OpenOffice.org 2.0/share/dict/ooo/ y después hay que modificar el archivos dictionary.lst