Where en Load manteniendo QVD Optimized

Diferentes técnicas para filtrar un qvd manteniendo carga QVD Optimized


1. Carga la tabla Ventas.qvd únicamente con registros del 1/Ene/2014, manteniendo QVD Optimized

Temporal:
LOAD MakeDate(2014,01,01)  AS Fecha AutoGenerate 1;

Ventas:
LOAD Ventas, Sucursal,Fecha 
From Ventas.qvd (qvd) Where Exists(Fecha);
DROP Table Temporal; 

Excluir Null en Load manteniendo QVD Optimized

El siguiente script carga la tabla Ventas excluyendo los valores nulos en el campo NroTicket y  manteniendo la carga "qvd optimized":

Ticket_tmp: LOAD Distinct NroTicket From Ventas.qvd(qvd);

Ventas:     LOAD * From Ventas.qvd (qvd)

Where Exists(NroTicket); 

DROP Table Ticket_tmp; 

NOTA:
Para sustituir valores nulos, ver nota publicada AQUI
Para seleccionar valores nulos, ver nota publicada AQUI

Referencia:

https://gist.github.com/ralfbecher/7910736

Formato a Campos manteniendo QVD Optimized

El siguiente Script da un formato a los campos Fecha y Ventas, manteniendo la carga "QVD Optimized" del archivo Datos.qvd.

Fecha_tmp: Load Date( null(), 'WWW DD/MMM/YYYY') As Fecha  AutoGenerate(1);
Venta_tmp: Load Num(  null(), '#,##0.00')        As Ventas AutoGenerate(1);

Datos:
Load Fecha, Ventas  From Datos.qvd (QVD);

Drop Tables Fecha_tmp, Ventas_tmp; 

Concatenar manteniendo QVD Optimized

Al realizar la siguiente concatenación, la tabla Febrero.qvd no será "QVD Optimized" porque no contiene todos los campos de Enero.qvd, le falta el campo Vendedor:

Enero: LOAD Sucursal,Venta, Vendedor From Enero.qvd (qvd); //qvd optimized

Concatenate
Febrero: LOAD Sucursal,Venta From Febrero.qvd (qvd); //NO qvd optimized

Para solucionar esto y lograr una carga QVD Optimized en ambas tablas, una técnica pueden ser los siguientes pasos:

Apuntes sobre Performance

APUNTES PARA PERFORMANCE DEL MODELO DE DATOS
1. Eliminar información no utilizada
- Campos no utilizados en la aplicacion final (en objetos, gráficos o variables).
- Datos históricos de años anteriores con información no analizada en la aplicación.
- Máximo nivel de detalle no analizado en la aplicación.
- Considerar usar una Aplicación totalizada por mes (con menos registros) y de ésta acceder a otra Aplicación con detalle diario (con todos los registros). Esto usando técnica Document Chaining (Ver Ref. No.16).
2. El qvw con las visualizaciones debe leer todos los qvd en modo optimizado.
3. Dividir campo de fecha-hora (01/01/2012 09:30) en dos campos: Fecha y Hora, para disminuir cantidad de distinct.
4. Para obtener la fecha de un campo, sin la hora, usar floor(campo) en vez de date(campo). Ver ref. No.7
5.Transformar campos con gran cantidad de Distinct. Para identificar los campos con mayor cantidad Distinct ir a  Configuración>Propiedades del Documento>Tablas y buscar columna "No.Distinct" para identificar distinct en cada campo creado.
    Ej. Transformar campos de hora en rangos de 30min:
    Time(Floor(Hora,0.02083333333333330),'hh:mm') as Hora
6. Usar Autonumber en campos Key muy largos o texto. Para key de dos campos usar Autonumberhash128(campo1,campo2) en sustitución de Autonumber(campo1&campo2). Ver Ref. No.7
7. Guardar en qvw de forma descomprimida para mejorar velocidad al guardar y abrir el qvw. Ver Ref. No.3
 (ir a Configuración>Propiedades Documento>General>Compresión=Ninguna)
8. Identificar campos numéricos asignados como Dual de forma automática por qlilkview, y forzar la transformación a números con  num(Campo). Para identificar el espacio que ocupa cada campo ir a Configuración>Propiedades Documento>Estadísticas de Memorias.  Guardar el archivo que se genera y abrirlo con Excel. La columna Size identifica el tamaño de cada campo. Un campo numérico con 10 dígitos debe tener  tamaño de 4, más de 10 dígitos numéricos tiene 13. Ver ref. No.6 y No.7
9. Reducir la cantidad de tablas en el modelo, cuando sea posible, para aumentar velocidad cálculos si se tiene memoria disponible (esto aumenta consumo de memoria). En un gráfico con dimensión Sucursales  y expresión Sum(Venta), el CPU realiza calculo más rápido si los campos Sucursal y Venta están en misma tabla (aunque consume más memoria), ya que no hace join. A mayor cantidad de tablas intermedias entre los campos Sucursal y Venta, mayor consumo de CPU y mayor el tiempo de cálculo del gráfico.
10. De ser posible, duplicar tablas de dimensiones en diferentes tablas de hechos, para reducir cantidad de join al hacer cálculos en la Aplicación (útil en modelos con cientos de millones de registros).
11. Usar el "Document Analyzer" para identificar información no utilizada en un qvw (campos, grupos, variables, y otros). Descargar en http://robwunderlich.com/downloads/
12. Evitar asociar tablas con relación muchos:muchos. Hacer "Perfect Key" en una de las tablas, donde sea posible. Para identificar "Perfect Key" ver nota publicada aqui.  Ver Ref. No.12

APUNTES PARA PEFORMANCE DE LA APLICACION 
1. Evitar Distinct en expresiones, ya que es un calculo forzado a un solo procesador, en vez de ser multiprocesadores. Ver Ref. No.12 y No.13 
2. En qlikview 8.5, sustituir los Count(Campo) por Sum(Cantidad_Campo) en las expresiones de gráficos, creando un campo de cantidad de registros en la tabla, Ej.  1  as Cantidad_Campo. En qlikview 9 o superior, sustituir sum(campo) por count(campos). Ver Ref. No.15
3. Sustituir los If() de las expresiones por Set Analysis o cálculos con Sum(Campo*Flag). Ver Ref. No.8 y No.12
4. Crear como variables las expresiones de totales que son usadas en más de un gráfico. Ver Ref. No.14
    Ej. Crear la variable vTotalVenta igual a  =Sum(Total Venta).
         Luego sustituir expresiones Sum(Venta)/Sum(Total Venta) por Sum(Venta)/vTotalVenta
5. Usar autominimizar en gráficos, donde sea posible.
6. Evitar comparación de texto en expresiones (consumen mucho CPU) como if(TipoClielnte='Activo', 1,0). Sustituirlo por un Flag en script. Ver Ref. No.8
7. Evitar mostrar frecuencia en Cuadros de Lista
8. Evitar Set Analysis en tablas con cientos de millones de registros.


APUNTES PARA MEJORAR LA EJECUCIÓN DEL SCRIPT
1. Sustituir Resident Load por Precedent Load donde sea posible. Ver Ref. No.9
2. Sustituir joins por applymap donde sea posible. Ver Ref. No.10 y No.11
3. Hacer join con Key numéricas, donde sea posible
4. Mantener las cargas "qvd optimized" cuando sea posible. 
    Link de técnicas para mantener "qvd optimized"

    Formato a Campo con qvd Optimidez
    Concatenar manteniendo qvd Ootimized
    Eliminar Null en Load manteniendo QVD Optimized

Referencia:
1. http://www.citagus.com/citagus/blog/performance-tuning-in-qlikview/
2. http://community.qlik.com/servlet/JiveServlet/download/4556-1-69416/QlikView%20Best%20Practices%20-%20Development%20v0.5%20(1).pdf
3. http://qlikviewnotes.blogspot.com.ar/2011/03/qlikview-compression.html
4. http://community.qlik.com/thread/18473
5. https://gist.github.com/ralfbecher/7910736
6. http://bi-review.blogspot.com.ar/2013/08/few-tips-for-dealing-with-large.html
7. http://qlikviewnotes.blogspot.com.ar/2008/05/memory-sizes-for-data-types.html
8. http://www.qlikcommunity.com/thread/74494
9. http://community.qlik.com/blogs/qlikviewdesignblog/2013/03/04/preceding-load
10. http://community.qlik.com/blogs/qlikviewdesignblog/2012/09/18/one-favorite-function-applymap
11. http://www.quickintelligence.co.uk/applymap-is-it-so-wrong/
12. http://blog.bardess.com/2013/07/03/qlikview-application-performance-tuning/
13. http://community.qlik.com/thread/50589
14. http://www.youtube.com/watch?v=M4XozUfWYII
15. http://qlikviewnotes.blogspot.com.ar/2010/01/best-way-to-count-keys-dont.html
16. http://community.qlik.com/thread/53743

QVD Optimized

Sentencias que SI mantienen una carga  "qvd optimized"
- Where Exists (Campo)
- Renombrar campos (Ej.  Valor as Cantidad )
- LOAD Distinct


Sentencias que NO mantienen una carga  "qvd optimized"
- Agregar condición Where (a Excepción de Where exit (Campo) )
     Ej. de condición que elimina qvd optimized
          Where Exists (Campo1,Campo2)
          Where Exists (Campo1&Campo2)
          Where 1=1
- Uesar  Join entre de tablas
- Dar formato a un campo (Ej. Date(Fecha) as Fecha )
- Calcular un campo (Ej. Fecha-1 as Dia_Anterior)
- Crear campo compuesto (Ej. IdVenta&'-'&Fecha as Key_Venta)
- Agregar un campo (Ej. 1 as Cantidad)
- Usar Mapping LOAD,
- Usar Precedent Load
- Concatenar Tablas con campos diferentes
     Ej. La carga de Febrero.qvd no será "QVD Optimized" porque le falta el campo Venta  :
           Enero: LOAD Sucursal,Venta From Enero.qvd (qvd);

      Concatenate
      Febrero: LOAD Sucursal From Febrero.qvd (qvd); 

Referencia:
1. http://qlikviewnotes.blogspot.com.ar/2011/02/qvd-questions-and-answers.html
2. http://www.quickintelligence.co.uk/qlikview-optimised-qvd-loads/
3. http://www.citagus.com/citagus/blog/optimized-qvd-loads-in-qlikview/
4. http://community.qlik.com/docs/DOC-2641