Merge pull request #409 from dadosfera/feature/catalog-update

FIX: Simplify searchDataAssets by owner logging and remove log code

.github/workflows/k8s-deploy.yml

@@ -56,9 +56,9 @@ jobs:
 
       - name: Install Helmfile
         run: |
-          wget https://github.com/helmfile/helmfile/releases/download/v0.148.0/helmfile_0.148.0_linux_amd64.tar.gz
+          curl -fsSLO https://github.com/helmfile/helmfile/releases/download/v0.148.0/helmfile_0.148.0_linux_amd64.tar.gz
           tar -xzf helmfile_0.148.0_linux_amd64.tar.gz
-          mv helmfile /usr/local/bin/
+          sudo mv helmfile /usr/local/bin/
           helmfile --version
 
       - name: Install Helm Diff Plugin
@@ -105,7 +105,7 @@ jobs:
 
       - name: Install Helmfile
         run: |
-          wget https://github.com/helmfile/helmfile/releases/download/v0.148.0/helmfile_0.148.0_linux_amd64.tar.gz
+          curl -fsSLO https://github.com/helmfile/helmfile/releases/download/v0.148.0/helmfile_0.148.0_linux_amd64.tar.gz
           tar -xzf helmfile_0.148.0_linux_amd64.tar.gz
           sudo mv helmfile /usr/local/bin/
           helmfile --version

.github/workflows/validate-k8s.yml

@@ -66,13 +66,16 @@ jobs:
 
       - name: Install Helmfile
         run: |
-          wget https://github.com/helmfile/helmfile/releases/download/v0.148.0/helmfile_0.148.0_linux_amd64.tar.gz
+          curl -fsSLO https://github.com/helmfile/helmfile/releases/download/v0.148.0/helmfile_0.148.0_linux_amd64.tar.gz
           tar -xzf helmfile_0.148.0_linux_amd64.tar.gz
           sudo mv helmfile /usr/local/bin/
           helmfile --version
 
-      - name: Install Helm Diff Plugin
-        run: helm plugin install https://github.com/databus23/helm-diff || true
+      - name: Debug Helm env
+        run: |
+          helm env
+          echo "HOME=$HOME"
+          ls -R $HOME/.local/share/helm || true
 
       - name: Authenticate with OKE cluster
         env:

README.md

@@ -3,6 +3,7 @@
 </p>
 
 
+
 # Maestro
 
 Maestro é a API principal da Dadosfera. É responsável pela comunicação do Frontend com nossos microsserviços.

deploy/helm-chart/templates/deployment.yaml

@@ -104,6 +104,8 @@ spec:
               value: {{ .Values.maestro.redis_host }}
             - name: REDIS_PORT
               value: "{{ .Values.maestro.redis_port }}"
+            - name: REDIS_TLS
+              value: "{{ .Values.maestro.redis_tls }}"
             - name: JWT_PRIVATE_KEY
               valueFrom:
                 secretKeyRef:

deploy/helm-chart/templates/ingress-private.yaml

@@ -4,9 +4,18 @@ metadata:
   annotations:
     nginx.ingress.kubernetes.io/whitelist-source-range: "69.49.241.121/32" # hostgator ip 
     nginx.ingress.kubernetes.io/proxy-body-size: "0"
+    nginx.ingress.kubernetes.io/proxy-read-timeout: "300"
+    nginx.ingress.kubernetes.io/proxy-connect-timeout: "300"
+    nginx.ingress.kubernetes.io/proxy-send-timeout: "300"
     nginx.ingress.kubernetes.io/server-snippet: |
       underscores_in_headers on;
       ignore_invalid_headers on;
+    nginx.ingress.kubernetes.io/proxy-buffer-size: "16k"
+    nginx.ingress.kubernetes.io/proxy-buffers-number: "8"
+    nginx.ingress.kubernetes.io/proxy-busy-buffers-size: "64k"
+    {{- if .Values.maestro.restricted_ip}}
+    nginx.ingress.kubernetes.io/whitelist-source-range: {{ .Values.maestro.restricted_ip }}
+    {{- end }}
       
   generation: 1
   labels:

deploy/helm-chart/values.yaml

@@ -48,6 +48,7 @@ maestro:
   redis_host: "aaapzppmlyamkocqwstpo7zvopczyyiyuy6xzm2g6c5k4mq3a66be4a-0.redis.sa-saopaulo-1.oci.oraclecloud.com"
   redis_port: "6379"
   redis_database: "0"
+  redis_tls: "true"
   cookie_secret: "13cc5e136d3074bcc05bec8697092ec1f5f376bf"
 autoscaling:
   enabled: false

docsfera.json

@@ -3442,9 +3442,6 @@
             "PipelinesV2"
           ],
           "security": [
-            {
-              "access-token": []
-            },
             {
               "access-token": []
             }
@@ -3494,9 +3491,6 @@
             "PipelinesV2"
           ],
           "security": [
-            {
-              "access-token": []
-            },
             {
               "access-token": []
             }
@@ -3546,9 +3540,6 @@
             "PipelinesV2"
           ],
           "security": [
-            {
-              "access-token": []
-            },
             {
               "access-token": []
             }
@@ -3886,6 +3877,36 @@
                 ],
                 "type": "string"
               }
+            },
+            {
+              "name": "owner",
+              "required": false,
+              "in": "query",
+              "description": "ID do usuário owner para filtrar data assets",
+              "example": "user-id-1,user-id-2",
+              "schema": {
+                "type": "string"
+              }
+            },
+            {
+              "name": "catalog_date_from",
+              "required": false,
+              "in": "query",
+              "description": "Data inicial para filtro de catálogo (formato: YYYY-MM-DD)",
+              "example": "2025-01-01",
+              "schema": {
+                "type": "string"
+              }
+            },
+            {
+              "name": "catalog_date_to",
+              "required": false,
+              "in": "query",
+              "description": "Data final para filtro de catálogo (formato: YYYY-MM-DD)",
+              "example": "2025-12-31",
+              "schema": {
+                "type": "string"
+              }
             }
           ],
           "responses": {
@@ -4015,6 +4036,36 @@
                 ],
                 "type": "string"
               }
+            },
+            {
+              "name": "owner",
+              "required": false,
+              "in": "query",
+              "description": "ID do usuário owner para filtrar data assets",
+              "example": "user-id-1,user-id-2",
+              "schema": {
+                "type": "string"
+              }
+            },
+            {
+              "name": "catalog_date_from",
+              "required": false,
+              "in": "query",
+              "description": "Data inicial para filtro de catálogo (formato: YYYY-MM-DD)",
+              "example": "2025-01-01",
+              "schema": {
+                "type": "string"
+              }
+            },
+            {
+              "name": "catalog_date_to",
+              "required": false,
+              "in": "query",
+              "description": "Data final para filtro de catálogo (formato: YYYY-MM-DD)",
+              "example": "2025-12-31",
+              "schema": {
+                "type": "string"
+              }
             }
           ],
           "responses": {
@@ -4480,6 +4531,14 @@
               "schema": {
                 "type": "string"
               }
+            },
+            {
+              "name": "asset_type",
+              "required": true,
+              "in": "query",
+              "schema": {
+                "type": "string"
+              }
             }
           ],
           "responses": {
@@ -5162,116 +5221,6 @@
           ]
         }
       },
-      "/catalog/data-asset/{nimbus_id}/docs/ai": {
-        "post": {
-          "operationId": "CatalogController_saveDocumentation",
-          "summary": "Save documentation for data asset",
-          "description": "Saves documentation content for a data asset",
-          "parameters": [
-            {
-              "name": "dadosfera-lang",
-              "in": "header",
-              "required": false,
-              "schema": {
-                "enum": [
-                  "pt-br",
-                  "en-us"
-                ],
-                "type": "string"
-              }
-            },
-            {
-              "name": "nimbus_id",
-              "required": true,
-              "in": "path",
-              "description": "Nimbus ID of the data asset",
-              "schema": {
-                "type": "string"
-              }
-            }
-          ],
-          "responses": {
-            "201": {
-              "description": "Documentation saved successfully"
-            }
-          },
-          "tags": [
-            "Catalog"
-          ],
-          "security": [
-            {
-              "access-token": []
-            }
-          ]
-        }
-      },
-      "/catalog/data-asset/{nimbus_id}/docs/generate-ai": {
-        "post": {
-          "operationId": "CatalogController_generateAiDocumentation",
-          "summary": "Generate AI documentation for data asset",
-          "description": "Generates comprehensive documentation for a data asset using AI (Autodrive)",
-          "parameters": [
-            {
-              "name": "dadosfera-lang",
-              "in": "header",
-              "required": false,
-              "schema": {
-                "enum": [
-                  "pt-br",
-                  "en-us"
-                ],
-                "type": "string"
-              }
-            },
-            {
-              "name": "nimbus_id",
-              "required": true,
-              "in": "path",
-              "description": "Nimbus ID of the data asset",
-              "schema": {
-                "type": "string"
-              }
-            }
-          ],
-          "responses": {
-            "201": {
-              "description": "AI documentation generated successfully",
-              "content": {
-                "application/json": {
-                  "schema": {
-                    "type": "object",
-                    "properties": {
-                      "message": {
-                        "type": "string"
-                      },
-                      "documentation": {
-                        "type": "string"
-                      }
-                    }
-                  }
-                }
-              }
-            },
-            "400": {
-              "description": "Bad request - invalid nimbus_id or missing data"
-            },
-            "404": {
-              "description": "Data asset not found"
-            },
-            "500": {
-              "description": "Internal server error during AI generation"
-            }
-          },
-          "tags": [
-            "Catalog"
-          ],
-          "security": [
-            {
-              "access-token": []
-            }
-          ]
-        }
-      },
       "/customers/{id}/mfa": {
         "post": {
           "operationId": "CustomersController_enableMfaEnforce",
@@ -6388,6 +6337,39 @@
           ]
         }
       },
+      "/customers/{id}/theme/reset": {
+        "post": {
+          "operationId": "ThemeController_resetTheme",
+          "parameters": [
+            {
+              "name": "id",
+              "required": true,
+              "in": "path",
+              "schema": {
+                "type": "string"
+              }
+            }
+          ],
+          "responses": {
+            "200": {
+              "description": "",
+              "content": {
+                "application/json": {
+                  "schema": {
+                    "$ref": "#/components/schemas/CustomerThemeResponse"
+                  }
+                }
+              }
+            },
+            "201": {
+              "description": ""
+            }
+          },
+          "tags": [
+            "Theme"
+          ]
+        }
+      },
       "/network-policy": {
         "get": {
           "operationId": "NetworkPolicyController_getNetworks",

environment.d.ts

@@ -16,14 +16,7 @@ declare global {
       OPEN_CUSTOMER_ID: string;
       DEDICATED_PROXY: string;
       COOKIE_SECRET: string;
-
-      // Autodrive Configuration
-      AUTODRIVE_USERNAME?: string;
-      AUTODRIVE_PASSWORD?: string;
-      AUTODRIVE_BASE_URL?: string;
-      AUTODRIVE_MODEL?: string;
-      AUTODRIVE_KEY?: string;
-      AUTO_DRIVE_KEY?: string;
+      REDIS_TLS?: string;
     }
   }
 }

package-lock.json

@@ -12,7 +12,7 @@
         "@aws-sdk/client-secrets-manager": "^3.414.0",
         "@dadosfera/dadosfera-logs": "^1.0.0-beta.4",
         "@dadosfera/protospack": "2.5.3",
-        "@dadosfera/protospack-v2": "3.38.0-beta.10",
+        "@dadosfera/protospack-v2": "3.38.0-beta.16",
         "@grpc/grpc-js": "^1.9.3",
         "@grpc/proto-loader": "^0.7.9",
         "@nestjs/cli": "^9.5.0",
@@ -57,8 +57,8 @@
         "swagger-ui-express": "^4.6.3"
       },
       "devDependencies": {
-        "@types/cookie-parser": "^1.4.9",
         "@types/cache-manager": "^4.0.6",
+        "@types/cookie-parser": "^1.4.9",
         "@types/express": "^4.17.17",
         "@types/express-session": "^1.18.1",
         "@types/jest": "27.0.2",
@@ -1408,10 +1408,9 @@
       }
     },
     "node_modules/@dadosfera/protospack-v2": {
-      "version": "3.38.0-beta.10",
-      "resolved": "https://dadosfera-611330257153.d.codeartifact.us-east-1.amazonaws.com/npm/dadosfera-npm/@dadosfera/protospack-v2/-/protospack-v2-3.38.0-beta.10.tgz",
-      "integrity": "sha512-4miwovVFHtBY1VTHdW8BVmSB8m+LXfIA8uigHbeo8IwreMtTHuLpvfenT4MBSPkdVmlo9+0XBKKf+PaSqtdMAg==",
-      "license": "ISC",
+      "version": "3.38.0-beta.16",
+      "resolved": "https://dadosfera-611330257153.d.codeartifact.us-east-1.amazonaws.com/npm/dadosfera-npm/@dadosfera/protospack-v2/-/protospack-v2-3.38.0-beta.16.tgz",
+      "integrity": "sha512-ijURcmETXdgVgXhIPxapK7w0z6begXm4WDZ6EJtUGg+oYlJd9QOxbwaD7akRzW8XTdccmIo0Vov065KB812J0A==",
       "dependencies": {
         "@grpc/grpc-js": "^1.9.3",
         "rxjs": "^7.5.5"

package.json

@@ -30,7 +30,7 @@
     "@aws-sdk/client-secrets-manager": "^3.414.0",
     "@dadosfera/dadosfera-logs": "^1.0.0-beta.4",
     "@dadosfera/protospack": "2.5.3",
-    "@dadosfera/protospack-v2": "3.38.0-beta.10",
+    "@dadosfera/protospack-v2": "3.38.0-beta.16",
     "@grpc/grpc-js": "^1.9.3",
     "@grpc/proto-loader": "^0.7.9",
     "@nestjs/cli": "^9.5.0",
@@ -78,8 +78,8 @@
     "multer": "1.4.5-lts.1"
   },
   "devDependencies": {
-    "@types/cookie-parser": "^1.4.9",
     "@types/cache-manager": "^4.0.6",
+    "@types/cookie-parser": "^1.4.9",
     "@types/express": "^4.17.17",
     "@types/express-session": "^1.18.1",
     "@types/jest": "27.0.2",

src/authentication/extract-user.ts

@@ -0,0 +1,20 @@
+import jwt, { JwtPayload } from 'jsonwebtoken';
+
+export function extractUserFrom(aRawJwt: string) {
+  const decodedToken = jwt.decode(aRawJwt, {
+    complete: true,
+  });
+
+  const payload = decodedToken.payload as JwtPayload;
+
+  return {
+    user_id: payload.user_id,
+    username: payload.username,
+    permissions: payload.permissions,
+    customer_id: payload.customer_id,
+    customer_name: payload.customer_name,
+    customer_tier: payload.customer_tier,
+    customer_modules: payload.customer_modules,
+    access_token: aRawJwt,
+  }
+}

src/authentication/permissions.enum.ts

@@ -116,6 +116,44 @@ export const PERMISSIONS_GROUPS = {
       },
     },
   },
+  IMPORT_FILES: {
+    title: {
+      'pt-br': 'Coletar | Importar arquivos',
+      'en-us': 'Collect | Import files',
+      'es-es': 'Colecta | Importar archivos',
+    },
+    permissions: {
+      VIEW: {
+        seqid: 48,
+        claim: 'import-file:view',
+        usage: PermissionUsages.PUBLIC,
+        name: {
+          'pt-br': 'Importar arquivos',
+          'en-us': 'Import files',
+          'es-es': 'Importar archivos',
+        },
+      },
+    },
+  },
+   AI_CHAT: {
+    title: {
+      'pt-br': 'AutodriveDDF',
+      'en-us': 'AutodriveDDF',
+      'es-es': 'AutodriveDDF',
+    },
+    permissions: {
+      VIEW: {
+        seqid: 49,
+        claim: 'ai-chat:view',
+        usage: PermissionUsages.PUBLIC,
+        name: {
+          'pt-br': 'AutodriveDDF',
+          'en-us': 'AutodriveDDF',
+          'es-es': 'AutodriveDDF',
+        },
+      },
+    },
+  },
   CONNECTION: {
     title: {
       'pt-br': 'Coletar | Fontes de dados',
@@ -352,6 +390,25 @@ export const PERMISSIONS_GROUPS = {
       },
     },
   },
+  LINEAGE: {
+    title: {
+      'pt-br': 'Explorar | Linhagem',
+      'en-us': 'Explore | Lineage',
+      'es-es': 'Explorar | Linaje',
+    },
+    permissions: {
+      VIEW: {
+        seqid: 50,
+        claim: 'lineage:view',
+        usage: PermissionUsages.PUBLIC,
+        name: {
+          'pt-br': 'Acessar ao módulo de Linhagem',
+          'en-us': 'Access to Lineage module',
+          'es-es': 'Acceda al módulo de Linaje',
+        },
+      }
+    },
+  },
   EMBED: {
     title: {
       'pt-br': 'Analisar | Incorporação',

src/main.ts

@@ -18,21 +18,41 @@ async function bootstrap() {
   });
   const logger = new DadosferaLogger();
 
+  const corsOrigins = [];
+
+  if (process.env.ENV === 'local') {
+    corsOrigins.push('http://localhost:4200');
+  } else {
+    corsOrigins.push( 
+      'https://app.stg.dadosfera.ai',
+      'https://app.dadosfera.ai',
+      'https://private-frontend.stg.dadosfera.ai',
+      'https://unimed.dadosfera.ai',
+      'https://boston-scientific.dadosfera.ai',
+      'https://plataforma.dadosfera.ai'
+    );
+  }
+
   const app = await NestFactory.create(AppModule, {
     logger,
     cors: {
-      origin: '*',
+      origin: corsOrigins,
       methods: 'GET,HEAD,PUT,PATCH,POST,DELETE',
       preflightContinue: false,
       optionsSuccessStatus: 204,
-      credentials: true
+      credentials: true,
     },
   });
+
   app.use(helmet());
   app.use(cookieParser(process.env.COOKIE_SECRET));
-  if (process.env.ENV === 'prd') {
+
+  if (process.env.ENV !== 'local') {
     app.use('/catalog/register-dataset', json({ limit: '10mb' }));
-    app.use('/catalog/register-dataset', urlencoded({ extended: true, limit: '10mb' }));
+    app.use(
+      '/catalog/register-dataset',
+      urlencoded({ extended: true, limit: '10mb' }),
+    );
   }
 
   configureSwagger(app);

src/modules/assign/assign.controller.ts

@@ -1,4 +1,4 @@
-import { Controller, Post, Body, Put, Get} from '@nestjs/common';
+import { Controller, Body, Put, Get, NotFoundException} from '@nestjs/common';
 import { AssignService } from './assign.service';
 import { CreateAssignDto } from './dto/create-assign.dto';
 import { Authenticated, RequireModule, RequireSomePermission } from 'src/decorators/authentication.decorator';
@@ -28,6 +28,10 @@ export class AssignController {
   @RequireModule(DADOSFERA_MODULES_KEYS.EMBED_ASSIGNED)
   async get(@User() user: RequestUser) {
     const metadata = PackTheMetadata(user);
-    return await this.assignService.get(metadata);
+    try {
+      return await this.assignService.get(metadata);
+    } catch (error) {
+      throw new NotFoundException(error.message)
+    }
   }
 }

src/modules/auth/auth.controller.ts

@@ -13,6 +13,7 @@ import {
   Req,
   Param,
   Res,
+  UnauthorizedException,
 } from '@nestjs/common';
 import {
   ApiHeaders,
@@ -54,7 +55,6 @@ import jwt, { JwtPayload } from 'jsonwebtoken';
 import { LanguageEnum } from 'src/utils/languages.enum';
 import { Language } from 'src/decorators/language.decorator';
 import { ApiInternalOnlyEndpoint } from 'src/decorators/swagger.decorator';
-import { Cookie } from 'express-session';
 
 type CookiesValues = {
   accessToken?: string;
@@ -103,14 +103,13 @@ export class AuthController {
       const data = await this.authClient.signIn({ username, password, totp }, metadata);
 
       if (data.tokens) {
-        this.addTokenInCookie(res, {
+        this.authClient.writeAuthSession(res, {
           accessToken: data.tokens.accessToken,
           refreshToken: data.tokens.refreshToken,
           userId: data.user.id
         });
       }
 
-
       return res.send(data);
     } catch (error) {
       this.logger.error('/auth - SignIn - ERROR', error);
@@ -127,27 +126,8 @@ export class AuthController {
   ) {
     try {
       this.logger.info('/auth - SignOut');
-      const exp = 1000 * 60 * 3;
-
-      res.cookie('ddf-auth', '', {
-        domain: 'dadosfera.local',
-        maxAge: Date.now() - exp,
-        expires: new Date(),
-        httpOnly: true,
-        secure: true,
-        sameSite: 'none', // Necessário para cookies em requisições cross-site
-      });
-
-      res.cookie('ddf-refresh-auth', '', {
-        domain: 'dadosfera.local',
-        maxAge: Date.now() - exp,
-        expires: new Date(),
-        httpOnly: true,
-        secure: true,
-        sameSite: 'none', // Necessário para cookies em requisições cross-site
-      });
-
-      this.logger.info('Clean cookie sessions');
+   
+      this.authClient.cleanUpAuthSession(res);
 
       return res.send();
     } catch (error) {
@@ -176,8 +156,9 @@ export class AuthController {
 
     const data = await this.authClient.refreshAccessToken({ refreshToken, userId }, metadata);
 
-    this.addTokenInCookie(res, {
+    this.authClient.writeAuthSession(res, {
       accessToken: data.accessToken,
+      refreshToken: data.refreshToken,
       userId
     });
 
@@ -493,114 +474,36 @@ export class AuthController {
   @Get('me')
   async getMe(@Req() req: Request, @Res() res: Response) {
     this.logger.info('GET /auth/me ')
-    // Lê cookies
+
+    // Get token and headers
     const accessToken = req.cookies['ddf-auth'];
-    const userId = req.cookies['ddf-user-id'];
+    const refreshToken = req.cookies['ddf-refresh-auth']; 
+    const userId = req.cookies['ddf-user-id']; 
+    const resourceHost = req.headers["host"]
+
+    const hasUserSession = Boolean(accessToken) && Boolean(userId);
+    this.logger.info('Has User Session: ' + hasUserSession);
+
+    if (!hasUserSession) {
+      throw new UnauthorizedException()
+    }
 
-    this.logger.info('Has cookie: ' + Boolean(accessToken))
-    let payload: any;
-    let userInfo: any = {};
     try {
-      // Decodifica e valida o JWT de acesso
-      const decoded: any = accessToken && jwt.decode(accessToken, { complete: true });
-      if (!decoded) throw new Error('Invalid token')
-      const { kid } = decoded.header;
-      // Busca a chave pública
-      const { keys } = await this.authClient.getPublicKeys();
-      const pemValue = keys.find((k) => k.kid === kid)?.pem;
-      if (!pemValue) throw new Error('Public key not found');
-      jwt.verify(accessToken, pemValue);
-      payload = decoded.payload;
-      userInfo = {
-        id: payload.user_id,
-        name: payload.username,
-        customer: {
-          id: payload.customer_id,
-          name: payload.customer_name,
-          tier: payload.customer_tier,
-        }
-      };
-      return res.status(200).json(userInfo);
-    } catch (err) {
-      this.logger.error(err.message);
-      const refreshToken = req.cookies['ddf-refresh-auth'];
+      const userDto = await this.authClient.validateUserSession(accessToken, resourceHost);
+      return res.status(200).json(userDto);
+    } catch (error) {
 
-      this.logger.info('Token is invalid')
-      this.logger.info('Has Refresh Token: '+ Boolean(refreshToken))
-      // Se access token inválido, tenta refresh
-      if (!refreshToken || !userId) {
+      if (!refreshToken) {
         this.logger.error('Invalid refresh token or customer name');
-        return res.status(401).json({ error: 'Not authenticated' });
-      }
-      try {
-        // Chama refreshAccessToken
-        const metadata = PackTheMetadata({
-        });
-        this.logger.info('Call Refresh Token')
-        const data = await this.authClient.refreshAccessToken({ refreshToken, userId }, metadata);
-        this.logger.info('Finish Refresh Token')
-        // Retorna novo access token e dados mínimos
-        this.addTokenInCookie(res, {
-          accessToken: data.accessToken,
-          userId
-        });
-        // Decodifica novo token
-        const decoded: any = jwt.decode(data.accessToken, { complete: true });
-        const payload = decoded.payload;
-        userInfo = {
-          id: payload.user_id,
-          name: payload.username,
-          customer: {
-            id: payload.customer_id,
-            name: payload.customer_name,
-            tier: payload.customer_tier,
-          }
-        };
-        return res.status(200).json(userInfo);
-      } catch (refreshErr) {
-        this.logger.error(refreshErr)
-        return res.status(401).json({ error: 'Not authenticated' });
-      }
-    }
-  }
+        throw new UnauthorizedException("Invalid refresh token or customer name");
+      };
 
-  private addTokenInCookie(res: Response, data: CookiesValues) {
-    let exp = 1000 * 60 * 5; // 5 minutes
-
-    if (data.accessToken) {
-      const { exp: expiration } = jwt.decode(data.accessToken) as JwtPayload;
-      exp = (expiration - 30) * 1000; // exp em segundos, maxAge em ms
-
-      this.logger.info('Set Cookie ddf-auth')
-      res.cookie('ddf-auth', data.accessToken, {
-        domain: 'stg.dadosfera.ai',
-        maxAge: exp,
-        httpOnly: true,
-        secure: true,
-        sameSite: 'none', // Necessário para cookies em requisições cross-site
-      });
-    }
-
-    if (data.refreshToken) {
-      this.logger.info('Set Cookie ddf-refresh-auth')
-      res.cookie('ddf-refresh-auth', data.refreshToken, {
-        domain: 'stg.dadosfera.ai',
-        maxAge: exp,
-        httpOnly: true,
-        secure: true,
-        sameSite: 'none', // Necessário para cookies em requisições cross-site
-      });
-    }
-
-    if (data.userId) {
-      this.logger.info('Set Cookie ddf-refresh-auth')
-      res.cookie('ddf-user-id', data.userId, {
-        domain: 'stg.dadosfera.ai',
-        maxAge: exp,
-        httpOnly: true,
-        secure: true,
-        sameSite: 'none', // Necessário para cookies em requisições cross-site
-      });
+      const {
+        authSession,
+        user
+      } = await this.authClient.refreshUserSession(refreshToken, userId, resourceHost);
+      this.authClient.writeAuthSession(res, authSession);
+      return res.status(200).json(user);
     }
   }
 }

src/modules/auth/auth.service.ts

@@ -1,10 +1,20 @@
-import { OnModuleInit, Inject, Injectable, ForbiddenException } from '@nestjs/common';
+import {
+  OnModuleInit,
+  Inject,
+  Injectable,
+  ForbiddenException,
+  HttpException,
+  HttpStatus,
+} from '@nestjs/common';
 import { ClientGrpc } from '@nestjs/microservices';
 import { DadosferaLogger } from '@dadosfera/dadosfera-logs';
 import { lastValueFrom } from 'rxjs';
 
 import { ProtoServices } from '@dadosfera/protospack-v2/dist/lib/Duc';
-import { AuthProtoService as AuthServiceInterface, IdentityProviderProtoService } from '@dadosfera/protospack-v2/dist/lib/Duc/interfaces/write-service';
+import {
+  AuthProtoService as AuthServiceInterface,
+  UsersProtoService,
+} from '@dadosfera/protospack-v2/dist/lib/Duc/interfaces/write-service';
 import {
   AuthSnowflakeSignInRequest,
   AuthSignInRequest,
@@ -21,18 +31,24 @@ import {
 } from '@dadosfera/protospack-v2/dist/lib/Duc/interfaces/messages';
 import { DucClient } from '../duc/client.config';
 import { Metadata } from '@grpc/grpc-js';
-import { BulkEditResponse } from './dtos/login';
+import { BulkEditResponse, UserDTO } from './dtos/login';
+import jwt, { JwtPayload } from 'jsonwebtoken';
+import { PackTheMetadata } from 'src/utils/PackTheMetadata';
+import { Request, Response } from 'express';
 
+type AuthSession = {
+  accessToken?: string;
+  refreshToken?: string;
+  userId?: string;
+};
 
 @Injectable()
 export class AuthClientService implements OnModuleInit {
-
-
   logger: DadosferaLogger;
 
-
   private authService: AuthServiceInterface;
-  private identityProviderService: IdentityProviderProtoService;
+  private userService: UsersProtoService;
+
   constructor(
     @Inject(DadosferaLogger)
     dadosferaLogger: DadosferaLogger,
@@ -46,8 +62,8 @@ export class AuthClientService implements OnModuleInit {
       ProtoServices.AuthProtoService,
     );
 
-    this.identityProviderService = this.grpcClient.getService<IdentityProviderProtoService>(
-      ProtoServices.IdentityProviderProtoService,
+    this.userService = this.grpcClient.getService<UsersProtoService>(
+      ProtoServices.UsersProtoService,
     );
   }
 
@@ -63,11 +79,11 @@ export class AuthClientService implements OnModuleInit {
     return lastValueFrom(this.authService.AuthSnowflakeSignIn(input));
   }
 
-  checkDedicatedProxy({
-    customer
-  }: AuthSignInResponse) {
+  checkDedicatedProxy({ customer }: AuthSignInResponse) {
     const DEDICATED_PROXY = process.env.DEDICATED_PROXY || '';
-    this.logger.info('SignIn - Setting customer ID for dedicated proxy: ' + DEDICATED_PROXY);
+    this.logger.info(
+      'SignIn - Setting customer ID for dedicated proxy: ' + DEDICATED_PROXY,
+    );
     this.logger.info('Customer ID: ' + customer.id);
 
     if (DEDICATED_PROXY !== '' && DEDICATED_PROXY !== customer.id) {
@@ -75,7 +91,9 @@ export class AuthClientService implements OnModuleInit {
     }
 
     // Bloquear o customer de acesso o maestro publico
-    this.logger.info('Check if customer have network policy: ' + customer.modules);
+    this.logger.info(
+      'Check if customer have network policy: ' + customer.modules,
+    );
     const hasNetworkPolicyModule = customer.modules.includes('network-policy');
     if (hasNetworkPolicyModule && DEDICATED_PROXY === '') {
       throw new ForbiddenException();
@@ -94,7 +112,6 @@ export class AuthClientService implements OnModuleInit {
       result = await lastValueFrom(
         this.authService.AuthSignIn({ username, password, totp }, metadata),
       );
-
     } catch (error) {
       this.logger.error('SignIn - Error during sign-in');
       this.logger.error(error);
@@ -105,7 +122,7 @@ export class AuthClientService implements OnModuleInit {
       this.checkDedicatedProxy(result);
     }
 
-    return result
+    return result;
   }
 
   async refreshAccessToken(
@@ -115,7 +132,10 @@ export class AuthClientService implements OnModuleInit {
     this.logger.info('RefreshAccessToken');
 
     return lastValueFrom(
-      this.authService.AuthRefreshAccessToken({ refreshToken, userId }, metadata),
+      this.authService.AuthRefreshAccessToken(
+        { refreshToken, userId },
+        metadata,
+      ),
     );
   }
 
@@ -283,4 +303,190 @@ export class AuthClientService implements OnModuleInit {
       throw error;
     }
   }
+
+  public async validateUserSession(accessToken: any, resourceHost: string) {
+    const payload = await this.validateJwtToken(accessToken);
+
+    const userDto = await this.getUserfromPayload(payload);
+
+    this.validateResourceAccess(resourceHost, userDto);
+    return userDto;
+  }
+
+  public async refreshUserSession(
+    refreshToken: string,
+    userId: string,
+    originHeader: string,
+  ): Promise<{
+    user: UserDTO;
+    authSession: AuthSession;
+  }> {
+    const metadata = PackTheMetadata({});
+
+    this.logger.info('Call Refresh Token');
+    const refreshCredentials = await this.refreshAccessToken(
+      { refreshToken, userId },
+      metadata,
+    );
+    this.logger.info('Finish Refresh Token');
+
+    const userDto = await this.validateUserSession(
+      refreshCredentials.accessToken,
+      originHeader,
+    );
+    return {
+      user: userDto,
+      authSession: {
+        accessToken: refreshCredentials.accessToken,
+        refreshToken: refreshCredentials.refreshToken,
+        userId,
+      },
+    };
+  }
+
+  public writeAuthSession(res: Response, data: AuthSession) {
+    let exp = 1000 * 60 * 5; // 5 minutes
+
+    if (data.accessToken) {
+      const { exp: expiration } = jwt.decode(data.accessToken) as JwtPayload;
+      exp = (expiration - 30) * 1000; // exp em segundos, maxAge em ms
+
+      this.logger.info('Set Cookie ddf-auth');
+      res.cookie('ddf-auth', data.accessToken, {
+        domain: '.dadosfera.ai',
+        maxAge: exp,
+        httpOnly: true,
+        secure: true,
+        sameSite: 'none', // Necessário para cookies em requisições cross-site
+      });
+    }
+
+    if (data.refreshToken) {
+      this.logger.info('Set Cookie ddf-refresh-auth');
+      res.cookie('ddf-refresh-auth', data.refreshToken, {
+        domain: '.dadosfera.ai',
+        maxAge: exp,
+        httpOnly: true,
+        secure: true,
+        sameSite: 'none', // Necessário para cookies em requisições cross-site
+      });
+    }
+
+    if (data.userId) {
+      this.logger.info('Set Cookie ddf-refresh-auth');
+      res.cookie('ddf-user-id', data.userId, {
+        domain: '.dadosfera.ai',
+        maxAge: exp,
+        httpOnly: true,
+        secure: true,
+        sameSite: 'none', // Necessário para cookies em requisições cross-site
+      });
+    }
+  }
+
+  public cleanUpAuthSession(res: Response) {
+    const exp = 1000 * 60 * 3;
+
+    res.cookie('ddf-auth', '', {
+      domain: 'dadosfera.ai',
+      maxAge: Date.now() - exp,
+      expires: new Date(),
+      httpOnly: true,
+      secure: true,
+      sameSite: 'none', // Necessário para cookies em requisições cross-site
+    });
+
+    res.cookie('ddf-refresh-auth', '', {
+      domain: 'dadosfera.ai',
+      maxAge: Date.now() - exp,
+      expires: new Date(),
+      httpOnly: true,
+      secure: true,
+      sameSite: 'none', // Necessário para cookies em requisições cross-site
+    });
+
+    this.logger.info('Clean cookie sessions');
+  }
+
+  private async validateJwtToken(token: string) {
+    const decoded: any = token && jwt.decode(token, { complete: true });
+    if (!decoded) throw new Error('Invalid token');
+
+    const { kid } = decoded.header;
+    // Busca a chave pública
+    const { keys } = await this.getPublicKeys();
+    const pemValue = keys.find((k) => k.kid === kid)?.pem;
+    if (!pemValue) throw new Error('Public key not found');
+    jwt.verify(token, pemValue);
+
+    return decoded.payload;
+  }
+
+  private async getUserfromPayload(payload: JwtPayload): Promise<UserDTO> {
+    this.logger.info('getUser');
+
+    const metadata = PackTheMetadata({
+      customer_id: payload.customer_id,
+    });
+
+    const { user } = await lastValueFrom(
+      this.userService.UserFindOneById({ id: payload.user_id }, metadata),
+    );
+
+    const userDto: UserDTO = {
+      id: user.id,
+      name: user.username,
+      jobTitle: user?.jobTitle || null,
+      department: user?.department || null,
+      hierarchy: user?.hierarchy || null,
+      customer: {
+        id: payload.customer_id,
+        name: payload.customer_name,
+        tier: payload.customer_tier,
+      },
+    };
+
+    return userDto;
+  }
+
+  private validateResourceAccess(host: string, user: UserDTO) {
+    this.logger.info(
+      "Validate whether the source URL is a resource belonging to the user's client",
+    );
+    this.logger.info('Host: ' + host);
+    this.logger.info('Customer: ' + user.customer.name);
+
+    const hostParts = host.split('.');
+    const domain = hostParts[0];
+    const isResouceStg = hostParts[1] === 'stg';
+
+    const notFoundCustomerInDomain = !domain.includes('-')
+
+    if (notFoundCustomerInDomain) {
+      this.logger.info(`Not found Customer Name in domain`);
+      return;
+    }
+
+    const domainParts = domain.split('-');
+
+    const customerInDomain = domainParts[domainParts.length - 1];
+
+    if (isResouceStg && process.env.ENV !== 'stg') {
+      this.logger.error(`Customer ${user.customer.name} cannot access ${host}`);
+      throw new HttpException(
+        `Customer ${user.customer.name} cannot access ${host}`,
+        HttpStatus.FORBIDDEN
+      );
+    }
+
+    if (customerInDomain != user.customer.name) {
+      this.logger.error(`Customer ${user.customer.name} cannot access ${host}`);
+      throw new HttpException(
+        `Customer ${user.customer.name} cannot access ${host}`,
+        HttpStatus.FORBIDDEN
+      );
+    }
+
+    return;
+  }
 }

src/modules/auth/dtos/login.ts

@@ -140,3 +140,16 @@ export interface BulkEditResponse {
   successfulUsers: string[];
   failedUsers: string[];
 }
+
+export type UserDTO = {
+  id: string,
+  name: string,
+  jobTitle?: string,
+  department?: string,
+  hierarchy?: string,
+  customer: {
+    id: string,
+    name: string,
+    tier: string,
+  }
+}

src/modules/catalog/catalog.controller.ts

@@ -22,9 +22,6 @@ import {
   ApiHeaders,
   ApiOkResponse,
   ApiTags,
-  ApiOperation,
-  ApiParam,
-  ApiResponse,
 } from '@nestjs/swagger';
 import {
   Authenticated,
@@ -91,6 +88,10 @@ export class CatalogController {
     @Query() query: ICatalogAllRequest,
   ): Promise<ICatalogAllResponse> {
     const { user_id, customer_name, customer_id, username, permissions } = user;
+    this.logger.info(`/catalog - searchCatalog`, {
+      user_id,
+      customer_name,
+    });
 
     const is_data_manager = permissions.includes(
       PERMISSIONS_GROUPS.CATALOG.permissions.DATA_MANAGER.seqid,
@@ -127,6 +128,10 @@ export class CatalogController {
     @Res() res: Response
   ) {
     const { user_id, customer_name, customer_id, username, permissions } = user;
+    this.logger.info(`/catalog/download - searchCatalog`, {
+      user_id,
+      customer_name,
+    });
 
     const is_data_manager = permissions.includes(
       PERMISSIONS_GROUPS.CATALOG.permissions.DATA_MANAGER.seqid,
@@ -163,6 +168,10 @@ export class CatalogController {
   async findByPipelineAndObject(@User() user: RequestUser, @Query() query) {
     const { username, user_id, customer_id, customer_name, permissions } = user;
     const { pipeline, object } = query;
+    this.logger.info(`/catalog - ON GET DATA ASSET BY PIPELINE AND OBJECT`, {
+      username,
+      customer_name,
+    });
 
     if (!pipeline || !object) {
       throw new BadRequestException('Query params not provided');
@@ -215,6 +224,10 @@ export class CatalogController {
     PERMISSIONS_GROUPS.CATALOG.permissions.DATA_MANAGER,
   )
   async findAllTags(@Body() body) {
+    this.logger.info(`/catalog - ON FIND ALL TAGS ROUTE`, {
+      user: body.info.user_id,
+      customer: body.info.customer,
+    });
 
     const { user_id, customer, customer_id } = body.info;
     const metadata = PackTheMetadata({
@@ -240,6 +253,10 @@ export class CatalogController {
   ) {
     const { username, user_id, customer_id, customer_name, permissions } = user;
 
+    this.logger.info(`GET /data-asset/${id}`, {
+      username,
+      customer_name,
+    });
 
     const is_data_manager = permissions.includes(
       PERMISSIONS_GROUPS.CATALOG.permissions.DATA_MANAGER.seqid,
@@ -292,6 +309,10 @@ export class CatalogController {
   ) {
     const { username, user_id, customer_id, customer_name, permissions } = user;
 
+    this.logger.info(`/catalog - ON GET ONE DASHBOARD METABASE ROUTE`, {
+      username,
+      customer_name,
+    });
 
     const is_data_manager = permissions.includes(
       PERMISSIONS_GROUPS.CATALOG.permissions.DATA_MANAGER.seqid,
@@ -343,6 +364,10 @@ export class CatalogController {
   ): Promise<IColumnsMetadataResponse> {
     const { customer_name, customer_id, user_id, username } = user;
 
+    this.logger.info(`/catalog - columns-metadata`, {
+      user_id,
+      customer_name,
+    });
 
     const metadata = PackTheMetadata({
       customer_name,
@@ -370,6 +395,10 @@ export class CatalogController {
   ): Promise<IPreviewResponse> {
     const { customer_name, customer_id, user_id, username, customer_modules } = user;
 
+    this.logger.info(`/catalog - ON GET DATA DOCS ROUTE`, {
+      user_id,
+      customer_name,
+    });
 
     const metadata = PackTheMetadata({
       customer_name,
@@ -394,32 +423,26 @@ export class CatalogController {
     @User() user: RequestUser,
     @Language() language: LanguageEnum,
     @Param('id') id: string,
+    @Query('asset_type') asset_type: string,
   ): Promise<IDocsResponse> {
-    try {
-      const { customer_name, customer_id, user_id, username } = user;
+    const { customer_name, customer_id, user_id, username } = user;
 
-      this.logger.info(`/catalog - ON GET DATA DOCS ROUTE`, {
-        user_id,
-        customer_name,
-        id,
-      });
+    this.logger.info(`/catalog - ON GET DATA DOCS ROUTE`, {
+      user_id,
+      customer_name,
+    });
 
-      const metadata = PackTheMetadata({
-        customer_name,
-        customer_id,
-        user_id,
-        username,
-        language,
-      });
+    const metadata = PackTheMetadata({
+      customer_name,
+      customer_id,
+      user_id,
+      username,
+      language,
+    });
 
-      const docs = await this.catalogService.getDataDocs(id, metadata);
+    const docs = await this.catalogService.getDataDocs(id, asset_type, metadata);
 
-      return { docs };
-    } catch (error) {
-      this.logger.error(`Error in getDataAssetDocs for id ${id}: ${error.message}`);
-      this.logger.error(`Error details: ${JSON.stringify(error)}`);
-      throw error;
-    }
+    return { docs };
   }
 
   @Put('data-asset/:id')
@@ -465,22 +488,36 @@ export class CatalogController {
     @Headers() headers,
     @Param('id') table_id: string,
     @Body('docs') docs: string,
+    @Query('asset_type') asset_type: string,
   ) {
-    const { user_id, customer_name } = user;
+    const { user_id, customer_name, customer_id, username } = user;
+    
+    const metadata = PackTheMetadata({
+      customer_id,
+      customer_name,
+      user_id,
+      username,
+    });
 
+    this.logger.info(`/catalog - ON POST DATA DOCS ROUTE`, {
+      user_id,
+      customer_name,
+    });
 
-    const res = await this.catalogService.createDataDocs({
+    const body = {
       table_id,
       docs,
+      asset_type,
       info: {
         customer: customer_name,
       },
-    });
+    }
+
+    const res = await this.catalogService.createDataDocs(body, metadata);
 
     return res;
   }
 
-
   @ApiInternalOnlyEndpoint()
   @Put('data-asset/:id/manage-permissions')
   async manageDataAssetPermissions(
@@ -906,88 +943,4 @@ export class CatalogController {
       this.logger.error(error.message);
     }
   }
-
-  @Post('/data-asset/:nimbus_id/docs/ai')
-  @ApiOperation({
-    summary: 'Save documentation for data asset',
-    description: 'Saves documentation content for a data asset',
-  })
-  @ApiParam({
-    name: 'nimbus_id',
-    description: 'Nimbus ID of the data asset',
-    type: 'string',
-  })
-  @ApiResponse({
-    status: 201,
-    description: 'Documentation saved successfully',
-  })
-  async saveDocumentation(
-    @Param('nimbus_id') nimbusId: string,
-    @Body() body: { docs: string },
-    @User() user: RequestUser,
-  ) {
-
-    const metadata = PackTheMetadata(user);
-
-    try {
-      await this.catalogService.updateDataAssetDocumentation(nimbusId, body.docs, metadata);
-      return {
-        message: 'Documentation saved successfully',
-      };
-    } catch (error) {
-      this.logger.error(`Error saving documentation for ${nimbusId}: ${error.message}`);
-      throw error;
-    }
-  }
-
-  @Post('/data-asset/:nimbus_id/docs/generate-ai')
-  @ApiOperation({
-    summary: 'Generate AI documentation for data asset',
-    description: 'Generates comprehensive documentation for a data asset using AI (Autodrive)',
-  })
-  @ApiParam({
-    name: 'nimbus_id',
-    description: 'Nimbus ID of the data asset',
-    type: 'string',
-  })
-  @ApiResponse({
-    status: 201,
-    description: 'AI documentation generated successfully',
-    schema: {
-      type: 'object',
-      properties: {
-        message: { type: 'string' },
-        documentation: { type: 'string' },
-      },
-    },
-  })
-  @ApiResponse({
-    status: 400,
-    description: 'Bad request - invalid nimbus_id or missing data',
-  })
-  @ApiResponse({
-    status: 404,
-    description: 'Data asset not found',
-  })
-  @ApiResponse({
-    status: 500,
-    description: 'Internal server error during AI generation',
-  })
-  async generateAiDocumentation(
-    @Param('nimbus_id') dataAssetId: string,
-    @User() user: RequestUser,
-  ) {
-    const metadata = PackTheMetadata(user);
-
-    try {
-      const result = await this.catalogService.generateAiDocumentation(dataAssetId, metadata, user);
-      return {
-        message: 'AI documentation generated successfully',
-        documentation: result,
-      };
-    } catch (error) {
-      this.logger.error(`Error generating AI documentation for ${dataAssetId}: ${error.message}`);
-      throw error;
-    }
-  }
 }

src/modules/catalog/constants/autodrive.constants.ts

@@ -1,42 +0,0 @@
-/**
- * Constantes relacionadas ao Autodrive
- * 
- */
-export const AUTODRIVE_CONSTANTS = {
-  // URLs e endpoints (apenas do ENV)
-  BASE_URL: process.env.BASE_URL_AUTODRIVE || process.env.AUTODRIVE_BASE_URL,
-  
-  // Credenciais (apenas do ENV, sem fallback para segurança)
-  USERNAME: process.env.AUTODRIVE_USERNAME,
-  PASSWORD: process.env.AUTODRIVE_PASSWORD,
-  
-  // Modelo padrão
-  DEFAULT_MODEL: process.env.AUTODRIVE_MODEL || "gpt-4o",
-  
-  // Timeouts (em milissegundos)
-  ASK_TIMEOUT: 120000,
-  ANSWER_TIMEOUT: 180000,
-  
-  // Headers
-  HEADERS: {
-    'Content-Type': 'application/json',
-  },
-} as const;
-
-/**
- * Chaves geográficas para detecção de dados de localização
- */
-export const GEOGRAPHIC_KEYS = [
-  'country', 'countries', 'city', 'cities', 
-  'region', 'regions', 'location', 'state', 
-  'states', 'address'
-] as const;
-
-/**
- * Países comuns para detecção automática
- */
-export const COMMON_COUNTRIES = [
-  'brazil', 'brasil', 'usa', 'united states', 
-  'canada', 'mexico', 'argentina', 'chile', 
-  'colombia'
-] as const;

src/modules/catalog/dtos/index.ts

@@ -147,6 +147,24 @@ export class ICatalogAllRequest {
     description: 'Tipo de ordenação - `asc`: crescente; `desc`: decrescente ',
   })
   order?: OrderEnum;
+
+  @ApiPropertyOptional({
+    description: 'ID do usuário owner para filtrar data assets',
+    example: 'user-id-1,user-id-2',
+  })
+  owner?: string;
+
+  @ApiPropertyOptional({
+    description: 'Data inicial para filtro de catálogo (formato: YYYY-MM-DD)',
+    example: '2025-01-01',
+  })
+  catalog_date_from?: string;
+
+  @ApiPropertyOptional({
+    description: 'Data final para filtro de catálogo (formato: YYYY-MM-DD)',
+    example: '2025-12-31',
+  })
+  catalog_date_to?: string;
 }
 
 export class ICatalogAllResponse {
@@ -328,3 +346,10 @@ export type AssetReporter = {
   created_at: string;
   tags: string;
 }
+
+export type CreateDataDocsDTO = {
+  table_id: string;
+  docs: string;
+  asset_type: string;
+
+}

src/modules/catalog/prompts/ai-documentation.prompt.ts

@@ -1,88 +0,0 @@
-/**
-
- */
-export const AI_DOCUMENTATION_PROMPT = `crie uma documentação em Portugues, Ingles e Espanhol seguindo essas instruções 
-1. Persona: como profissional de governança e engenharia de dados
-2. Tarefa: ao receber as informações da tabela criar uma documentação com o seguinte escopo 
-**A primeira linha do documento tem que conter a seguinte informação: ## Document languages: EN / BR / ES
-**A segunda linha tem que obrigatoriamente conter a escrita Table: nome da tabela
-**A terceira linha tem que obrigatoriamente conter a escrita Table Schema: nome do table schema
-**DIRETRIZ CRUCIAL DE CONSISTÊNCIA E COMPLETUDE DE SCHEMA:**
-**1. Fonte Exclusiva de Metadados:** O 'Table Schema' definido na linha acima é a ÚNICA fonte de verdade para o schema dos dados a serem documentados. TODAS as informações subsequentes, especialmente na seção 'Estrutura da Tabela' (incluindo a lista de colunas, seus nomes, tipos de dados, descrições e exemplos) DEVEM ser extraídas EXCLUSIVAMENTE de metadados que correspondem a ESTE 'Table Schema'. Se os dados de entrada que você recebeu contiverem informações para a mesma tabela ou colunas mas de schemas diferentes (ex: um schema 'bronze' e um 'silver'), você DEVE IGNORAR TOTALMENTE as informações dos schemas divergentes para esta tarefa de documentação e utilizar APENAS as do 'Table Schema' aqui especificado.
-**2. Listagem Completa de Colunas:** Sua principal tarefa na seção 'Estrutura da Tabela' é identificar e listar TODAS as colunas que pertencem ao 'Table Schema' especificado. Verifique nos dados de entrada fornecidos se há uma indicação explícita do número total de colunas para esta tabela neste schema (por exemplo, um campo como 'Num_columns' ou similar nos metadados da tabela). Você deve se esforçar para listar exatamente essa quantidade de colunas. Se essa contagem não estiver disponível, liste todas as colunas que você puder identificar como pertencentes exclusivamente a este 'Table Schema'. A completude em relação ao schema especificado é essencial.
-
-**Depois de "Estrutura da tablea", incluir a mensagem "Este documento foi gerado por IA", traduzida corretamente para cada idioma.**
-**Obrigatoriamente:Após finalizar a versão em Inglês, começar a versão em Português** **Após finalizar a versão em Português, começar a versão em Espanhol** **Antes de começar cada versão, colocar um título como:** - \`## English Version\` (para inglês)  
-  - \`## Versão em Português\` (para português)  
-  - \`## Versión en Español\` (para espanhol)  
- - Descrição: fornece uma visão geral do ativo de dados, 
- destacando seu propósito e principal funcionalidade. 
- Esta sessão resume o conteúdo e o objetivo do ativo, ajudando os usuários a entender rapidamente o que o ativo representa 
- e como pode ser utilizado em suas análises e decisões.
- - Sugestão de Domínio de Dados:
- Analise cuidadosamente os dados da tabela e sugira o domínio mais apropriado. Inclua:
- - Domínio Sugerido: [Nome do domínio]
- - Motivo: [Explicação breve sobre porque a tabela pertence a este domínio]
- - Observações: [Qualquer observação adicional relevante]
- 
- Exemplos de Domínios de Dados para referência:
- - Financeiro: Dados sobre transações, receitas, despesas, etc.
- - Recursos Humanos: Dados sobre funcionários, cargos, salários, etc.
- - Produtos: Dados sobre produtos, categorias, preços, etc.
- - Fornecedores: Dados sobre fornecedores, produtos fornecidos, localizações, etc.
- - Marketing: Dados sobre campanhas, leads, conversões, etc.
- - Vendas: Dados sobre vendas, clientes, produtos vendidos, etc.
- - Operações: Dados sobre processos, logística, produção, etc.
- - Clientes: Dados sobre clientes, interações, histórico, etc.
-   -Tags Sugeridas:
-          A IA deve gerar tags relevantes **com base nos dados da tabela**.  
-        - **IMPORTANTE: Analise cuidadosamente os dados de preview da tabela (PREVIEW DATA) para encontrar países. Procure em todas as colunas por nomes de países, cidades ou regiões.**
-        - **Garanta que as tags estejam separadas por espaços vazios, todas na mesma linha, exemplo: #marketing #sales #australia #canada, limitar até 3 países que mais aparecem** - **Os países DEVEM ser extraídos dos dados de preview da tabela. Procure em colunas como City, Country, Region, Location, etc.** - Por que esta tabela é interessante:
- Nesta sessão, é destacada a importância do ativo, explicando como ele pode ser útil para os usuários. 
- São abordadas as formas como o ativo pode melhorar a tomada de decisões, identificar padrões relevantes ou fornecer insights valiosos. 
- O objetivo é ressaltar a utilidade prática e o impacto positivo que o ativo pode ter em suas atividades.
- - Análises potencialmente úteis feitas com esses dados:
- Aqui são listadas algumas das análises que podem ser realizadas com o ativo de dados. Inclui sugestões de dashboards, 
- relatórios ou outros tipos de análises que aproveitam as informações fornecidas pelo ativo. 
- O objetivo é oferecer maneiras de utilizar os dados para obter insights valiosos e apoiar a tomada de decisões informadas.
- - Links Úteis:
- Os Links Úteis oferecem recursos adicionais relacionados ao ativo de dados, incluindo guias, 
- artigos ou outras fontes de informação que podem ajudar os usuários a compreender melhor o ativo e suas aplicações. Além disso, 
- inclui um link rápido dentro da Dadosfera para ativos relacionados diretamente com o ativo em questão, facilitando a navegação entre os ativos.
- - Estrutura da Tabela:
- A Estrutura da Tabela detalha TODAS as colunas e os dados disponíveis no ativo, conforme pertencentes ao 'Table Schema' principal definido no início deste documento.
- **Instrução Detalhada para Estrutura da Tabela:**
- Siga rigorosamente estes passos:
- 1. Identifique nos dados de entrada (metadados da tabela e das colunas) todas as colunas que pertencem EXCLUSIVAMENTE ao 'Table Schema' especificado no cabeçalho deste documento. Se houver uma contagem de colunas (ex: 'Num_columns') para este schema específico, assegure-se de listar essa quantidade.
- 2. Para CADA uma dessas colunas identificadas, formate a saída da seguinte maneira, **SEM utilizar NENHUM marcador de lista (como traços ou asteriscos) no início de cada entrada de coluna**. Cada coluna deve ser apresentada como um bloco de texto. Inclua uma linha em branco entre a documentação de cada coluna para separação visual.
-   - Apresente o NOME_DA_COLUNA em maiúsculas, seguido pelo (TIPO_DE_DADO_EXTRAÍDO_DOS_METADADOS_DO_SCHEMA_CORRETO) entre parênteses.
-   - O **NOME_DA_COLUNA (TIPO_DE_DADO_EXTRAÍDO_DOS_METADADOS_DO_SCHEMA_CORRETO)** deve estar na primeira linha do bloco da coluna e **inteiramente em negrito**.
-   - Na linha seguinte, a etiqueta "**Descrição:**" deve estar **em negrito**, seguida pelo texto da descrição da coluna.
-   - Na linha seguinte à descrição, a etiqueta "**Exemplo:**" deve estar **em negrito**, seguida pelo valor do exemplo. Se o exemplo for um valor literal ou código, formate-o entre crases (\`) se apropriado.
-   - Se houver informações adicionais relevantes (como "Valores Possíveis:", "Observações:", etc.), coloque a etiqueta correspondente **em negrito** em uma nova linha, seguida pelo seu texto.
-   
- Este documento foi gerado por IA.
-
- NOME_COLUNA_1 (TIPO_DADO_SCHEMA_CORRETO_1):
-   Descrição: [Descrição da coluna 1, do schema correto]
-   Exemplo: \`[Exemplo de valor para coluna 1, do schema correto]\`
-
- NOME_COLUNA_2 (TIPO_DADO_SCHEMA_CORRETO_2):
-   Descrição: [Descrição da coluna 2, do schema correto]
-   Exemplo: \`[Exemplo de valor para coluna 2, do schema correto]\`
-
- (continue este formato com início de cada coluna para TODAS as colunas do 'Table Schema' especificado, garanta com que NUNCA tenha TRAÇO OU PONTO no inicio)
-
- 3. Contexto : O usuário ira cadastrar um ativo de dados na nossa plataforma e para ter um bom catalogo ele ira querer gerar a documentação padronizada mas explicativa e
- automática 
- 4. Restrições : A documentação deve seguir obrigatoriamente o mesmo padrão principalmente na parte de estrutura de dados
- 5. Objetivo: O principal objetivo é gerar uma documentação acessível, clara, 
- automática e padronizada para os usuários que desejem cadastrar um ativo de dados na plataforma`;
-
-/**
- * Configurações para a geração de documentação com IA
- */
-export const AI_DOCUMENTATION_CONFIG = {
-  FETCH_K: 250,
-  K: 100,
-} as const;

src/modules/catalog/share/share.service.ts

@@ -160,7 +160,7 @@ export class ShareService implements OnModuleInit {
     });
 
     const { documentation } = await lastValueFrom(
-      this.catalogReadService.GetDatasetDoc({ id, type: undefined }, metadata),
+      this.catalogReadService.GetDatasetDoc({ id }, metadata),
     );
     console.log(documentation);
     const docs = JSON.parse(documentation);
@@ -180,7 +180,7 @@ export class ShareService implements OnModuleInit {
     return data_assets.map((data_asset) => {
       const owner = customer_users.find(
         (u) => u.id === data_asset.owner,
-      )?.username;
+      )?.email;
 
       const roles = [];
       const users = [];
@@ -190,7 +190,7 @@ export class ShareService implements OnModuleInit {
       }
       for (const user_id of data_asset.users) {
         const user = customer_users.find((r) => r.id === user_id);
-        if (user) users.push({ id: user.id, username: user.username });
+        if (user) users.push({ id: user.id, email: user.email });
       }
       return {
         ...data_asset,

src/modules/catalog/types/ai-documentation.types.ts

@@ -1,60 +0,0 @@
-/**
- * Tipos relacionados à geração de documentação com IA
- */
-
-export interface AutodriveCredentials {
-  username: string;
-  password: string;
-  baseUrl: string;
-  model: string;
-  authHeader?: string;
-}
-
-export interface AutodriveAskPayload {
-  question: string;
-  fetch_k: number;
-  k: number;
-  model: string;
-}
-
-export interface AutodriveAskResponse {
-  answer?: string;
-  question_id?: string;
-  dataset_id?: string;
-}
-
-export interface AutodriveAnswerResponse {
-  status: 'started' | 'success' | 'failed';
-  answer?: string;
-  status_reason?: string;
-}
-
-export interface AutodriveUploadResponse {
-  dataset_id: string;
-}
-
-export interface DatasetStatusResponse {
-  status: 'processing' | 'success' | 'failed';
-  status_reason?: string;
-}
-
-export interface ColumnData {
-  name: string;
-  type: string;
-  description?: string;
-  nullable?: string;
-}
-
-export interface ColumnsMetadata {
-  columns: ColumnData[];
-}
-
-export interface DataPreview {
-  preview: any[];
-}
-
-export interface FormattedDataForAI {
-  dataAsset: any;
-  dataPreview: any[];
-  columnsData?: ColumnsMetadata;
-}

src/modules/mixpanel/mixpanel.controller.ts

@@ -1,29 +1,46 @@
 import { Body, Controller, Inject, Param, Post, Req } from '@nestjs/common';
-import { init } from 'mixpanel';
-import { Authenticated } from 'src/decorators/authentication.decorator';
 import { ApiInternalOnlyController } from 'src/decorators/swagger.decorator';
-import { RequestUser, User } from 'src/decorators/user.decorator';
+import { RequestUser } from 'src/decorators/user.decorator';
 import { MixpanelService } from './mixpanel.service';
+import { extractUserFrom } from 'src/authentication/extract-user';
+import DadosferaLogger from '@dadosfera/dadosfera-logs';
 
 @ApiInternalOnlyController()
 @Controller('trackEvent')
 export class MixpanelController {
+  logger: DadosferaLogger;
+
   constructor(
-    private mixpanelService: MixpanelService
-  ) {}
+    @Inject(DadosferaLogger)
+    dadosferaLogger: DadosferaLogger,
+    private mixpanelService: MixpanelService,
+  ) {
+    this.logger = dadosferaLogger.logger;
+  }
+
   @Post(':id')
   async trackEvent(
     @Param('id') id,
     @Body() body,
-    @User() user: RequestUser,
     @Req() request
   ) {
+    this.logger.info(`POST Track Event: ${id}`)
     delete body.info;
+
+    const anonymousUser = {
+      username: "anonymous",
+      customer_name: "anonymous"
+    } as RequestUser
+
+    const hasToken = request.headers['authorization'];
+
+    const user = hasToken ? extractUserFrom(hasToken) : anonymousUser;
+
+    this.logger.info(`Has user: ${typeof hasToken == "string"}`)
  
     await this.mixpanelService.track(id, user, request, body)
 
+    this.logger.info(`Event successful`)
     return { id, body, user: user.username };
   }
-
-
 }

src/modules/pipelines/pipelines.controller.ts

@@ -3,6 +3,7 @@ import { ApiOperation, ApiTags } from '@nestjs/swagger';
 import {
   AuthenticateCondition,
   Authenticated,
+  RequireSomePermission,
 } from 'src/decorators/authentication.decorator';
 import { PERMISSIONS_GROUPS } from '../../authentication/permissions.enum';
 import { PipelinesService } from './pipelines.service';
@@ -13,26 +14,6 @@ import { ApiInternalOnlyController } from 'src/decorators/swagger.decorator';
 @ApiTags('Pipelines')
 @Controller('pipelines')
 @Authenticated()
-@AuthenticateCondition((req, user) => {
-  let action;
-
-  switch (req.method) {
-    case 'POST':
-      action = 'CREATE';
-      break;
-
-    case 'PUT':
-      action = 'UPDATE';
-      break;
-
-    default:
-      action = req.method;
-  }
-
-  return user.permissions.includes(
-    PERMISSIONS_GROUPS.PIPELINE.permissions[action].seqid,
-  );
-})
 export class PipelinesController {
   logger: DadosferaLogger;
   constructor(
@@ -44,6 +25,7 @@ export class PipelinesController {
   }
 
   @Post('start/:id')
+  @RequireSomePermission(PERMISSIONS_GROUPS.PIPELINE.permissions.CREATE)
   @ApiOperation({
     deprecated: true,
     description:
@@ -71,6 +53,7 @@ export class PipelinesController {
     description:
       'This method is deprecated. Please use route /pipelinesV2/:id/status instead',
   })
+  @RequireSomePermission(PERMISSIONS_GROUPS.IMPORT_FILES.permissions.VIEW, PERMISSIONS_GROUPS.PIPELINE.permissions.GET)
   async getPipelineStatus(@Body() body, @Param('id') id: string) {
     body.id = id;
 

src/modules/pipelinesV2/pipelines.controller.ts

@@ -26,6 +26,7 @@ import {
 import {
   AuthenticateCondition,
   RequireAllPermissions,
+  RequireSomePermission,
 } from 'src/decorators/authentication.decorator';
 import { PERMISSIONS_GROUPS } from '../../authentication/permissions.enum';
 import { PipelinesService } from './pipelines.service';
@@ -52,30 +53,6 @@ import { ApiInternalOnlyEndpoint } from 'src/decorators/swagger.decorator';
 @ApiHeaders([{ name: 'dadosfera-lang', enum: LanguageEnum, required: false }])
 @UseFilters(new GrpcToHttpExceptionFilter())
 @Controller('pipelinesV2')
-@AuthenticateCondition((req, user) => {
-  let action;
-
-  switch (req.method) {
-    case 'POST':
-      action = 'CREATE';
-      break;
-
-    case 'PUT':
-      action = 'UPDATE';
-      break;
-
-    case 'PATCH':
-      action = 'UPDATE';
-      break;
-
-    default:
-      action = req.method;
-  }
-
-  return user.permissions.includes(
-    PERMISSIONS_GROUPS.PIPELINE.permissions[action].seqid,
-  );
-})
 export class PipelinesController {
   logger: DadosferaLogger;
   constructor(
@@ -88,6 +65,7 @@ export class PipelinesController {
   }
 
   @Get('monitoring-dashboard')
+  @RequireSomePermission(PERMISSIONS_GROUPS.PIPELINE.permissions.GET)
   async getMonitoringDashboard(@User() user: RequestUser) {
     this.logger.info('PipelinesController - getMonitoringDashboard', { user });
 
@@ -100,6 +78,7 @@ export class PipelinesController {
   }
 
   @Post()
+  @RequireSomePermission(PERMISSIONS_GROUPS.PIPELINE.permissions.CREATE)
   @ApiCreatedResponse({ type: IPipelineV2 })
   async create(
     @Language() language: LanguageEnum,
@@ -126,6 +105,7 @@ export class PipelinesController {
   }
 
   @Get()
+  @RequireSomePermission(PERMISSIONS_GROUPS.IMPORT_FILES.permissions.VIEW, PERMISSIONS_GROUPS.PIPELINE.permissions.GET)
   async findAll(
     @User() user: RequestUser,
     @Language() language: LanguageEnum,
@@ -150,6 +130,7 @@ export class PipelinesController {
   }
 
   @Get('/download-logs')
+  @RequireSomePermission(PERMISSIONS_GROUPS.PIPELINE.permissions.GET)
   async downloadLogs(
     @User() user: RequestUser,
     @Language() language: LanguageEnum,
@@ -180,6 +161,7 @@ export class PipelinesController {
   }
 
   @Get(':id/config')
+  @RequireSomePermission(PERMISSIONS_GROUPS.IMPORT_FILES.permissions.VIEW,PERMISSIONS_GROUPS.PIPELINE.permissions.GET)
   async getPipelineproperties(
     @Language() language: LanguageEnum,
     @User() user: RequestUser,
@@ -191,6 +173,7 @@ export class PipelinesController {
   }
 
   @Get(':id/objects')
+  @RequireSomePermission(PERMISSIONS_GROUPS.PIPELINE.permissions.GET)
   async getPipelineObjects(
     @Language() language: LanguageEnum,
     @User() user: RequestUser,
@@ -202,6 +185,7 @@ export class PipelinesController {
   }
 
   @Get(':id/status')
+  @RequireSomePermission(PERMISSIONS_GROUPS.IMPORT_FILES.permissions.VIEW, PERMISSIONS_GROUPS.PIPELINE.permissions.GET)
   async getPipelineStatus(@Body() body, @Param('id') id: string) {
     body.id = id;
 
@@ -216,6 +200,7 @@ export class PipelinesController {
   }
 
   @Get('/:id')
+  @RequireSomePermission(PERMISSIONS_GROUPS.IMPORT_FILES.permissions.VIEW, PERMISSIONS_GROUPS.PIPELINE.permissions.GET)
   async findOne(
     @Language() language: LanguageEnum,
     @User() user: RequestUser,
@@ -258,6 +243,7 @@ export class PipelinesController {
   }
 
   @Patch('/:id')
+  @RequireSomePermission(PERMISSIONS_GROUPS.PIPELINE.permissions.UPDATE)
   async update(
     @Language() language: LanguageEnum,
     @Body() updatePipelineDto,
@@ -297,6 +283,7 @@ export class PipelinesController {
     deprecated: true,
     description: 'This method is deprecated. Please use PATCH instead',
   })
+  @RequireSomePermission(PERMISSIONS_GROUPS.IMPORT_FILES.permissions.VIEW, PERMISSIONS_GROUPS.PIPELINE.permissions.UPDATE)
   async updateDeprecated(
     @Language() language: LanguageEnum,
     @Body() updatePipelineDto,
@@ -312,6 +299,7 @@ export class PipelinesController {
   @Delete(':id')
   @ApiNoContentResponse()
   @HttpCode(HttpStatus.NO_CONTENT)
+  @RequireSomePermission(PERMISSIONS_GROUPS.PIPELINE.permissions.DELETE)
   async delete(@Param('id') id: string, @User() user: RequestUser) {
     this.logger.info('PipelinesController - delete', { user });
     const metadata = PackTheMetadata({
@@ -325,7 +313,7 @@ export class PipelinesController {
 
   @ApiInternalOnlyEndpoint()
   @Post('/init-upload')
-  @RequireAllPermissions(PERMISSIONS_GROUPS.PIPELINE.permissions.CREATE)
+  @RequireAllPermissions(PERMISSIONS_GROUPS.IMPORT_FILES.permissions.VIEW)
   async initUploadFile(
     @User() user: RequestUser,
     @Body() body: IInitUploadCSVFile,
@@ -357,7 +345,7 @@ export class PipelinesController {
 
   @ApiInternalOnlyEndpoint()
   @Post('/complete-upload')
-  @RequireAllPermissions(PERMISSIONS_GROUPS.PIPELINE.permissions.CREATE)
+  @RequireAllPermissions(PERMISSIONS_GROUPS.IMPORT_FILES.permissions.VIEW)
   async completeUploadFile(
     @User() user: RequestUser,
     @Body() body: ICompleteUploadCSVFile,
@@ -375,7 +363,7 @@ export class PipelinesController {
 
   @ApiInternalOnlyEndpoint()
   @Post('/file')
-  @RequireAllPermissions(PERMISSIONS_GROUPS.PIPELINE.permissions.CREATE)
+  @RequireAllPermissions(PERMISSIONS_GROUPS.IMPORT_FILES.permissions.VIEW)
   async uploadedFile(
     @User() user: RequestUser,
     @Body() body: ICreatePipelineCSVFile,
@@ -425,6 +413,7 @@ export class PipelinesController {
 
   @ApiInternalOnlyEndpoint()
   @Post('start/:id')
+  @RequireSomePermission(PERMISSIONS_GROUPS.PIPELINE.permissions.CREATE)
   async activate(@Param('id') id: string, @Body() body) {
     const { info } = body;
 

src/modules/theme/theme.controller.ts

@@ -124,4 +124,24 @@ export class ThemeController {
     }
   }
 
+  @Post('/:id/theme/reset')
+  @ApiOkResponse({ type: CustomerThemeResponse })
+  async resetTheme(@Param('id') id: string) {
+    this.logger.info('getCustomerTheme with id' + id);
+
+    try {
+      await this.themeService.resetTheme(id);
+
+      return { theme: null };
+    }catch (err) {
+      if (err.details === ErrorCodes.CUSTOMER.NOT_FOUND) {
+        this.logger.error('Error - getCustomerTheme - Expect CUSTOMER.NOT_FOUND');
+        throw new HttpException(err.details, HttpStatus.NOT_FOUND);
+      } else {
+        this.logger.error('Error - getCustomerTheme Unknown Error:' + err?.message);
+        return { theme: null };
+      };
+    }
+  }
+
 }

src/modules/theme/theme.service.ts

@@ -44,6 +44,18 @@ export class ThemeService implements OnModuleInit {
     );
   }
 
+  async resetTheme(id: string) {
+    const { theme } = await firstValueFrom(
+      this.themeService.ResetCustomerTheme({
+        id
+      }),
+    );
+
+     return {
+      theme
+    }
+  }
+
   async createThemeByCustomer(id: string, theme: CustomerThemeRequest & Files) {
     if (!id) {
       this.logger.error('Error - saveCustomertheme - not found id:' + id);

src/services/service.module.ts

@@ -14,7 +14,7 @@ import { redisStore } from 'cache-manager-ioredis-yet';
           keyPrefix: 'maestro:sso',
         }
 
-        if (process.env.ENV !== 'local') {  
+        if (process.env.REDIS_TLS === 'true') {
           baseRedisConfig['tls'] = {
             servername: process.env.REDIS_HOST,
           }