mirror of
https://github.com/dadosfera/maestro.git
synced 2026-10-16 11:29:08 +00:00
Compare commits
5
Commits
| Author | SHA1 | Date | |
|---|---|---|---|
|
|
4ddd5edcfd | ||
|
|
67d47a9642 | ||
|
|
1a2153d62f | ||
|
|
d4ba45fd03 | ||
|
|
82f1035a5e |
@@ -113,12 +113,6 @@ spec:
|
|||||||
value: {{ .Values.maestro.platform_api_url }}
|
value: {{ .Values.maestro.platform_api_url }}
|
||||||
- name: STORAGE_EXPLORER_API_URL
|
- name: STORAGE_EXPLORER_API_URL
|
||||||
value: {{ .Values.maestro.storage_explorer_api_url | quote }}
|
value: {{ .Values.maestro.storage_explorer_api_url | quote }}
|
||||||
- name: AUTODRIVE_EXTRACTOR_API_URL
|
|
||||||
value: {{ .Values.maestro.autodrive_extractor_api_url | quote }}
|
|
||||||
- name: AUTODRIVE_CORE_API_URL
|
|
||||||
value: {{ .Values.maestro.autodrive_core_api_url | quote }}
|
|
||||||
- name: AUTODRIVE_ASSISTANT_API_URL
|
|
||||||
value: {{ .Values.maestro.autodrive_assistant_api_url | quote }}
|
|
||||||
- name: JWT_PRIVATE_KEY
|
- name: JWT_PRIVATE_KEY
|
||||||
valueFrom:
|
valueFrom:
|
||||||
secretKeyRef:
|
secretKeyRef:
|
||||||
|
|||||||
@@ -48,9 +48,6 @@ maestro:
|
|||||||
open_group_id: 401573bb-334f-44b2-b30e-88d4cea31ae9
|
open_group_id: 401573bb-334f-44b2-b30e-88d4cea31ae9
|
||||||
platform_api_url: https://oz8v2zid1e.execute-api.us-east-1.amazonaws.com
|
platform_api_url: https://oz8v2zid1e.execute-api.us-east-1.amazonaws.com
|
||||||
storage_explorer_api_url: "https://storage-explorer-{customer}.dadosfera.ai/api"
|
storage_explorer_api_url: "https://storage-explorer-{customer}.dadosfera.ai/api"
|
||||||
autodrive_extractor_api_url: "https://autodrive-extractor-api-{customer}.dadosfera.ai"
|
|
||||||
autodrive_core_api_url: "https://autodrive-api-{customer}.dadosfera.ai"
|
|
||||||
autodrive_assistant_api_url: "https://autodrive-assistant-api-{customer}.dadosfera.ai"
|
|
||||||
dedicated_proxy: ""
|
dedicated_proxy: ""
|
||||||
restricted_ip: ""
|
restricted_ip: ""
|
||||||
redis_host: "aaapzppmlyamkocqwstpo7zvopczyyiyuy6xzm2g6c5k4mq3a66be4a-0.redis.sa-saopaulo-1.oci.oraclecloud.com"
|
redis_host: "aaapzppmlyamkocqwstpo7zvopczyyiyuy6xzm2g6c5k4mq3a66be4a-0.redis.sa-saopaulo-1.oci.oraclecloud.com"
|
||||||
|
|||||||
+1280
-1330
File diff suppressed because it is too large
Load Diff
Generated
+4
-5
@@ -17,7 +17,7 @@
|
|||||||
"@aws-sdk/signature-v4": "^3.370.0",
|
"@aws-sdk/signature-v4": "^3.370.0",
|
||||||
"@dadosfera/dadosfera-logs": "^1.0.0-beta.4",
|
"@dadosfera/dadosfera-logs": "^1.0.0-beta.4",
|
||||||
"@dadosfera/protospack": "2.5.3",
|
"@dadosfera/protospack": "2.5.3",
|
||||||
"@dadosfera/protospack-v2": "3.38.0-beta.28",
|
"@dadosfera/protospack-v2": "^3.38.0-beta.26",
|
||||||
"@grpc/grpc-js": "^1.9.3",
|
"@grpc/grpc-js": "^1.9.3",
|
||||||
"@grpc/proto-loader": "^0.7.9",
|
"@grpc/proto-loader": "^0.7.9",
|
||||||
"@nestjs/cli": "^9.5.0",
|
"@nestjs/cli": "^9.5.0",
|
||||||
@@ -1744,10 +1744,9 @@
|
|||||||
}
|
}
|
||||||
},
|
},
|
||||||
"node_modules/@dadosfera/protospack-v2": {
|
"node_modules/@dadosfera/protospack-v2": {
|
||||||
"version": "3.38.0-beta.28",
|
"version": "3.38.0-beta.26",
|
||||||
"resolved": "https://dadosfera-611330257153.d.codeartifact.us-east-1.amazonaws.com/npm/dadosfera-npm/@dadosfera/protospack-v2/-/protospack-v2-3.38.0-beta.28.tgz",
|
"resolved": "https://dadosfera-611330257153.d.codeartifact.us-east-1.amazonaws.com/npm/dadosfera-npm/@dadosfera/protospack-v2/-/protospack-v2-3.38.0-beta.26.tgz",
|
||||||
"integrity": "sha512-w3Au0qschqZJ6OSHVDKaR2KeeCF2ncuJ4k7iZQceOLo1zxUU3TpDyLYyp/rp1DoSG763uIgqm3kJUXv7RlmfNw==",
|
"integrity": "sha512-N8NS7+djLGy0wJXk00+4oupqd/wBIQ1f+YBBhK2y9x4guFXYK1KWIrPZhPj+gaU8g2KNkqKoT7SnE9PXNxlLSQ==",
|
||||||
"license": "ISC",
|
|
||||||
"dependencies": {
|
"dependencies": {
|
||||||
"@grpc/grpc-js": "^1.9.3",
|
"@grpc/grpc-js": "^1.9.3",
|
||||||
"rxjs": "^7.5.5"
|
"rxjs": "^7.5.5"
|
||||||
|
|||||||
+1
-1
@@ -35,7 +35,7 @@
|
|||||||
"@aws-sdk/signature-v4": "^3.370.0",
|
"@aws-sdk/signature-v4": "^3.370.0",
|
||||||
"@dadosfera/dadosfera-logs": "^1.0.0-beta.4",
|
"@dadosfera/dadosfera-logs": "^1.0.0-beta.4",
|
||||||
"@dadosfera/protospack": "2.5.3",
|
"@dadosfera/protospack": "2.5.3",
|
||||||
"@dadosfera/protospack-v2": "3.38.0-beta.28",
|
"@dadosfera/protospack-v2": "^3.38.0-beta.26",
|
||||||
"@grpc/grpc-js": "^1.9.3",
|
"@grpc/grpc-js": "^1.9.3",
|
||||||
"@grpc/proto-loader": "^0.7.9",
|
"@grpc/proto-loader": "^0.7.9",
|
||||||
"@nestjs/cli": "^9.5.0",
|
"@nestjs/cli": "^9.5.0",
|
||||||
|
|||||||
@@ -35,9 +35,6 @@ import { ShareMetadataModule } from './modules/share-metadata/share-metadata.mod
|
|||||||
import { ApiKeyModule } from './modules/api-key/api-key.module';
|
import { ApiKeyModule } from './modules/api-key/api-key.module';
|
||||||
import { PlatformApiModule } from './modules/platform-api/platform-api.module';
|
import { PlatformApiModule } from './modules/platform-api/platform-api.module';
|
||||||
import { StorageExplorerModule } from './modules/storage-explorer/storage-explorer.module';
|
import { StorageExplorerModule } from './modules/storage-explorer/storage-explorer.module';
|
||||||
import { AutodriveExtractorModule } from './modules/autodrive-extractor/autodrive-extractor.module';
|
|
||||||
import { AutodriveCoreModule } from './modules/autodrive-core/autodrive-core.module';
|
|
||||||
import { AutodriveAssistantModule } from './modules/autodrive-assistant/autodrive-assistant.module';
|
|
||||||
|
|
||||||
@Module({
|
@Module({
|
||||||
providers: [
|
providers: [
|
||||||
@@ -80,9 +77,6 @@ import { AutodriveAssistantModule } from './modules/autodrive-assistant/autodriv
|
|||||||
NetworkPolicyModule,
|
NetworkPolicyModule,
|
||||||
PlatformApiModule,
|
PlatformApiModule,
|
||||||
StorageExplorerModule,
|
StorageExplorerModule,
|
||||||
AutodriveExtractorModule,
|
|
||||||
AutodriveCoreModule,
|
|
||||||
AutodriveAssistantModule,
|
|
||||||
//Always leave HealthModule last, so it is on the bottom of swagger
|
//Always leave HealthModule last, so it is on the bottom of swagger
|
||||||
HealthModule,
|
HealthModule,
|
||||||
],
|
],
|
||||||
|
|||||||
@@ -697,93 +697,6 @@ export const PERMISSIONS_GROUPS = {
|
|||||||
},
|
},
|
||||||
},
|
},
|
||||||
},
|
},
|
||||||
AUTODRIVE_EXTRACTOR: {
|
|
||||||
title: {
|
|
||||||
'pt-br': 'Autodrive Extractor',
|
|
||||||
'en-us': 'Autodrive Extractor',
|
|
||||||
'es-es': 'Autodrive Extractor',
|
|
||||||
},
|
|
||||||
permissions: {
|
|
||||||
READ: {
|
|
||||||
seqid: 53,
|
|
||||||
claim: 'autodrive-extractor:read',
|
|
||||||
usage: PermissionUsages.PUBLIC,
|
|
||||||
name: {
|
|
||||||
'pt-br': 'Ler dados do Autodrive Extractor',
|
|
||||||
'en-us': 'Read Autodrive Extractor data',
|
|
||||||
'es-es': 'Leer datos del Autodrive Extractor',
|
|
||||||
},
|
|
||||||
},
|
|
||||||
WRITE: {
|
|
||||||
seqid: 54,
|
|
||||||
claim: 'autodrive-extractor:write',
|
|
||||||
usage: PermissionUsages.PUBLIC,
|
|
||||||
name: {
|
|
||||||
'pt-br': 'Escrever dados no Autodrive Extractor',
|
|
||||||
'en-us': 'Write Autodrive Extractor data',
|
|
||||||
'es-es': 'Escribir datos en Autodrive Extractor',
|
|
||||||
},
|
|
||||||
},
|
|
||||||
},
|
|
||||||
},
|
|
||||||
AUTODRIVE_CORE: {
|
|
||||||
title: {
|
|
||||||
'pt-br': 'Autodrive Core',
|
|
||||||
'en-us': 'Autodrive Core',
|
|
||||||
'es-es': 'Autodrive Core',
|
|
||||||
},
|
|
||||||
permissions: {
|
|
||||||
READ: {
|
|
||||||
seqid: 55,
|
|
||||||
claim: 'autodrive-core:read',
|
|
||||||
usage: PermissionUsages.PUBLIC,
|
|
||||||
name: {
|
|
||||||
'pt-br': 'Ler dados do Autodrive Core',
|
|
||||||
'en-us': 'Read Autodrive Core data',
|
|
||||||
'es-es': 'Leer datos del Autodrive Core',
|
|
||||||
},
|
|
||||||
},
|
|
||||||
WRITE: {
|
|
||||||
seqid: 56,
|
|
||||||
claim: 'autodrive-core:write',
|
|
||||||
usage: PermissionUsages.PUBLIC,
|
|
||||||
name: {
|
|
||||||
'pt-br': 'Escrever dados no Autodrive Core',
|
|
||||||
'en-us': 'Write Autodrive Core data',
|
|
||||||
'es-es': 'Escribir datos en Autodrive Core',
|
|
||||||
},
|
|
||||||
},
|
|
||||||
},
|
|
||||||
},
|
|
||||||
AUTODRIVE_ASSISTANT: {
|
|
||||||
title: {
|
|
||||||
'pt-br': 'Autodrive Assistant',
|
|
||||||
'en-us': 'Autodrive Assistant',
|
|
||||||
'es-es': 'Autodrive Assistant',
|
|
||||||
},
|
|
||||||
permissions: {
|
|
||||||
READ: {
|
|
||||||
seqid: 57,
|
|
||||||
claim: 'autodrive-assistant:read',
|
|
||||||
usage: PermissionUsages.PUBLIC,
|
|
||||||
name: {
|
|
||||||
'pt-br': 'Ler dados do Autodrive Assistant',
|
|
||||||
'en-us': 'Read Autodrive Assistant data',
|
|
||||||
'es-es': 'Leer datos del Autodrive Assistant',
|
|
||||||
},
|
|
||||||
},
|
|
||||||
WRITE: {
|
|
||||||
seqid: 58,
|
|
||||||
claim: 'autodrive-assistant:write',
|
|
||||||
usage: PermissionUsages.PUBLIC,
|
|
||||||
name: {
|
|
||||||
'pt-br': 'Escrever dados no Autodrive Assistant',
|
|
||||||
'en-us': 'Write Autodrive Assistant data',
|
|
||||||
'es-es': 'Escribir datos en Autodrive Assistant',
|
|
||||||
},
|
|
||||||
},
|
|
||||||
},
|
|
||||||
},
|
|
||||||
};
|
};
|
||||||
export interface DadosferaModule {
|
export interface DadosferaModule {
|
||||||
name: string;
|
name: string;
|
||||||
|
|||||||
@@ -502,7 +502,7 @@ export class AuthController {
|
|||||||
const accessToken = req.cookies['ddf-auth'];
|
const accessToken = req.cookies['ddf-auth'];
|
||||||
const refreshToken = req.cookies['ddf-refresh-auth'];
|
const refreshToken = req.cookies['ddf-refresh-auth'];
|
||||||
const userId = req.cookies['ddf-user-id'];
|
const userId = req.cookies['ddf-user-id'];
|
||||||
const resourceHost = req.headers["host"]
|
const resourceHost = req.headers["x-original-url"] as string || "" ;
|
||||||
|
|
||||||
const hasUserSession = Boolean(accessToken) && Boolean(userId);
|
const hasUserSession = Boolean(accessToken) && Boolean(userId);
|
||||||
this.logger.info('Has User Session: ' + hasUserSession);
|
this.logger.info('Has User Session: ' + hasUserSession);
|
||||||
|
|||||||
@@ -1,10 +0,0 @@
|
|||||||
export const AUTODRIVE_ASSISTANT_CONFIG = {
|
|
||||||
getUrl: (customerName: string): string => {
|
|
||||||
const urlTemplate = process.env.AUTODRIVE_ASSISTANT_API_URL;
|
|
||||||
if (!urlTemplate) {
|
|
||||||
throw new Error('AUTODRIVE_ASSISTANT_API_URL environment variable is not set');
|
|
||||||
}
|
|
||||||
return urlTemplate.replace('{customer}', customerName);
|
|
||||||
},
|
|
||||||
timeout: parseInt(process.env.AUTODRIVE_ASSISTANT_TIMEOUT || '30000', 10),
|
|
||||||
};
|
|
||||||
@@ -1,201 +0,0 @@
|
|||||||
import {
|
|
||||||
Controller,
|
|
||||||
Get,
|
|
||||||
Post,
|
|
||||||
Put,
|
|
||||||
Delete,
|
|
||||||
Param,
|
|
||||||
Body,
|
|
||||||
Query,
|
|
||||||
Inject,
|
|
||||||
} from '@nestjs/common';
|
|
||||||
import { ApiTags, ApiOperation } from '@nestjs/swagger';
|
|
||||||
import { DadosferaLogger } from '@dadosfera/dadosfera-logs';
|
|
||||||
|
|
||||||
import {
|
|
||||||
Authenticated,
|
|
||||||
RequireAllPermissions,
|
|
||||||
} from '../../decorators/authentication.decorator';
|
|
||||||
import { User, RequestUser } from '../../decorators/user.decorator';
|
|
||||||
import { AutodriveAssistantService } from './autodrive-assistant.service';
|
|
||||||
import { PERMISSIONS_GROUPS } from '../../authentication/permissions.enum';
|
|
||||||
|
|
||||||
@ApiTags('Autodrive Assistant')
|
|
||||||
@Controller('autodrive-assistant')
|
|
||||||
@Authenticated()
|
|
||||||
export class AutodriveAssistantController {
|
|
||||||
private logger: any;
|
|
||||||
|
|
||||||
constructor(
|
|
||||||
private readonly autodriveAssistantService: AutodriveAssistantService,
|
|
||||||
@Inject(DadosferaLogger) dadosferaLogger: DadosferaLogger,
|
|
||||||
) {
|
|
||||||
this.logger = dadosferaLogger.logger;
|
|
||||||
}
|
|
||||||
|
|
||||||
// ============================================
|
|
||||||
// ASSISTANTS
|
|
||||||
// ============================================
|
|
||||||
|
|
||||||
@ApiOperation({ summary: 'List assistants' })
|
|
||||||
@Get('assistants')
|
|
||||||
@RequireAllPermissions(PERMISSIONS_GROUPS.AUTODRIVE_ASSISTANT.permissions.READ)
|
|
||||||
async listAssistants(
|
|
||||||
@Query('limit') limit: number,
|
|
||||||
@Query('offset') offset: number,
|
|
||||||
@User() user: RequestUser,
|
|
||||||
) {
|
|
||||||
return this.autodriveAssistantService.proxy(
|
|
||||||
'GET',
|
|
||||||
'/assistants',
|
|
||||||
user,
|
|
||||||
undefined,
|
|
||||||
{ limit, offset },
|
|
||||||
);
|
|
||||||
}
|
|
||||||
|
|
||||||
@ApiOperation({ summary: 'Create assistant' })
|
|
||||||
@Post('assistants')
|
|
||||||
@RequireAllPermissions(PERMISSIONS_GROUPS.AUTODRIVE_ASSISTANT.permissions.WRITE)
|
|
||||||
async createAssistant(
|
|
||||||
@Body() body: any,
|
|
||||||
@User() user: RequestUser,
|
|
||||||
) {
|
|
||||||
return this.autodriveAssistantService.proxy(
|
|
||||||
'POST',
|
|
||||||
'/assistants',
|
|
||||||
user,
|
|
||||||
body,
|
|
||||||
);
|
|
||||||
}
|
|
||||||
|
|
||||||
@ApiOperation({ summary: 'Get assistant by ID' })
|
|
||||||
@Get('assistants/:assistantId')
|
|
||||||
@RequireAllPermissions(PERMISSIONS_GROUPS.AUTODRIVE_ASSISTANT.permissions.READ)
|
|
||||||
async getAssistant(
|
|
||||||
@Param('assistantId') assistantId: string,
|
|
||||||
@User() user: RequestUser,
|
|
||||||
) {
|
|
||||||
return this.autodriveAssistantService.proxy(
|
|
||||||
'GET',
|
|
||||||
`/assistants/${assistantId}`,
|
|
||||||
user,
|
|
||||||
);
|
|
||||||
}
|
|
||||||
|
|
||||||
@ApiOperation({ summary: 'Update assistant' })
|
|
||||||
@Put('assistants/:assistantId')
|
|
||||||
@RequireAllPermissions(PERMISSIONS_GROUPS.AUTODRIVE_ASSISTANT.permissions.WRITE)
|
|
||||||
async updateAssistant(
|
|
||||||
@Param('assistantId') assistantId: string,
|
|
||||||
@Body() body: any,
|
|
||||||
@User() user: RequestUser,
|
|
||||||
) {
|
|
||||||
return this.autodriveAssistantService.proxy(
|
|
||||||
'PUT',
|
|
||||||
`/assistants/${assistantId}`,
|
|
||||||
user,
|
|
||||||
body,
|
|
||||||
);
|
|
||||||
}
|
|
||||||
|
|
||||||
@ApiOperation({ summary: 'Delete assistant' })
|
|
||||||
@Delete('assistants/:assistantId')
|
|
||||||
@RequireAllPermissions(PERMISSIONS_GROUPS.AUTODRIVE_ASSISTANT.permissions.WRITE)
|
|
||||||
async deleteAssistant(
|
|
||||||
@Param('assistantId') assistantId: string,
|
|
||||||
@User() user: RequestUser,
|
|
||||||
) {
|
|
||||||
return this.autodriveAssistantService.proxy(
|
|
||||||
'DELETE',
|
|
||||||
`/assistants/${assistantId}`,
|
|
||||||
user,
|
|
||||||
);
|
|
||||||
}
|
|
||||||
|
|
||||||
// ============================================
|
|
||||||
// KNOWLEDGE BASE
|
|
||||||
// ============================================
|
|
||||||
|
|
||||||
@ApiOperation({ summary: 'List knowledge bases linked to assistant' })
|
|
||||||
@Get('assistants/:assistantId/knowledge-bases')
|
|
||||||
@RequireAllPermissions(PERMISSIONS_GROUPS.AUTODRIVE_ASSISTANT.permissions.READ)
|
|
||||||
async listKnowledgeBases(
|
|
||||||
@Param('assistantId') assistantId: string,
|
|
||||||
@User() user: RequestUser,
|
|
||||||
) {
|
|
||||||
return this.autodriveAssistantService.proxy(
|
|
||||||
'GET',
|
|
||||||
`/assistants/${assistantId}/knowledge-bases`,
|
|
||||||
user,
|
|
||||||
);
|
|
||||||
}
|
|
||||||
|
|
||||||
@ApiOperation({ summary: 'Update knowledge base associations for assistant' })
|
|
||||||
@Put('assistants/:assistantId/knowledge-bases')
|
|
||||||
@RequireAllPermissions(PERMISSIONS_GROUPS.AUTODRIVE_ASSISTANT.permissions.WRITE)
|
|
||||||
async updateKnowledgeBases(
|
|
||||||
@Param('assistantId') assistantId: string,
|
|
||||||
@Body() body: any,
|
|
||||||
@User() user: RequestUser,
|
|
||||||
) {
|
|
||||||
return this.autodriveAssistantService.proxy(
|
|
||||||
'PUT',
|
|
||||||
`/assistants/${assistantId}/knowledge-bases`,
|
|
||||||
user,
|
|
||||||
body,
|
|
||||||
);
|
|
||||||
}
|
|
||||||
|
|
||||||
// ============================================
|
|
||||||
// QUESTIONS
|
|
||||||
// ============================================
|
|
||||||
|
|
||||||
@ApiOperation({ summary: 'Ask question via assistant' })
|
|
||||||
@Post('dataset/:datasetId/ai_question')
|
|
||||||
@RequireAllPermissions(PERMISSIONS_GROUPS.AUTODRIVE_ASSISTANT.permissions.WRITE)
|
|
||||||
async aiQuestion(
|
|
||||||
@Param('datasetId') datasetId: string,
|
|
||||||
@Body() body: any,
|
|
||||||
@User() user: RequestUser,
|
|
||||||
) {
|
|
||||||
return this.autodriveAssistantService.proxy(
|
|
||||||
'POST',
|
|
||||||
`/dataset/${datasetId}/ai_question`,
|
|
||||||
user,
|
|
||||||
body,
|
|
||||||
);
|
|
||||||
}
|
|
||||||
|
|
||||||
@ApiOperation({ summary: 'Get AI question answer' })
|
|
||||||
@Get('dataset/:datasetId/ai_question/:questionId')
|
|
||||||
@RequireAllPermissions(PERMISSIONS_GROUPS.AUTODRIVE_ASSISTANT.permissions.READ)
|
|
||||||
async getAiQuestionResult(
|
|
||||||
@Param('datasetId') datasetId: string,
|
|
||||||
@Param('questionId') questionId: string,
|
|
||||||
@User() user: RequestUser,
|
|
||||||
) {
|
|
||||||
return this.autodriveAssistantService.proxy(
|
|
||||||
'GET',
|
|
||||||
`/dataset/${datasetId}/ai_question/${questionId}`,
|
|
||||||
user,
|
|
||||||
);
|
|
||||||
}
|
|
||||||
|
|
||||||
// ============================================
|
|
||||||
// UTILITY
|
|
||||||
// ============================================
|
|
||||||
|
|
||||||
@ApiOperation({ summary: 'Health check' })
|
|
||||||
@Get('health')
|
|
||||||
async health(@User() user: RequestUser) {
|
|
||||||
return this.autodriveAssistantService.proxy('GET', '/health', user);
|
|
||||||
}
|
|
||||||
|
|
||||||
@ApiOperation({ summary: 'Check model availability' })
|
|
||||||
@Get('model-availability')
|
|
||||||
@RequireAllPermissions(PERMISSIONS_GROUPS.AUTODRIVE_ASSISTANT.permissions.READ)
|
|
||||||
async modelAvailability(@User() user: RequestUser) {
|
|
||||||
return this.autodriveAssistantService.proxy('GET', '/model-availability', user);
|
|
||||||
}
|
|
||||||
}
|
|
||||||
@@ -1,13 +0,0 @@
|
|||||||
import { Module } from '@nestjs/common';
|
|
||||||
import { DadosferaLogger } from '@dadosfera/dadosfera-logs';
|
|
||||||
|
|
||||||
import { AutodriveAssistantController } from './autodrive-assistant.controller';
|
|
||||||
import { AutodriveAssistantService } from './autodrive-assistant.service';
|
|
||||||
|
|
||||||
@Module({
|
|
||||||
imports: [],
|
|
||||||
controllers: [AutodriveAssistantController],
|
|
||||||
providers: [AutodriveAssistantService, DadosferaLogger],
|
|
||||||
exports: [AutodriveAssistantService],
|
|
||||||
})
|
|
||||||
export class AutodriveAssistantModule {}
|
|
||||||
@@ -1,94 +0,0 @@
|
|||||||
import { Injectable, Inject, HttpException } from '@nestjs/common';
|
|
||||||
import axios, { AxiosResponse, Method } from 'axios';
|
|
||||||
import { DadosferaLogger } from '@dadosfera/dadosfera-logs';
|
|
||||||
|
|
||||||
import { RequestUser } from '../../decorators/user.decorator';
|
|
||||||
import { AUTODRIVE_ASSISTANT_CONFIG } from './autodrive-assistant.config';
|
|
||||||
|
|
||||||
@Injectable()
|
|
||||||
export class AutodriveAssistantService {
|
|
||||||
private logger: any;
|
|
||||||
|
|
||||||
constructor(
|
|
||||||
@Inject(DadosferaLogger) dadosferaLogger: DadosferaLogger,
|
|
||||||
) {
|
|
||||||
this.logger = dadosferaLogger.logger;
|
|
||||||
}
|
|
||||||
|
|
||||||
async proxy(
|
|
||||||
method: string,
|
|
||||||
path: string,
|
|
||||||
user: RequestUser,
|
|
||||||
body?: any,
|
|
||||||
query?: Record<string, any>
|
|
||||||
): Promise<any> {
|
|
||||||
if (!user.customer_id) {
|
|
||||||
throw new HttpException('Customer ID is required for autodrive assistant operations', 400);
|
|
||||||
}
|
|
||||||
|
|
||||||
const baseUrl = AUTODRIVE_ASSISTANT_CONFIG.getUrl(user.customer_name);
|
|
||||||
const url = new URL(`${baseUrl}${path}`);
|
|
||||||
|
|
||||||
if (query) {
|
|
||||||
Object.entries(query).forEach(([key, value]) => {
|
|
||||||
if (value !== undefined && value !== null) {
|
|
||||||
url.searchParams.set(key, String(value));
|
|
||||||
}
|
|
||||||
});
|
|
||||||
}
|
|
||||||
|
|
||||||
const headers: Record<string, string> = {
|
|
||||||
'content-type': 'application/json',
|
|
||||||
'Authorization': user.access_token,
|
|
||||||
};
|
|
||||||
|
|
||||||
this.logger.info('Proxying request to autodrive-assistant', {
|
|
||||||
method: method.toUpperCase(),
|
|
||||||
path,
|
|
||||||
customer_id: user.customer_id,
|
|
||||||
user_id: user.user_id,
|
|
||||||
});
|
|
||||||
|
|
||||||
try {
|
|
||||||
const response: AxiosResponse = await axios({
|
|
||||||
method: method as Method,
|
|
||||||
url: url.href,
|
|
||||||
headers,
|
|
||||||
data: body,
|
|
||||||
timeout: AUTODRIVE_ASSISTANT_CONFIG.timeout,
|
|
||||||
validateStatus: () => true,
|
|
||||||
});
|
|
||||||
|
|
||||||
if (response.status >= 400) {
|
|
||||||
throw new HttpException(response.data, response.status);
|
|
||||||
}
|
|
||||||
|
|
||||||
return response.data;
|
|
||||||
} catch (error) {
|
|
||||||
this.logger.error('Autodrive Assistant API proxy error', {
|
|
||||||
error: error.message,
|
|
||||||
status: error.response?.status,
|
|
||||||
path,
|
|
||||||
method: method.toUpperCase(),
|
|
||||||
});
|
|
||||||
|
|
||||||
if (error instanceof HttpException) {
|
|
||||||
throw error;
|
|
||||||
}
|
|
||||||
|
|
||||||
if (error.response) {
|
|
||||||
throw new HttpException(error.response.data, error.response.status);
|
|
||||||
}
|
|
||||||
|
|
||||||
if (error.code === 'ECONNREFUSED') {
|
|
||||||
throw new HttpException('Autodrive Assistant API service unavailable', 503);
|
|
||||||
}
|
|
||||||
|
|
||||||
if (error.code === 'ETIMEDOUT' || error.code === 'ECONNABORTED') {
|
|
||||||
throw new HttpException('Autodrive Assistant API request timeout', 504);
|
|
||||||
}
|
|
||||||
|
|
||||||
throw new HttpException('Internal server error', 500);
|
|
||||||
}
|
|
||||||
}
|
|
||||||
}
|
|
||||||
@@ -1,10 +0,0 @@
|
|||||||
export const AUTODRIVE_CORE_CONFIG = {
|
|
||||||
getUrl: (customerName: string): string => {
|
|
||||||
const urlTemplate = process.env.AUTODRIVE_CORE_API_URL;
|
|
||||||
if (!urlTemplate) {
|
|
||||||
throw new Error('AUTODRIVE_CORE_API_URL environment variable is not set');
|
|
||||||
}
|
|
||||||
return urlTemplate.replace('{customer}', customerName);
|
|
||||||
},
|
|
||||||
timeout: parseInt(process.env.AUTODRIVE_CORE_TIMEOUT || '30000', 10),
|
|
||||||
};
|
|
||||||
@@ -1,286 +0,0 @@
|
|||||||
import {
|
|
||||||
Controller,
|
|
||||||
Get,
|
|
||||||
Post,
|
|
||||||
Put,
|
|
||||||
Delete,
|
|
||||||
Param,
|
|
||||||
Body,
|
|
||||||
Query,
|
|
||||||
Inject,
|
|
||||||
UseInterceptors,
|
|
||||||
UploadedFiles,
|
|
||||||
} from '@nestjs/common';
|
|
||||||
import { ApiTags, ApiOperation, ApiConsumes } from '@nestjs/swagger';
|
|
||||||
import { FilesInterceptor } from '@nestjs/platform-express';
|
|
||||||
import { DadosferaLogger } from '@dadosfera/dadosfera-logs';
|
|
||||||
import FormData from 'form-data';
|
|
||||||
|
|
||||||
import {
|
|
||||||
Authenticated,
|
|
||||||
RequireAllPermissions,
|
|
||||||
} from '../../decorators/authentication.decorator';
|
|
||||||
import { User, RequestUser } from '../../decorators/user.decorator';
|
|
||||||
import { AutodriveCoreService } from './autodrive-core.service';
|
|
||||||
import { PERMISSIONS_GROUPS } from '../../authentication/permissions.enum';
|
|
||||||
|
|
||||||
@ApiTags('Autodrive Core')
|
|
||||||
@Controller('autodrive-core')
|
|
||||||
@Authenticated()
|
|
||||||
export class AutodriveCoreController {
|
|
||||||
private logger: any;
|
|
||||||
|
|
||||||
constructor(
|
|
||||||
private readonly autodriveCoreService: AutodriveCoreService,
|
|
||||||
@Inject(DadosferaLogger) dadosferaLogger: DadosferaLogger,
|
|
||||||
) {
|
|
||||||
this.logger = dadosferaLogger.logger;
|
|
||||||
}
|
|
||||||
|
|
||||||
// ============================================
|
|
||||||
// DATASET MANAGEMENT
|
|
||||||
// ============================================
|
|
||||||
|
|
||||||
@ApiOperation({ summary: 'List datasets' })
|
|
||||||
@Get('datasets')
|
|
||||||
@RequireAllPermissions(PERMISSIONS_GROUPS.AUTODRIVE_CORE.permissions.READ)
|
|
||||||
async listDatasets(
|
|
||||||
@Query('name') name: string,
|
|
||||||
@Query('limit') limit: number,
|
|
||||||
@Query('offset') offset: number,
|
|
||||||
@User() user: RequestUser,
|
|
||||||
) {
|
|
||||||
return this.autodriveCoreService.proxy(
|
|
||||||
'GET',
|
|
||||||
'/datasets',
|
|
||||||
user,
|
|
||||||
undefined,
|
|
||||||
{ name, limit, offset },
|
|
||||||
);
|
|
||||||
}
|
|
||||||
|
|
||||||
@ApiOperation({ summary: 'Get dataset by ID' })
|
|
||||||
@Get('dataset/:datasetId')
|
|
||||||
@RequireAllPermissions(PERMISSIONS_GROUPS.AUTODRIVE_CORE.permissions.READ)
|
|
||||||
async getDataset(
|
|
||||||
@Param('datasetId') datasetId: string,
|
|
||||||
@User() user: RequestUser,
|
|
||||||
) {
|
|
||||||
return this.autodriveCoreService.proxy(
|
|
||||||
'GET',
|
|
||||||
`/dataset/${datasetId}`,
|
|
||||||
user,
|
|
||||||
);
|
|
||||||
}
|
|
||||||
|
|
||||||
@ApiOperation({ summary: 'Add documents to existing dataset' })
|
|
||||||
@Put('dataset/:datasetId')
|
|
||||||
@RequireAllPermissions(PERMISSIONS_GROUPS.AUTODRIVE_CORE.permissions.WRITE)
|
|
||||||
async updateDataset(
|
|
||||||
@Param('datasetId') datasetId: string,
|
|
||||||
@Body() body: any,
|
|
||||||
@User() user: RequestUser,
|
|
||||||
) {
|
|
||||||
return this.autodriveCoreService.proxy(
|
|
||||||
'PUT',
|
|
||||||
`/dataset/${datasetId}`,
|
|
||||||
user,
|
|
||||||
body,
|
|
||||||
);
|
|
||||||
}
|
|
||||||
|
|
||||||
@ApiOperation({ summary: 'Delete dataset' })
|
|
||||||
@Delete('dataset/:datasetId')
|
|
||||||
@RequireAllPermissions(PERMISSIONS_GROUPS.AUTODRIVE_CORE.permissions.WRITE)
|
|
||||||
async deleteDataset(
|
|
||||||
@Param('datasetId') datasetId: string,
|
|
||||||
@User() user: RequestUser,
|
|
||||||
) {
|
|
||||||
return this.autodriveCoreService.proxy(
|
|
||||||
'DELETE',
|
|
||||||
`/dataset/${datasetId}`,
|
|
||||||
user,
|
|
||||||
);
|
|
||||||
}
|
|
||||||
|
|
||||||
@ApiOperation({ summary: 'Append documents from URLs to dataset' })
|
|
||||||
@Post('dataset/:datasetId/append-from-url')
|
|
||||||
@RequireAllPermissions(PERMISSIONS_GROUPS.AUTODRIVE_CORE.permissions.WRITE)
|
|
||||||
async appendFromUrl(
|
|
||||||
@Param('datasetId') datasetId: string,
|
|
||||||
@Body() body: any,
|
|
||||||
@User() user: RequestUser,
|
|
||||||
) {
|
|
||||||
return this.autodriveCoreService.proxy(
|
|
||||||
'POST',
|
|
||||||
`/dataset/${datasetId}/append-from-url`,
|
|
||||||
user,
|
|
||||||
body,
|
|
||||||
);
|
|
||||||
}
|
|
||||||
|
|
||||||
@ApiOperation({ summary: 'Get dataset creation/update logs' })
|
|
||||||
@Get('dataset/:datasetId/logs')
|
|
||||||
@RequireAllPermissions(PERMISSIONS_GROUPS.AUTODRIVE_CORE.permissions.READ)
|
|
||||||
async getDatasetLogs(
|
|
||||||
@Param('datasetId') datasetId: string,
|
|
||||||
@User() user: RequestUser,
|
|
||||||
) {
|
|
||||||
return this.autodriveCoreService.proxy(
|
|
||||||
'GET',
|
|
||||||
`/dataset/${datasetId}/logs`,
|
|
||||||
user,
|
|
||||||
);
|
|
||||||
}
|
|
||||||
|
|
||||||
// ============================================
|
|
||||||
// FILE OPERATIONS
|
|
||||||
// ============================================
|
|
||||||
|
|
||||||
@ApiOperation({ summary: 'Create vector dataset from uploaded files' })
|
|
||||||
@Post('upload')
|
|
||||||
@ApiConsumes('multipart/form-data')
|
|
||||||
@UseInterceptors(FilesInterceptor('files'))
|
|
||||||
@RequireAllPermissions(PERMISSIONS_GROUPS.AUTODRIVE_CORE.permissions.WRITE)
|
|
||||||
async upload(
|
|
||||||
@UploadedFiles() files: Array<Express.Multer.File>,
|
|
||||||
@Body() body: any,
|
|
||||||
@User() user: RequestUser,
|
|
||||||
) {
|
|
||||||
const formData = new FormData();
|
|
||||||
if (files && files.length > 0) {
|
|
||||||
files.forEach((file) => {
|
|
||||||
formData.append('files', file.buffer, {
|
|
||||||
filename: file.originalname,
|
|
||||||
contentType: file.mimetype,
|
|
||||||
});
|
|
||||||
});
|
|
||||||
}
|
|
||||||
// Forward additional body fields
|
|
||||||
if (body) {
|
|
||||||
Object.entries(body).forEach(([key, value]) => {
|
|
||||||
if (value !== undefined && value !== null && key !== 'files') {
|
|
||||||
formData.append(key, String(value));
|
|
||||||
}
|
|
||||||
});
|
|
||||||
}
|
|
||||||
return this.autodriveCoreService.proxyFormData(
|
|
||||||
'POST',
|
|
||||||
'/upload',
|
|
||||||
user,
|
|
||||||
formData,
|
|
||||||
);
|
|
||||||
}
|
|
||||||
|
|
||||||
@ApiOperation({ summary: 'Create vector dataset from URLs' })
|
|
||||||
@Post('upload-from-url')
|
|
||||||
@RequireAllPermissions(PERMISSIONS_GROUPS.AUTODRIVE_CORE.permissions.WRITE)
|
|
||||||
async uploadFromUrl(
|
|
||||||
@Body() body: any,
|
|
||||||
@User() user: RequestUser,
|
|
||||||
) {
|
|
||||||
return this.autodriveCoreService.proxy(
|
|
||||||
'POST',
|
|
||||||
'/upload-from-url',
|
|
||||||
user,
|
|
||||||
body,
|
|
||||||
);
|
|
||||||
}
|
|
||||||
|
|
||||||
// ============================================
|
|
||||||
// QUERY OPERATIONS
|
|
||||||
// ============================================
|
|
||||||
|
|
||||||
@ApiOperation({ summary: 'Search dataset using semantic search' })
|
|
||||||
@Post('dataset/:datasetId/question')
|
|
||||||
@RequireAllPermissions(PERMISSIONS_GROUPS.AUTODRIVE_CORE.permissions.READ)
|
|
||||||
async question(
|
|
||||||
@Param('datasetId') datasetId: string,
|
|
||||||
@Body() body: any,
|
|
||||||
@User() user: RequestUser,
|
|
||||||
) {
|
|
||||||
return this.autodriveCoreService.proxy(
|
|
||||||
'POST',
|
|
||||||
`/dataset/${datasetId}/question`,
|
|
||||||
user,
|
|
||||||
body,
|
|
||||||
);
|
|
||||||
}
|
|
||||||
|
|
||||||
@ApiOperation({ summary: 'Get semantic search results' })
|
|
||||||
@Get('dataset/:datasetId/question/:questionId')
|
|
||||||
@RequireAllPermissions(PERMISSIONS_GROUPS.AUTODRIVE_CORE.permissions.READ)
|
|
||||||
async getQuestionResult(
|
|
||||||
@Param('datasetId') datasetId: string,
|
|
||||||
@Param('questionId') questionId: string,
|
|
||||||
@User() user: RequestUser,
|
|
||||||
) {
|
|
||||||
return this.autodriveCoreService.proxy(
|
|
||||||
'GET',
|
|
||||||
`/dataset/${datasetId}/question/${questionId}`,
|
|
||||||
user,
|
|
||||||
);
|
|
||||||
}
|
|
||||||
|
|
||||||
@ApiOperation({ summary: 'Ask AI question on dataset' })
|
|
||||||
@Post('dataset/:datasetId/ai_question')
|
|
||||||
@RequireAllPermissions(PERMISSIONS_GROUPS.AUTODRIVE_CORE.permissions.READ)
|
|
||||||
async aiQuestion(
|
|
||||||
@Param('datasetId') datasetId: string,
|
|
||||||
@Body() body: any,
|
|
||||||
@User() user: RequestUser,
|
|
||||||
) {
|
|
||||||
return this.autodriveCoreService.proxy(
|
|
||||||
'POST',
|
|
||||||
`/dataset/${datasetId}/ai_question`,
|
|
||||||
user,
|
|
||||||
body,
|
|
||||||
);
|
|
||||||
}
|
|
||||||
|
|
||||||
@ApiOperation({ summary: 'Get AI question answer' })
|
|
||||||
@Get('dataset/:datasetId/ai_question/:questionId')
|
|
||||||
@RequireAllPermissions(PERMISSIONS_GROUPS.AUTODRIVE_CORE.permissions.READ)
|
|
||||||
async getAiQuestionResult(
|
|
||||||
@Param('datasetId') datasetId: string,
|
|
||||||
@Param('questionId') questionId: string,
|
|
||||||
@User() user: RequestUser,
|
|
||||||
) {
|
|
||||||
return this.autodriveCoreService.proxy(
|
|
||||||
'GET',
|
|
||||||
`/dataset/${datasetId}/ai_question/${questionId}`,
|
|
||||||
user,
|
|
||||||
);
|
|
||||||
}
|
|
||||||
|
|
||||||
// ============================================
|
|
||||||
// SYSTEM
|
|
||||||
// ============================================
|
|
||||||
|
|
||||||
@ApiOperation({ summary: 'Health check' })
|
|
||||||
@Get('health')
|
|
||||||
async health(@User() user: RequestUser) {
|
|
||||||
return this.autodriveCoreService.proxy('GET', '/health', user);
|
|
||||||
}
|
|
||||||
|
|
||||||
@ApiOperation({ summary: 'Check model availability' })
|
|
||||||
@Get('model-availability')
|
|
||||||
@RequireAllPermissions(PERMISSIONS_GROUPS.AUTODRIVE_CORE.permissions.READ)
|
|
||||||
async modelAvailability(@User() user: RequestUser) {
|
|
||||||
return this.autodriveCoreService.proxy('GET', '/model-availability', user);
|
|
||||||
}
|
|
||||||
|
|
||||||
@ApiOperation({ summary: 'Get frontend configuration' })
|
|
||||||
@Get('config')
|
|
||||||
@RequireAllPermissions(PERMISSIONS_GROUPS.AUTODRIVE_CORE.permissions.READ)
|
|
||||||
async getConfig(@User() user: RequestUser) {
|
|
||||||
return this.autodriveCoreService.proxy('GET', '/config', user);
|
|
||||||
}
|
|
||||||
|
|
||||||
@ApiOperation({ summary: 'Get usage metrics' })
|
|
||||||
@Get('usage')
|
|
||||||
@RequireAllPermissions(PERMISSIONS_GROUPS.AUTODRIVE_CORE.permissions.READ)
|
|
||||||
async getUsage(@User() user: RequestUser) {
|
|
||||||
return this.autodriveCoreService.proxy('GET', '/usage', user);
|
|
||||||
}
|
|
||||||
}
|
|
||||||
@@ -1,13 +0,0 @@
|
|||||||
import { Module } from '@nestjs/common';
|
|
||||||
import { DadosferaLogger } from '@dadosfera/dadosfera-logs';
|
|
||||||
|
|
||||||
import { AutodriveCoreController } from './autodrive-core.controller';
|
|
||||||
import { AutodriveCoreService } from './autodrive-core.service';
|
|
||||||
|
|
||||||
@Module({
|
|
||||||
imports: [],
|
|
||||||
controllers: [AutodriveCoreController],
|
|
||||||
providers: [AutodriveCoreService, DadosferaLogger],
|
|
||||||
exports: [AutodriveCoreService],
|
|
||||||
})
|
|
||||||
export class AutodriveCoreModule {}
|
|
||||||
@@ -1,165 +0,0 @@
|
|||||||
import { Injectable, Inject, HttpException } from '@nestjs/common';
|
|
||||||
import axios, { AxiosResponse, Method } from 'axios';
|
|
||||||
import { DadosferaLogger } from '@dadosfera/dadosfera-logs';
|
|
||||||
|
|
||||||
import { RequestUser } from '../../decorators/user.decorator';
|
|
||||||
import { AUTODRIVE_CORE_CONFIG } from './autodrive-core.config';
|
|
||||||
|
|
||||||
@Injectable()
|
|
||||||
export class AutodriveCoreService {
|
|
||||||
private logger: any;
|
|
||||||
|
|
||||||
constructor(
|
|
||||||
@Inject(DadosferaLogger) dadosferaLogger: DadosferaLogger,
|
|
||||||
) {
|
|
||||||
this.logger = dadosferaLogger.logger;
|
|
||||||
}
|
|
||||||
|
|
||||||
async proxy(
|
|
||||||
method: string,
|
|
||||||
path: string,
|
|
||||||
user: RequestUser,
|
|
||||||
body?: any,
|
|
||||||
query?: Record<string, any>
|
|
||||||
): Promise<any> {
|
|
||||||
if (!user.customer_id) {
|
|
||||||
throw new HttpException('Customer ID is required for autodrive core operations', 400);
|
|
||||||
}
|
|
||||||
|
|
||||||
const baseUrl = AUTODRIVE_CORE_CONFIG.getUrl(user.customer_name);
|
|
||||||
const url = new URL(`${baseUrl}${path}`);
|
|
||||||
|
|
||||||
if (query) {
|
|
||||||
Object.entries(query).forEach(([key, value]) => {
|
|
||||||
if (value !== undefined && value !== null) {
|
|
||||||
url.searchParams.set(key, String(value));
|
|
||||||
}
|
|
||||||
});
|
|
||||||
}
|
|
||||||
|
|
||||||
const headers: Record<string, string> = {
|
|
||||||
'content-type': 'application/json',
|
|
||||||
'Authorization': user.access_token,
|
|
||||||
};
|
|
||||||
|
|
||||||
this.logger.info('Proxying request to autodrive-core', {
|
|
||||||
method: method.toUpperCase(),
|
|
||||||
path,
|
|
||||||
customer_id: user.customer_id,
|
|
||||||
user_id: user.user_id,
|
|
||||||
});
|
|
||||||
|
|
||||||
try {
|
|
||||||
const response: AxiosResponse = await axios({
|
|
||||||
method: method as Method,
|
|
||||||
url: url.href,
|
|
||||||
headers,
|
|
||||||
data: body,
|
|
||||||
timeout: AUTODRIVE_CORE_CONFIG.timeout,
|
|
||||||
validateStatus: () => true,
|
|
||||||
});
|
|
||||||
|
|
||||||
if (response.status >= 400) {
|
|
||||||
throw new HttpException(response.data, response.status);
|
|
||||||
}
|
|
||||||
|
|
||||||
return response.data;
|
|
||||||
} catch (error) {
|
|
||||||
this.logger.error('Autodrive Core API proxy error', {
|
|
||||||
error: error.message,
|
|
||||||
status: error.response?.status,
|
|
||||||
path,
|
|
||||||
method: method.toUpperCase(),
|
|
||||||
});
|
|
||||||
|
|
||||||
if (error instanceof HttpException) {
|
|
||||||
throw error;
|
|
||||||
}
|
|
||||||
|
|
||||||
if (error.response) {
|
|
||||||
throw new HttpException(error.response.data, error.response.status);
|
|
||||||
}
|
|
||||||
|
|
||||||
if (error.code === 'ECONNREFUSED') {
|
|
||||||
throw new HttpException('Autodrive Core API service unavailable', 503);
|
|
||||||
}
|
|
||||||
|
|
||||||
if (error.code === 'ETIMEDOUT' || error.code === 'ECONNABORTED') {
|
|
||||||
throw new HttpException('Autodrive Core API request timeout', 504);
|
|
||||||
}
|
|
||||||
|
|
||||||
throw new HttpException('Internal server error', 500);
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
async proxyFormData(
|
|
||||||
method: string,
|
|
||||||
path: string,
|
|
||||||
user: RequestUser,
|
|
||||||
formData: any,
|
|
||||||
query?: Record<string, any>,
|
|
||||||
): Promise<any> {
|
|
||||||
if (!user.customer_id) {
|
|
||||||
throw new HttpException('Customer ID is required for autodrive core operations', 400);
|
|
||||||
}
|
|
||||||
|
|
||||||
const baseUrl = AUTODRIVE_CORE_CONFIG.getUrl(user.customer_name);
|
|
||||||
const url = new URL(`${baseUrl}${path}`);
|
|
||||||
|
|
||||||
if (query) {
|
|
||||||
Object.entries(query).forEach(([key, value]) => {
|
|
||||||
if (value !== undefined && value !== null) {
|
|
||||||
url.searchParams.set(key, String(value));
|
|
||||||
}
|
|
||||||
});
|
|
||||||
}
|
|
||||||
|
|
||||||
const headers: Record<string, string> = {
|
|
||||||
...formData.getHeaders?.(),
|
|
||||||
'Authorization': user.access_token,
|
|
||||||
};
|
|
||||||
|
|
||||||
this.logger.info('Proxying form data request to autodrive-core', {
|
|
||||||
method: method.toUpperCase(),
|
|
||||||
path,
|
|
||||||
customer_id: user.customer_id,
|
|
||||||
user_id: user.user_id,
|
|
||||||
});
|
|
||||||
|
|
||||||
try {
|
|
||||||
const response: AxiosResponse = await axios({
|
|
||||||
method: method as Method,
|
|
||||||
url: url.href,
|
|
||||||
headers,
|
|
||||||
data: formData,
|
|
||||||
timeout: AUTODRIVE_CORE_CONFIG.timeout,
|
|
||||||
maxContentLength: Infinity,
|
|
||||||
maxBodyLength: Infinity,
|
|
||||||
validateStatus: () => true,
|
|
||||||
});
|
|
||||||
|
|
||||||
if (response.status >= 400) {
|
|
||||||
throw new HttpException(response.data, response.status);
|
|
||||||
}
|
|
||||||
|
|
||||||
return response.data;
|
|
||||||
} catch (error) {
|
|
||||||
this.logger.error('Autodrive Core API form data proxy error', {
|
|
||||||
error: error.message,
|
|
||||||
status: error.response?.status,
|
|
||||||
path,
|
|
||||||
method: method.toUpperCase(),
|
|
||||||
});
|
|
||||||
|
|
||||||
if (error instanceof HttpException) {
|
|
||||||
throw error;
|
|
||||||
}
|
|
||||||
|
|
||||||
if (error.response) {
|
|
||||||
throw new HttpException(error.response.data, error.response.status);
|
|
||||||
}
|
|
||||||
|
|
||||||
throw new HttpException('Internal server error', 500);
|
|
||||||
}
|
|
||||||
}
|
|
||||||
}
|
|
||||||
@@ -1,10 +0,0 @@
|
|||||||
export const AUTODRIVE_EXTRACTOR_CONFIG = {
|
|
||||||
getUrl: (customerName: string): string => {
|
|
||||||
const urlTemplate = process.env.AUTODRIVE_EXTRACTOR_API_URL;
|
|
||||||
if (!urlTemplate) {
|
|
||||||
throw new Error('AUTODRIVE_EXTRACTOR_API_URL environment variable is not set');
|
|
||||||
}
|
|
||||||
return urlTemplate.replace('{customer}', customerName);
|
|
||||||
},
|
|
||||||
timeout: parseInt(process.env.AUTODRIVE_EXTRACTOR_TIMEOUT || '30000', 10),
|
|
||||||
};
|
|
||||||
@@ -1,491 +0,0 @@
|
|||||||
import {
|
|
||||||
Controller,
|
|
||||||
Get,
|
|
||||||
Post,
|
|
||||||
Put,
|
|
||||||
Delete,
|
|
||||||
Param,
|
|
||||||
Body,
|
|
||||||
Query,
|
|
||||||
Inject,
|
|
||||||
UseInterceptors,
|
|
||||||
UploadedFiles,
|
|
||||||
} from '@nestjs/common';
|
|
||||||
import { ApiTags, ApiOperation, ApiConsumes } from '@nestjs/swagger';
|
|
||||||
import { FilesInterceptor } from '@nestjs/platform-express';
|
|
||||||
import { DadosferaLogger } from '@dadosfera/dadosfera-logs';
|
|
||||||
import FormData from 'form-data';
|
|
||||||
|
|
||||||
import {
|
|
||||||
Authenticated,
|
|
||||||
RequireAllPermissions,
|
|
||||||
} from '../../decorators/authentication.decorator';
|
|
||||||
import { User, RequestUser } from '../../decorators/user.decorator';
|
|
||||||
import { AutodriveExtractorService } from './autodrive-extractor.service';
|
|
||||||
import { PERMISSIONS_GROUPS } from '../../authentication/permissions.enum';
|
|
||||||
|
|
||||||
@ApiTags('Autodrive Extractor')
|
|
||||||
@Controller('autodrive-extractor')
|
|
||||||
@Authenticated()
|
|
||||||
export class AutodriveExtractorController {
|
|
||||||
private logger: any;
|
|
||||||
|
|
||||||
constructor(
|
|
||||||
private readonly autodriveExtractorService: AutodriveExtractorService,
|
|
||||||
@Inject(DadosferaLogger) dadosferaLogger: DadosferaLogger,
|
|
||||||
) {
|
|
||||||
this.logger = dadosferaLogger.logger;
|
|
||||||
}
|
|
||||||
|
|
||||||
// ============================================
|
|
||||||
// LEGACY - NPL Extraction routes (to be removed)
|
|
||||||
// ============================================
|
|
||||||
|
|
||||||
@ApiOperation({ summary: '[LEGACY] Extract features from dataset using NPL' })
|
|
||||||
@Post('npl/datasets/:datasetId/extract')
|
|
||||||
@RequireAllPermissions(PERMISSIONS_GROUPS.AUTODRIVE_EXTRACTOR.permissions.WRITE)
|
|
||||||
async nplExtract(
|
|
||||||
@Param('datasetId') datasetId: string,
|
|
||||||
@Body() body: any,
|
|
||||||
@User() user: RequestUser,
|
|
||||||
) {
|
|
||||||
return this.autodriveExtractorService.proxy(
|
|
||||||
'POST',
|
|
||||||
`/npl/datasets/${datasetId}/extract`,
|
|
||||||
user,
|
|
||||||
body,
|
|
||||||
);
|
|
||||||
}
|
|
||||||
|
|
||||||
@ApiOperation({ summary: '[LEGACY] List NPL extractions for a dataset' })
|
|
||||||
@Get('npl/datasets/:datasetId/extractions')
|
|
||||||
@RequireAllPermissions(PERMISSIONS_GROUPS.AUTODRIVE_EXTRACTOR.permissions.READ)
|
|
||||||
async nplListExtractions(
|
|
||||||
@Param('datasetId') datasetId: string,
|
|
||||||
@Query('status') status: string,
|
|
||||||
@User() user: RequestUser,
|
|
||||||
) {
|
|
||||||
return this.autodriveExtractorService.proxy(
|
|
||||||
'GET',
|
|
||||||
`/npl/datasets/${datasetId}/extractions`,
|
|
||||||
user,
|
|
||||||
undefined,
|
|
||||||
{ status },
|
|
||||||
);
|
|
||||||
}
|
|
||||||
|
|
||||||
@ApiOperation({ summary: '[LEGACY] Get NPL extraction details' })
|
|
||||||
@Get('npl/datasets/:datasetId/extractions/:extractionId')
|
|
||||||
@RequireAllPermissions(PERMISSIONS_GROUPS.AUTODRIVE_EXTRACTOR.permissions.READ)
|
|
||||||
async nplGetExtraction(
|
|
||||||
@Param('datasetId') datasetId: string,
|
|
||||||
@Param('extractionId') extractionId: string,
|
|
||||||
@User() user: RequestUser,
|
|
||||||
) {
|
|
||||||
return this.autodriveExtractorService.proxy(
|
|
||||||
'GET',
|
|
||||||
`/npl/datasets/${datasetId}/extractions/${extractionId}`,
|
|
||||||
user,
|
|
||||||
);
|
|
||||||
}
|
|
||||||
|
|
||||||
@ApiOperation({ summary: '[LEGACY] Export NPL extraction to CSV' })
|
|
||||||
@Get('npl/datasets/:datasetId/extractions/:extractionId/csv')
|
|
||||||
@RequireAllPermissions(PERMISSIONS_GROUPS.AUTODRIVE_EXTRACTOR.permissions.READ)
|
|
||||||
async nplExportExtractionCsv(
|
|
||||||
@Param('datasetId') datasetId: string,
|
|
||||||
@Param('extractionId') extractionId: string,
|
|
||||||
@User() user: RequestUser,
|
|
||||||
) {
|
|
||||||
return this.autodriveExtractorService.proxy(
|
|
||||||
'GET',
|
|
||||||
`/npl/datasets/${datasetId}/extractions/${extractionId}/csv`,
|
|
||||||
user,
|
|
||||||
);
|
|
||||||
}
|
|
||||||
|
|
||||||
@ApiOperation({ summary: '[LEGACY] Export NPL extraction to XLSX' })
|
|
||||||
@Get('npl/datasets/:datasetId/extractions/:extractionId/xlsx')
|
|
||||||
@RequireAllPermissions(PERMISSIONS_GROUPS.AUTODRIVE_EXTRACTOR.permissions.READ)
|
|
||||||
async nplExportExtractionXlsx(
|
|
||||||
@Param('datasetId') datasetId: string,
|
|
||||||
@Param('extractionId') extractionId: string,
|
|
||||||
@User() user: RequestUser,
|
|
||||||
) {
|
|
||||||
return this.autodriveExtractorService.proxy(
|
|
||||||
'GET',
|
|
||||||
`/npl/datasets/${datasetId}/extractions/${extractionId}/xlsx`,
|
|
||||||
user,
|
|
||||||
);
|
|
||||||
}
|
|
||||||
|
|
||||||
@ApiOperation({ summary: '[LEGACY] Batch export all NPL extractions to CSV' })
|
|
||||||
@Get('npl/datasets/:datasetId/extractions/export/csv')
|
|
||||||
@RequireAllPermissions(PERMISSIONS_GROUPS.AUTODRIVE_EXTRACTOR.permissions.READ)
|
|
||||||
async nplBatchExportCsv(
|
|
||||||
@Param('datasetId') datasetId: string,
|
|
||||||
@User() user: RequestUser,
|
|
||||||
) {
|
|
||||||
return this.autodriveExtractorService.proxy(
|
|
||||||
'GET',
|
|
||||||
`/npl/datasets/${datasetId}/extractions/export/csv`,
|
|
||||||
user,
|
|
||||||
);
|
|
||||||
}
|
|
||||||
|
|
||||||
@ApiOperation({ summary: '[LEGACY] Batch export all NPL extractions to XLSX' })
|
|
||||||
@Get('npl/datasets/:datasetId/extractions/export/xlsx')
|
|
||||||
@RequireAllPermissions(PERMISSIONS_GROUPS.AUTODRIVE_EXTRACTOR.permissions.READ)
|
|
||||||
async nplBatchExportXlsx(
|
|
||||||
@Param('datasetId') datasetId: string,
|
|
||||||
@User() user: RequestUser,
|
|
||||||
) {
|
|
||||||
return this.autodriveExtractorService.proxy(
|
|
||||||
'GET',
|
|
||||||
`/npl/datasets/${datasetId}/extractions/export/xlsx`,
|
|
||||||
user,
|
|
||||||
);
|
|
||||||
}
|
|
||||||
|
|
||||||
@ApiOperation({ summary: '[LEGACY] Get NPL extraction report' })
|
|
||||||
@Get('npl/datasets/:datasetId/extractions/:extractionId/report')
|
|
||||||
@RequireAllPermissions(PERMISSIONS_GROUPS.AUTODRIVE_EXTRACTOR.permissions.READ)
|
|
||||||
async nplGetExtractionReport(
|
|
||||||
@Param('datasetId') datasetId: string,
|
|
||||||
@Param('extractionId') extractionId: string,
|
|
||||||
@User() user: RequestUser,
|
|
||||||
) {
|
|
||||||
return this.autodriveExtractorService.proxy(
|
|
||||||
'GET',
|
|
||||||
`/npl/datasets/${datasetId}/extractions/${extractionId}/report`,
|
|
||||||
user,
|
|
||||||
);
|
|
||||||
}
|
|
||||||
|
|
||||||
// ============================================
|
|
||||||
// LEGACY - NPL Configuration routes (to be removed)
|
|
||||||
// ============================================
|
|
||||||
|
|
||||||
@ApiOperation({ summary: '[LEGACY] Get NPL configuration' })
|
|
||||||
@Get('npl/config')
|
|
||||||
@RequireAllPermissions(PERMISSIONS_GROUPS.AUTODRIVE_EXTRACTOR.permissions.READ)
|
|
||||||
async nplGetConfig(@User() user: RequestUser) {
|
|
||||||
return this.autodriveExtractorService.proxy('GET', '/npl/config', user);
|
|
||||||
}
|
|
||||||
|
|
||||||
@ApiOperation({ summary: '[LEGACY] Get NPL configuration summary' })
|
|
||||||
@Get('npl/config/summary')
|
|
||||||
@RequireAllPermissions(PERMISSIONS_GROUPS.AUTODRIVE_EXTRACTOR.permissions.READ)
|
|
||||||
async nplGetConfigSummary(@User() user: RequestUser) {
|
|
||||||
return this.autodriveExtractorService.proxy('GET', '/npl/config/summary', user);
|
|
||||||
}
|
|
||||||
|
|
||||||
@ApiOperation({ summary: '[LEGACY] List NPL configuration fields' })
|
|
||||||
@Get('npl/config/fields')
|
|
||||||
@RequireAllPermissions(PERMISSIONS_GROUPS.AUTODRIVE_EXTRACTOR.permissions.READ)
|
|
||||||
async nplGetConfigFields(@User() user: RequestUser) {
|
|
||||||
return this.autodriveExtractorService.proxy('GET', '/npl/config/fields', user);
|
|
||||||
}
|
|
||||||
|
|
||||||
@ApiOperation({ summary: '[LEGACY] Get NPL configuration field by ID' })
|
|
||||||
@Get('npl/config/fields/:fieldId')
|
|
||||||
@RequireAllPermissions(PERMISSIONS_GROUPS.AUTODRIVE_EXTRACTOR.permissions.READ)
|
|
||||||
async nplGetConfigField(
|
|
||||||
@Param('fieldId') fieldId: string,
|
|
||||||
@User() user: RequestUser,
|
|
||||||
) {
|
|
||||||
return this.autodriveExtractorService.proxy(
|
|
||||||
'GET',
|
|
||||||
`/npl/config/fields/${fieldId}`,
|
|
||||||
user,
|
|
||||||
);
|
|
||||||
}
|
|
||||||
|
|
||||||
@ApiOperation({ summary: '[LEGACY] Update NPL configuration field' })
|
|
||||||
@Put('npl/config/fields/:fieldId')
|
|
||||||
@RequireAllPermissions(PERMISSIONS_GROUPS.AUTODRIVE_EXTRACTOR.permissions.WRITE)
|
|
||||||
async nplUpdateConfigField(
|
|
||||||
@Param('fieldId') fieldId: string,
|
|
||||||
@Body() body: any,
|
|
||||||
@User() user: RequestUser,
|
|
||||||
) {
|
|
||||||
return this.autodriveExtractorService.proxy(
|
|
||||||
'PUT',
|
|
||||||
`/npl/config/fields/${fieldId}`,
|
|
||||||
user,
|
|
||||||
body,
|
|
||||||
);
|
|
||||||
}
|
|
||||||
|
|
||||||
@ApiOperation({ summary: '[LEGACY] Get NPL RAG queries' })
|
|
||||||
@Get('npl/config/rag-queries')
|
|
||||||
@RequireAllPermissions(PERMISSIONS_GROUPS.AUTODRIVE_EXTRACTOR.permissions.READ)
|
|
||||||
async nplGetRagQueries(@User() user: RequestUser) {
|
|
||||||
return this.autodriveExtractorService.proxy('GET', '/npl/config/rag-queries', user);
|
|
||||||
}
|
|
||||||
|
|
||||||
@ApiOperation({ summary: '[LEGACY] Get NPL system prompt' })
|
|
||||||
@Get('npl/config/system-prompt')
|
|
||||||
@RequireAllPermissions(PERMISSIONS_GROUPS.AUTODRIVE_EXTRACTOR.permissions.READ)
|
|
||||||
async nplGetSystemPrompt(@User() user: RequestUser) {
|
|
||||||
return this.autodriveExtractorService.proxy('GET', '/npl/config/system-prompt', user);
|
|
||||||
}
|
|
||||||
|
|
||||||
@ApiOperation({ summary: '[LEGACY] Update NPL system prompt' })
|
|
||||||
@Put('npl/config/system-prompt')
|
|
||||||
@RequireAllPermissions(PERMISSIONS_GROUPS.AUTODRIVE_EXTRACTOR.permissions.WRITE)
|
|
||||||
async nplUpdateSystemPrompt(
|
|
||||||
@Body() body: any,
|
|
||||||
@User() user: RequestUser,
|
|
||||||
) {
|
|
||||||
return this.autodriveExtractorService.proxy(
|
|
||||||
'PUT',
|
|
||||||
'/npl/config/system-prompt',
|
|
||||||
user,
|
|
||||||
body,
|
|
||||||
);
|
|
||||||
}
|
|
||||||
|
|
||||||
@ApiOperation({ summary: '[LEGACY] Get NPL source priorities' })
|
|
||||||
@Get('npl/config/source-priorities')
|
|
||||||
@RequireAllPermissions(PERMISSIONS_GROUPS.AUTODRIVE_EXTRACTOR.permissions.READ)
|
|
||||||
async nplGetSourcePriorities(@User() user: RequestUser) {
|
|
||||||
return this.autodriveExtractorService.proxy('GET', '/npl/config/source-priorities', user);
|
|
||||||
}
|
|
||||||
|
|
||||||
@ApiOperation({ summary: '[LEGACY] Reset NPL configuration to defaults' })
|
|
||||||
@Post('npl/config/reset')
|
|
||||||
@RequireAllPermissions(PERMISSIONS_GROUPS.AUTODRIVE_EXTRACTOR.permissions.WRITE)
|
|
||||||
async nplResetConfig(@User() user: RequestUser) {
|
|
||||||
return this.autodriveExtractorService.proxy('POST', '/npl/config/reset', user);
|
|
||||||
}
|
|
||||||
|
|
||||||
@ApiOperation({ summary: '[LEGACY] Export NPL configuration' })
|
|
||||||
@Get('npl/config/export')
|
|
||||||
@RequireAllPermissions(PERMISSIONS_GROUPS.AUTODRIVE_EXTRACTOR.permissions.READ)
|
|
||||||
async nplExportConfig(@User() user: RequestUser) {
|
|
||||||
return this.autodriveExtractorService.proxy('GET', '/npl/config/export', user);
|
|
||||||
}
|
|
||||||
|
|
||||||
@ApiOperation({ summary: '[LEGACY] Import NPL configuration' })
|
|
||||||
@Post('npl/config/import')
|
|
||||||
@RequireAllPermissions(PERMISSIONS_GROUPS.AUTODRIVE_EXTRACTOR.permissions.WRITE)
|
|
||||||
async nplImportConfig(
|
|
||||||
@Body() body: any,
|
|
||||||
@User() user: RequestUser,
|
|
||||||
) {
|
|
||||||
return this.autodriveExtractorService.proxy(
|
|
||||||
'POST',
|
|
||||||
'/npl/config/import',
|
|
||||||
user,
|
|
||||||
body,
|
|
||||||
);
|
|
||||||
}
|
|
||||||
|
|
||||||
// ============================================
|
|
||||||
// EXTRACTION TEMPLATES
|
|
||||||
// ============================================
|
|
||||||
|
|
||||||
@ApiOperation({ summary: 'Seed NPL Brasil extraction template' })
|
|
||||||
@Post('templates/seed-npl')
|
|
||||||
@RequireAllPermissions(PERMISSIONS_GROUPS.AUTODRIVE_EXTRACTOR.permissions.WRITE)
|
|
||||||
async seedNplTemplate(
|
|
||||||
@Body() body: any,
|
|
||||||
@User() user: RequestUser,
|
|
||||||
) {
|
|
||||||
return this.autodriveExtractorService.proxy(
|
|
||||||
'POST',
|
|
||||||
'/templates/seed-npl',
|
|
||||||
user,
|
|
||||||
body,
|
|
||||||
);
|
|
||||||
}
|
|
||||||
|
|
||||||
@ApiOperation({ summary: 'List extraction templates' })
|
|
||||||
@Get('templates')
|
|
||||||
@RequireAllPermissions(PERMISSIONS_GROUPS.AUTODRIVE_EXTRACTOR.permissions.READ)
|
|
||||||
async listTemplates(@User() user: RequestUser) {
|
|
||||||
return this.autodriveExtractorService.proxy('GET', '/templates', user);
|
|
||||||
}
|
|
||||||
|
|
||||||
@ApiOperation({ summary: 'Create extraction template' })
|
|
||||||
@Post('templates')
|
|
||||||
@RequireAllPermissions(PERMISSIONS_GROUPS.AUTODRIVE_EXTRACTOR.permissions.WRITE)
|
|
||||||
async createTemplate(
|
|
||||||
@Body() body: any,
|
|
||||||
@User() user: RequestUser,
|
|
||||||
) {
|
|
||||||
return this.autodriveExtractorService.proxy(
|
|
||||||
'POST',
|
|
||||||
'/templates',
|
|
||||||
user,
|
|
||||||
body,
|
|
||||||
);
|
|
||||||
}
|
|
||||||
|
|
||||||
@ApiOperation({ summary: 'Get extraction template by ID' })
|
|
||||||
@Get('templates/:templateId')
|
|
||||||
@RequireAllPermissions(PERMISSIONS_GROUPS.AUTODRIVE_EXTRACTOR.permissions.READ)
|
|
||||||
async getTemplate(
|
|
||||||
@Param('templateId') templateId: string,
|
|
||||||
@User() user: RequestUser,
|
|
||||||
) {
|
|
||||||
return this.autodriveExtractorService.proxy(
|
|
||||||
'GET',
|
|
||||||
`/templates/${templateId}`,
|
|
||||||
user,
|
|
||||||
);
|
|
||||||
}
|
|
||||||
|
|
||||||
@ApiOperation({ summary: 'Update extraction template' })
|
|
||||||
@Put('templates/:templateId')
|
|
||||||
@RequireAllPermissions(PERMISSIONS_GROUPS.AUTODRIVE_EXTRACTOR.permissions.WRITE)
|
|
||||||
async updateTemplate(
|
|
||||||
@Param('templateId') templateId: string,
|
|
||||||
@Body() body: any,
|
|
||||||
@User() user: RequestUser,
|
|
||||||
) {
|
|
||||||
return this.autodriveExtractorService.proxy(
|
|
||||||
'PUT',
|
|
||||||
`/templates/${templateId}`,
|
|
||||||
user,
|
|
||||||
body,
|
|
||||||
);
|
|
||||||
}
|
|
||||||
|
|
||||||
@ApiOperation({ summary: 'Delete extraction template' })
|
|
||||||
@Delete('templates/:templateId')
|
|
||||||
@RequireAllPermissions(PERMISSIONS_GROUPS.AUTODRIVE_EXTRACTOR.permissions.WRITE)
|
|
||||||
async deleteTemplate(
|
|
||||||
@Param('templateId') templateId: string,
|
|
||||||
@User() user: RequestUser,
|
|
||||||
) {
|
|
||||||
return this.autodriveExtractorService.proxy(
|
|
||||||
'DELETE',
|
|
||||||
`/templates/${templateId}`,
|
|
||||||
user,
|
|
||||||
);
|
|
||||||
}
|
|
||||||
|
|
||||||
@ApiOperation({ summary: 'Import extraction templates from file' })
|
|
||||||
@Post('templates/import')
|
|
||||||
@ApiConsumes('multipart/form-data')
|
|
||||||
@UseInterceptors(FilesInterceptor('file'))
|
|
||||||
@RequireAllPermissions(PERMISSIONS_GROUPS.AUTODRIVE_EXTRACTOR.permissions.WRITE)
|
|
||||||
async importTemplates(
|
|
||||||
@UploadedFiles() files: Array<Express.Multer.File>,
|
|
||||||
@User() user: RequestUser,
|
|
||||||
) {
|
|
||||||
const formData = new FormData();
|
|
||||||
if (files && files.length > 0) {
|
|
||||||
files.forEach((file) => {
|
|
||||||
formData.append('file', file.buffer, {
|
|
||||||
filename: file.originalname,
|
|
||||||
contentType: file.mimetype,
|
|
||||||
});
|
|
||||||
});
|
|
||||||
}
|
|
||||||
return this.autodriveExtractorService.proxyFormData(
|
|
||||||
'POST',
|
|
||||||
'/templates/import',
|
|
||||||
user,
|
|
||||||
formData,
|
|
||||||
);
|
|
||||||
}
|
|
||||||
|
|
||||||
// ============================================
|
|
||||||
// GENERIC EXTRACTION
|
|
||||||
// ============================================
|
|
||||||
|
|
||||||
@ApiOperation({ summary: 'Start template-based extraction on dataset' })
|
|
||||||
@Post('extraction/datasets/:datasetId/extract')
|
|
||||||
@RequireAllPermissions(PERMISSIONS_GROUPS.AUTODRIVE_EXTRACTOR.permissions.WRITE)
|
|
||||||
async startExtraction(
|
|
||||||
@Param('datasetId') datasetId: string,
|
|
||||||
@Body() body: any,
|
|
||||||
@User() user: RequestUser,
|
|
||||||
) {
|
|
||||||
return this.autodriveExtractorService.proxy(
|
|
||||||
'POST',
|
|
||||||
`/extraction/datasets/${datasetId}/extract`,
|
|
||||||
user,
|
|
||||||
body,
|
|
||||||
);
|
|
||||||
}
|
|
||||||
|
|
||||||
@ApiOperation({ summary: 'List extraction jobs for a dataset' })
|
|
||||||
@Get('extraction/datasets/:datasetId/jobs')
|
|
||||||
@RequireAllPermissions(PERMISSIONS_GROUPS.AUTODRIVE_EXTRACTOR.permissions.READ)
|
|
||||||
async listExtractionJobs(
|
|
||||||
@Param('datasetId') datasetId: string,
|
|
||||||
@Query('status') status: string,
|
|
||||||
@User() user: RequestUser,
|
|
||||||
) {
|
|
||||||
return this.autodriveExtractorService.proxy(
|
|
||||||
'GET',
|
|
||||||
`/extraction/datasets/${datasetId}/jobs`,
|
|
||||||
user,
|
|
||||||
undefined,
|
|
||||||
{ status },
|
|
||||||
);
|
|
||||||
}
|
|
||||||
|
|
||||||
@ApiOperation({ summary: 'Get extraction job details' })
|
|
||||||
@Get('extraction/jobs/:jobId')
|
|
||||||
@RequireAllPermissions(PERMISSIONS_GROUPS.AUTODRIVE_EXTRACTOR.permissions.READ)
|
|
||||||
async getExtractionJob(
|
|
||||||
@Param('jobId') jobId: string,
|
|
||||||
@User() user: RequestUser,
|
|
||||||
) {
|
|
||||||
return this.autodriveExtractorService.proxy(
|
|
||||||
'GET',
|
|
||||||
`/extraction/jobs/${jobId}`,
|
|
||||||
user,
|
|
||||||
);
|
|
||||||
}
|
|
||||||
|
|
||||||
@ApiOperation({ summary: 'Get extraction job report' })
|
|
||||||
@Get('extraction/jobs/:jobId/report')
|
|
||||||
@RequireAllPermissions(PERMISSIONS_GROUPS.AUTODRIVE_EXTRACTOR.permissions.READ)
|
|
||||||
async getExtractionJobReport(
|
|
||||||
@Param('jobId') jobId: string,
|
|
||||||
@User() user: RequestUser,
|
|
||||||
) {
|
|
||||||
return this.autodriveExtractorService.proxy(
|
|
||||||
'GET',
|
|
||||||
`/extraction/jobs/${jobId}/report`,
|
|
||||||
user,
|
|
||||||
);
|
|
||||||
}
|
|
||||||
|
|
||||||
@ApiOperation({ summary: 'Export extraction job to CSV' })
|
|
||||||
@Get('extraction/jobs/:jobId/csv')
|
|
||||||
@RequireAllPermissions(PERMISSIONS_GROUPS.AUTODRIVE_EXTRACTOR.permissions.READ)
|
|
||||||
async exportExtractionJobCsv(
|
|
||||||
@Param('jobId') jobId: string,
|
|
||||||
@User() user: RequestUser,
|
|
||||||
) {
|
|
||||||
return this.autodriveExtractorService.proxy(
|
|
||||||
'GET',
|
|
||||||
`/extraction/jobs/${jobId}/csv`,
|
|
||||||
user,
|
|
||||||
);
|
|
||||||
}
|
|
||||||
|
|
||||||
// ============================================
|
|
||||||
// UTILITY
|
|
||||||
// ============================================
|
|
||||||
|
|
||||||
@ApiOperation({ summary: 'Health check' })
|
|
||||||
@Get('health')
|
|
||||||
async health(@User() user: RequestUser) {
|
|
||||||
return this.autodriveExtractorService.proxy('GET', '/health', user);
|
|
||||||
}
|
|
||||||
|
|
||||||
@ApiOperation({ summary: 'Check model availability' })
|
|
||||||
@Get('model-availability')
|
|
||||||
@RequireAllPermissions(PERMISSIONS_GROUPS.AUTODRIVE_EXTRACTOR.permissions.READ)
|
|
||||||
async modelAvailability(@User() user: RequestUser) {
|
|
||||||
return this.autodriveExtractorService.proxy('GET', '/model-availability', user);
|
|
||||||
}
|
|
||||||
}
|
|
||||||
@@ -1,13 +0,0 @@
|
|||||||
import { Module } from '@nestjs/common';
|
|
||||||
import { DadosferaLogger } from '@dadosfera/dadosfera-logs';
|
|
||||||
|
|
||||||
import { AutodriveExtractorController } from './autodrive-extractor.controller';
|
|
||||||
import { AutodriveExtractorService } from './autodrive-extractor.service';
|
|
||||||
|
|
||||||
@Module({
|
|
||||||
imports: [],
|
|
||||||
controllers: [AutodriveExtractorController],
|
|
||||||
providers: [AutodriveExtractorService, DadosferaLogger],
|
|
||||||
exports: [AutodriveExtractorService],
|
|
||||||
})
|
|
||||||
export class AutodriveExtractorModule {}
|
|
||||||
@@ -1,165 +0,0 @@
|
|||||||
import { Injectable, Inject, HttpException } from '@nestjs/common';
|
|
||||||
import axios, { AxiosResponse, Method } from 'axios';
|
|
||||||
import { DadosferaLogger } from '@dadosfera/dadosfera-logs';
|
|
||||||
|
|
||||||
import { RequestUser } from '../../decorators/user.decorator';
|
|
||||||
import { AUTODRIVE_EXTRACTOR_CONFIG } from './autodrive-extractor.config';
|
|
||||||
|
|
||||||
@Injectable()
|
|
||||||
export class AutodriveExtractorService {
|
|
||||||
private logger: any;
|
|
||||||
|
|
||||||
constructor(
|
|
||||||
@Inject(DadosferaLogger) dadosferaLogger: DadosferaLogger,
|
|
||||||
) {
|
|
||||||
this.logger = dadosferaLogger.logger;
|
|
||||||
}
|
|
||||||
|
|
||||||
async proxy(
|
|
||||||
method: string,
|
|
||||||
path: string,
|
|
||||||
user: RequestUser,
|
|
||||||
body?: any,
|
|
||||||
query?: Record<string, any>
|
|
||||||
): Promise<any> {
|
|
||||||
if (!user.customer_id) {
|
|
||||||
throw new HttpException('Customer ID is required for autodrive extractor operations', 400);
|
|
||||||
}
|
|
||||||
|
|
||||||
const baseUrl = AUTODRIVE_EXTRACTOR_CONFIG.getUrl(user.customer_name);
|
|
||||||
const url = new URL(`${baseUrl}${path}`);
|
|
||||||
|
|
||||||
if (query) {
|
|
||||||
Object.entries(query).forEach(([key, value]) => {
|
|
||||||
if (value !== undefined && value !== null) {
|
|
||||||
url.searchParams.set(key, String(value));
|
|
||||||
}
|
|
||||||
});
|
|
||||||
}
|
|
||||||
|
|
||||||
const headers: Record<string, string> = {
|
|
||||||
'content-type': 'application/json',
|
|
||||||
'Authorization': user.access_token,
|
|
||||||
};
|
|
||||||
|
|
||||||
this.logger.info('Proxying request to autodrive-extractor', {
|
|
||||||
method: method.toUpperCase(),
|
|
||||||
path,
|
|
||||||
customer_id: user.customer_id,
|
|
||||||
user_id: user.user_id,
|
|
||||||
});
|
|
||||||
|
|
||||||
try {
|
|
||||||
const response: AxiosResponse = await axios({
|
|
||||||
method: method as Method,
|
|
||||||
url: url.href,
|
|
||||||
headers,
|
|
||||||
data: body,
|
|
||||||
timeout: AUTODRIVE_EXTRACTOR_CONFIG.timeout,
|
|
||||||
validateStatus: () => true,
|
|
||||||
});
|
|
||||||
|
|
||||||
if (response.status >= 400) {
|
|
||||||
throw new HttpException(response.data, response.status);
|
|
||||||
}
|
|
||||||
|
|
||||||
return response.data;
|
|
||||||
} catch (error) {
|
|
||||||
this.logger.error('Autodrive Extractor API proxy error', {
|
|
||||||
error: error.message,
|
|
||||||
status: error.response?.status,
|
|
||||||
path,
|
|
||||||
method: method.toUpperCase(),
|
|
||||||
});
|
|
||||||
|
|
||||||
if (error instanceof HttpException) {
|
|
||||||
throw error;
|
|
||||||
}
|
|
||||||
|
|
||||||
if (error.response) {
|
|
||||||
throw new HttpException(error.response.data, error.response.status);
|
|
||||||
}
|
|
||||||
|
|
||||||
if (error.code === 'ECONNREFUSED') {
|
|
||||||
throw new HttpException('Autodrive Extractor API service unavailable', 503);
|
|
||||||
}
|
|
||||||
|
|
||||||
if (error.code === 'ETIMEDOUT' || error.code === 'ECONNABORTED') {
|
|
||||||
throw new HttpException('Autodrive Extractor API request timeout', 504);
|
|
||||||
}
|
|
||||||
|
|
||||||
throw new HttpException('Internal server error', 500);
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
async proxyFormData(
|
|
||||||
method: string,
|
|
||||||
path: string,
|
|
||||||
user: RequestUser,
|
|
||||||
formData: any,
|
|
||||||
query?: Record<string, any>,
|
|
||||||
): Promise<any> {
|
|
||||||
if (!user.customer_id) {
|
|
||||||
throw new HttpException('Customer ID is required for autodrive extractor operations', 400);
|
|
||||||
}
|
|
||||||
|
|
||||||
const baseUrl = AUTODRIVE_EXTRACTOR_CONFIG.getUrl(user.customer_name);
|
|
||||||
const url = new URL(`${baseUrl}${path}`);
|
|
||||||
|
|
||||||
if (query) {
|
|
||||||
Object.entries(query).forEach(([key, value]) => {
|
|
||||||
if (value !== undefined && value !== null) {
|
|
||||||
url.searchParams.set(key, String(value));
|
|
||||||
}
|
|
||||||
});
|
|
||||||
}
|
|
||||||
|
|
||||||
const headers: Record<string, string> = {
|
|
||||||
...formData.getHeaders?.(),
|
|
||||||
'Authorization': user.access_token,
|
|
||||||
};
|
|
||||||
|
|
||||||
this.logger.info('Proxying form data request to autodrive-extractor', {
|
|
||||||
method: method.toUpperCase(),
|
|
||||||
path,
|
|
||||||
customer_id: user.customer_id,
|
|
||||||
user_id: user.user_id,
|
|
||||||
});
|
|
||||||
|
|
||||||
try {
|
|
||||||
const response: AxiosResponse = await axios({
|
|
||||||
method: method as Method,
|
|
||||||
url: url.href,
|
|
||||||
headers,
|
|
||||||
data: formData,
|
|
||||||
timeout: AUTODRIVE_EXTRACTOR_CONFIG.timeout,
|
|
||||||
maxContentLength: Infinity,
|
|
||||||
maxBodyLength: Infinity,
|
|
||||||
validateStatus: () => true,
|
|
||||||
});
|
|
||||||
|
|
||||||
if (response.status >= 400) {
|
|
||||||
throw new HttpException(response.data, response.status);
|
|
||||||
}
|
|
||||||
|
|
||||||
return response.data;
|
|
||||||
} catch (error) {
|
|
||||||
this.logger.error('Autodrive Extractor API form data proxy error', {
|
|
||||||
error: error.message,
|
|
||||||
status: error.response?.status,
|
|
||||||
path,
|
|
||||||
method: method.toUpperCase(),
|
|
||||||
});
|
|
||||||
|
|
||||||
if (error instanceof HttpException) {
|
|
||||||
throw error;
|
|
||||||
}
|
|
||||||
|
|
||||||
if (error.response) {
|
|
||||||
throw new HttpException(error.response.data, error.response.status);
|
|
||||||
}
|
|
||||||
|
|
||||||
throw new HttpException('Internal server error', 500);
|
|
||||||
}
|
|
||||||
}
|
|
||||||
}
|
|
||||||
@@ -14,13 +14,6 @@ export class TableColumns {
|
|||||||
@ApiProperty()
|
@ApiProperty()
|
||||||
references: Column[];
|
references: Column[];
|
||||||
@ApiProperty()
|
@ApiProperty()
|
||||||
identifier_columns: string[];
|
|
||||||
@ApiProperty()
|
|
||||||
destination: Record<'raw' | 'qualify', {
|
|
||||||
table_name: string;
|
|
||||||
table_schema: string;
|
|
||||||
}> | null;
|
|
||||||
@ApiProperty()
|
|
||||||
type: string;
|
type: string;
|
||||||
}
|
}
|
||||||
export class AvailableEntity {
|
export class AvailableEntity {
|
||||||
|
|||||||
@@ -200,7 +200,7 @@ export class InputsService {
|
|||||||
}
|
}
|
||||||
|
|
||||||
async update(id: string, data, info: Info) {
|
async update(id: string, data, info: Info) {
|
||||||
// this.validateCron({ ...data, info });
|
this.validateCron({ ...data, info });
|
||||||
try {
|
try {
|
||||||
const updateInputResponse: any = await this.OLD_inputClient.update({
|
const updateInputResponse: any = await this.OLD_inputClient.update({
|
||||||
id,
|
id,
|
||||||
|
|||||||
@@ -1,15 +1,6 @@
|
|||||||
import { ApiProperty, ApiPropertyOptional, OmitType } from '@nestjs/swagger';
|
import { ApiProperty, ApiPropertyOptional, OmitType } from '@nestjs/swagger';
|
||||||
import { Info } from '@dadosfera/protospack/dist/lib/interfaces';
|
import { Info } from '@dadosfera/protospack/dist/lib/interfaces';
|
||||||
|
|
||||||
export class PipelineInputsDTO {
|
|
||||||
@ApiProperty()
|
|
||||||
tables: Array<{
|
|
||||||
name: string,
|
|
||||||
type: string,
|
|
||||||
|
|
||||||
}>
|
|
||||||
}
|
|
||||||
|
|
||||||
export class IPipelineV2 {
|
export class IPipelineV2 {
|
||||||
@ApiProperty()
|
@ApiProperty()
|
||||||
id: string;
|
id: string;
|
||||||
@@ -132,30 +123,3 @@ export class PipelineFindAllReq {
|
|||||||
@ApiPropertyOptional()
|
@ApiPropertyOptional()
|
||||||
type?: string | undefined;
|
type?: string | undefined;
|
||||||
}
|
}
|
||||||
|
|
||||||
export interface UpdateTableDTO {
|
|
||||||
name: string;
|
|
||||||
type: string;
|
|
||||||
columns: string[];
|
|
||||||
destinations: {
|
|
||||||
raw: {
|
|
||||||
table_schema: string;
|
|
||||||
table_name: string;
|
|
||||||
};
|
|
||||||
qualify: {
|
|
||||||
table_schema: string;
|
|
||||||
table_name: string;
|
|
||||||
};
|
|
||||||
};
|
|
||||||
identifier_columns: string[];
|
|
||||||
reference_column: {
|
|
||||||
name: string;
|
|
||||||
type: string;
|
|
||||||
};
|
|
||||||
memory: number;
|
|
||||||
}
|
|
||||||
|
|
||||||
export interface UpdatePlatformInputRequest {
|
|
||||||
cron: string;
|
|
||||||
tables: Array<UpdateTableDTO>;
|
|
||||||
}
|
|
||||||
|
|||||||
@@ -43,15 +43,11 @@ import {
|
|||||||
IPipelineV2,
|
IPipelineV2,
|
||||||
IInitUploadCSVFile,
|
IInitUploadCSVFile,
|
||||||
PipelineFindAllReq,
|
PipelineFindAllReq,
|
||||||
UpdatePlatformInputRequest,
|
|
||||||
} from './interfaces';
|
} from './interfaces';
|
||||||
import { GrpcToHttpExceptionFilter } from 'src/error/grpc-to-http-exception.filter';
|
import { GrpcToHttpExceptionFilter } from 'src/error/grpc-to-http-exception.filter';
|
||||||
import { LanguageEnum } from 'src/utils/languages.enum';
|
import { LanguageEnum } from 'src/utils/languages.enum';
|
||||||
import { Language } from 'src/decorators/language.decorator';
|
import { Language } from 'src/decorators/language.decorator';
|
||||||
import { ApiInternalOnlyEndpoint } from 'src/decorators/swagger.decorator';
|
import { ApiInternalOnlyEndpoint } from 'src/decorators/swagger.decorator';
|
||||||
import { TableColumns } from '../inputs/dtos/input.model';
|
|
||||||
import { UpdateInputRequest } from '../inputs/dtos/old_interfaces';
|
|
||||||
import { Info } from '@dadosfera/protospack-v2/dist/lib/Input/interfaces/entities';
|
|
||||||
|
|
||||||
@ApiTags('PipelinesV2')
|
@ApiTags('PipelinesV2')
|
||||||
@ApiHeaders([{ name: 'dadosfera-lang', enum: LanguageEnum, required: false }])
|
@ApiHeaders([{ name: 'dadosfera-lang', enum: LanguageEnum, required: false }])
|
||||||
@@ -227,7 +223,6 @@ export class PipelinesController {
|
|||||||
.then((res) => {
|
.then((res) => {
|
||||||
//{pipeline:{tables: {tables: [], input_id: ''}}}
|
//{pipeline:{tables: {tables: [], input_id: ''}}}
|
||||||
let tables = JSON.parse(res.pipeline.config.tables);
|
let tables = JSON.parse(res.pipeline.config.tables);
|
||||||
const input_id = tables?.input_id;
|
|
||||||
if (tables?.tables) tables = tables.tables;
|
if (tables?.tables) tables = tables.tables;
|
||||||
Object.assign(res.pipeline, {
|
Object.assign(res.pipeline, {
|
||||||
transformations: res.pipeline.transformations
|
transformations: res.pipeline.transformations
|
||||||
@@ -236,7 +231,6 @@ export class PipelinesController {
|
|||||||
config: {
|
config: {
|
||||||
cron: res.pipeline.config.cron,
|
cron: res.pipeline.config.cron,
|
||||||
tables,
|
tables,
|
||||||
input_id
|
|
||||||
},
|
},
|
||||||
properties: res.pipeline.properties
|
properties: res.pipeline.properties
|
||||||
? JSON.parse(res.pipeline.properties)
|
? JSON.parse(res.pipeline.properties)
|
||||||
@@ -283,45 +277,6 @@ export class PipelinesController {
|
|||||||
return response;
|
return response;
|
||||||
}
|
}
|
||||||
|
|
||||||
@Patch('/:pipelineId/inputs/:id')
|
|
||||||
@RequireSomePermission(PERMISSIONS_GROUPS.PIPELINE.permissions.UPDATE)
|
|
||||||
async updatePipelineInput(
|
|
||||||
@Language() language: LanguageEnum,
|
|
||||||
@Body() pipelineInputDTO: UpdatePlatformInputRequest,
|
|
||||||
@Param('id') inputId: string,
|
|
||||||
@Param('pipelineId') pipelineId: string,
|
|
||||||
@User() user: RequestUser,
|
|
||||||
) {
|
|
||||||
this.logger.info('PipelinesController - update', { user });
|
|
||||||
|
|
||||||
|
|
||||||
const { customer_id, customer_name, user_id, username } = user;
|
|
||||||
const info: Info = {
|
|
||||||
user_id: user.user_id,
|
|
||||||
customer: user.customer_name,
|
|
||||||
customer_id: user.customer_id,
|
|
||||||
};
|
|
||||||
const metadata = PackTheMetadata({
|
|
||||||
customer_id,
|
|
||||||
customer_name,
|
|
||||||
user_id,
|
|
||||||
username,
|
|
||||||
language,
|
|
||||||
});
|
|
||||||
|
|
||||||
const response = await this.pipelinesClientService.updatePipelineInput(
|
|
||||||
pipelineId,
|
|
||||||
inputId,
|
|
||||||
pipelineInputDTO,
|
|
||||||
info,
|
|
||||||
user,
|
|
||||||
metadata,
|
|
||||||
);
|
|
||||||
|
|
||||||
this.logger.info('PipelinesController - update: OK', { user });
|
|
||||||
return response;
|
|
||||||
}
|
|
||||||
|
|
||||||
@ApiInternalOnlyEndpoint()
|
@ApiInternalOnlyEndpoint()
|
||||||
@Put('/:id')
|
@Put('/:id')
|
||||||
@ApiOperation({
|
@ApiOperation({
|
||||||
|
|||||||
@@ -11,7 +11,6 @@ import { PipelinesModule as OldPipelineModule } from 'src/modules/pipelines/pipe
|
|||||||
import { ConnectorModule } from '../connector/connector.module';
|
import { ConnectorModule } from '../connector/connector.module';
|
||||||
import { InputsModule } from '../inputs/inputs.module';
|
import { InputsModule } from '../inputs/inputs.module';
|
||||||
import { TransformationsModule } from '../transformations/transformations.module';
|
import { TransformationsModule } from '../transformations/transformations.module';
|
||||||
import { PlatformApiModule } from '../platform-api/platform-api.module';
|
|
||||||
|
|
||||||
const client = new PipelinesClientConfiguration();
|
const client = new PipelinesClientConfiguration();
|
||||||
|
|
||||||
@@ -22,7 +21,6 @@ const client = new PipelinesClientConfiguration();
|
|||||||
ConnectorModule,
|
ConnectorModule,
|
||||||
InputsModule,
|
InputsModule,
|
||||||
TransformationsModule,
|
TransformationsModule,
|
||||||
PlatformApiModule
|
|
||||||
],
|
],
|
||||||
controllers: [PipelinesController],
|
controllers: [PipelinesController],
|
||||||
providers: [PipelinesService, DadosferaLogger],
|
providers: [PipelinesService, DadosferaLogger],
|
||||||
|
|||||||
@@ -1,4 +1,3 @@
|
|||||||
/* eslint-disable no-async-promise-executor */
|
|
||||||
import {
|
import {
|
||||||
BadRequestException,
|
BadRequestException,
|
||||||
HttpException,
|
HttpException,
|
||||||
@@ -17,7 +16,7 @@ import { lastValueFrom } from 'rxjs';
|
|||||||
|
|
||||||
import { DadosferaLogger } from '@dadosfera/dadosfera-logs';
|
import { DadosferaLogger } from '@dadosfera/dadosfera-logs';
|
||||||
import { PipelinesClientConfiguration } from './pipelines-client';
|
import { PipelinesClientConfiguration } from './pipelines-client';
|
||||||
import { ICreatePipelineV2Req, UpdatePlatformInputRequest, UpdateTableDTO } from './interfaces';
|
import { ICreatePipelineV2Req } from './interfaces';
|
||||||
import { PipelineV2CreateRequest } from '@dadosfera/protospack-v2/dist/lib/PipelineV2/interfaces/messages';
|
import { PipelineV2CreateRequest } from '@dadosfera/protospack-v2/dist/lib/PipelineV2/interfaces/messages';
|
||||||
import { Metadata } from '@grpc/grpc-js';
|
import { Metadata } from '@grpc/grpc-js';
|
||||||
import { ConnectorClientService } from '../connector/client.service';
|
import { ConnectorClientService } from '../connector/client.service';
|
||||||
@@ -27,8 +26,6 @@ import { TransformationsService } from '../transformations/transformations.servi
|
|||||||
import { getObjValueFromPath, objHasPath } from 'src/utils/ObjValueFromPath';
|
import { getObjValueFromPath, objHasPath } from 'src/utils/ObjValueFromPath';
|
||||||
import ErrorCodes from 'src/utils/errorCodes';
|
import ErrorCodes from 'src/utils/errorCodes';
|
||||||
import ErrorBuilder from 'src/utils/ErrorBuilder';
|
import ErrorBuilder from 'src/utils/ErrorBuilder';
|
||||||
import { PlatformApiService } from '../platform-api/platform-api.service';
|
|
||||||
import { Info } from '@dadosfera/protospack-v2/dist/lib/Input/interfaces/entities';
|
|
||||||
|
|
||||||
export class PipelinesService implements OnModuleInit {
|
export class PipelinesService implements OnModuleInit {
|
||||||
logger: DadosferaLogger;
|
logger: DadosferaLogger;
|
||||||
@@ -42,7 +39,6 @@ export class PipelinesService implements OnModuleInit {
|
|||||||
private readonly connectorService: ConnectorClientService,
|
private readonly connectorService: ConnectorClientService,
|
||||||
private readonly inputsService: InputsService,
|
private readonly inputsService: InputsService,
|
||||||
private readonly transformationsService: TransformationsService,
|
private readonly transformationsService: TransformationsService,
|
||||||
private readonly platformAPI: PlatformApiService
|
|
||||||
) {
|
) {
|
||||||
this.logger = dadosferaLogger.logger;
|
this.logger = dadosferaLogger.logger;
|
||||||
}
|
}
|
||||||
@@ -142,7 +138,6 @@ export class PipelinesService implements OnModuleInit {
|
|||||||
const findOnePipelineResponse = await lastValueFrom(
|
const findOnePipelineResponse = await lastValueFrom(
|
||||||
this.pipelineReadService.PipelineV2FindOne(data, metadata),
|
this.pipelineReadService.PipelineV2FindOne(data, metadata),
|
||||||
);
|
);
|
||||||
console.log('pipeline find one response', findOnePipelineResponse);
|
|
||||||
this.logger.info('Done');
|
this.logger.info('Done');
|
||||||
|
|
||||||
return findOnePipelineResponse;
|
return findOnePipelineResponse;
|
||||||
@@ -344,137 +339,4 @@ export class PipelinesService implements OnModuleInit {
|
|||||||
|
|
||||||
return res;
|
return res;
|
||||||
}
|
}
|
||||||
|
|
||||||
async updatePipelineInput(pipelineId: string, inputId: string, updateInputDTO: UpdatePlatformInputRequest, info: Info, user: RequestUser, metadata: Metadata) {
|
|
||||||
this.logger.info('InputClientService - Update');
|
|
||||||
|
|
||||||
this.logger.info('Update Dynamo Reference');
|
|
||||||
const pipelineIdFormat = pipelineId.split('-').join('_');
|
|
||||||
const updateInputResponse = await this.inputsService.update(
|
|
||||||
inputId,
|
|
||||||
updateInputDTO,
|
|
||||||
info
|
|
||||||
)
|
|
||||||
|
|
||||||
const requests = [];
|
|
||||||
|
|
||||||
this.logger.info('Dynamo Response', updateInputResponse);
|
|
||||||
|
|
||||||
for (const [index, table] of updateInputDTO.tables.entries()) {
|
|
||||||
const id = `${pipelineIdFormat}_${index}`;
|
|
||||||
this.logger.info('Updating input reference for table', table.name);
|
|
||||||
const body = {}
|
|
||||||
if (table.columns) {
|
|
||||||
body['column_include_list'] = table.columns;
|
|
||||||
}
|
|
||||||
|
|
||||||
if (table.reference_column) {
|
|
||||||
body['incremental_column_name'] = table.reference_column.name;
|
|
||||||
body['incremental_column_type'] = table.reference_column.type;
|
|
||||||
}
|
|
||||||
|
|
||||||
if (table.identifier_columns) {
|
|
||||||
body['primary_keys'] = table.identifier_columns;
|
|
||||||
}
|
|
||||||
|
|
||||||
this.logger.info('Request body', body);
|
|
||||||
const updateCollumns = this.platformAPI.proxy(
|
|
||||||
'PATCH',
|
|
||||||
`/jobs/${id}/input`,
|
|
||||||
user,
|
|
||||||
body
|
|
||||||
)
|
|
||||||
requests.push(updateCollumns);
|
|
||||||
|
|
||||||
if (table.memory) {
|
|
||||||
this.logger.info('Updating memory allocation for table', table.name);
|
|
||||||
const updateMemory = this.platformAPI.proxy(
|
|
||||||
'PUT',
|
|
||||||
`/jobs/${id}/memory`,
|
|
||||||
user,
|
|
||||||
{
|
|
||||||
amount: table.memory
|
|
||||||
}
|
|
||||||
)
|
|
||||||
requests.push(updateMemory);
|
|
||||||
}
|
|
||||||
|
|
||||||
if (table.type) {
|
|
||||||
const updateSyncMode = this.updatePipelineSyncMode(table, id, user);
|
|
||||||
requests.push(updateSyncMode);
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
this.logger.info('Create Platform Request for each JOB');
|
|
||||||
|
|
||||||
if (updateInputDTO.cron) {
|
|
||||||
const crnUpdatedRequest = new Promise(async (resolve, reject) => {
|
|
||||||
const response = await this.updatePipelineCron(updateInputDTO.cron, pipelineIdFormat, user);
|
|
||||||
|
|
||||||
if (response.error) {
|
|
||||||
this.logger.error('Error updating pipeline cron', response.error);
|
|
||||||
return reject(new ErrorBuilder(response.error));
|
|
||||||
}
|
|
||||||
this.logger.error('Pipeline cron updated successfully', response);
|
|
||||||
return resolve(response);
|
|
||||||
});
|
|
||||||
requests.push(crnUpdatedRequest);
|
|
||||||
}
|
|
||||||
|
|
||||||
this.logger.info('Executing all request for the platform api');
|
|
||||||
|
|
||||||
const results = await Promise.allSettled(requests);
|
|
||||||
this.logger.info('Platform api response', results);
|
|
||||||
|
|
||||||
return updateInputResponse;
|
|
||||||
|
|
||||||
}
|
|
||||||
|
|
||||||
private async updatePipelineSyncMode(table: UpdateTableDTO, pipelineId: string, user: RequestUser) {
|
|
||||||
const body = {
|
|
||||||
target_load_type: table.type
|
|
||||||
}
|
|
||||||
|
|
||||||
if (table.type === 'incremental_with_qualify') {
|
|
||||||
body['incremental_column_name'] = table.reference_column.name;
|
|
||||||
body['incremental_column_type'] = table.reference_column.type;
|
|
||||||
body['primary_keys'] = table.identifier_columns;
|
|
||||||
}
|
|
||||||
|
|
||||||
if (table.type === 'incremental') {
|
|
||||||
body['incremental_column_name'] = table.reference_column.name;
|
|
||||||
body['incremental_column_type'] = table.reference_column.type;
|
|
||||||
}
|
|
||||||
|
|
||||||
this.logger.info('Updating pipeline sync mode', {
|
|
||||||
pipelineId,
|
|
||||||
body
|
|
||||||
});
|
|
||||||
|
|
||||||
return this.platformAPI.proxy(
|
|
||||||
"POST",
|
|
||||||
`/jobs/jdbc/${pipelineId}/sync-mode`,
|
|
||||||
user,
|
|
||||||
body
|
|
||||||
)
|
|
||||||
}
|
|
||||||
|
|
||||||
private async updatePipelineCron(cron: string, pipelineId: string, user: RequestUser) {
|
|
||||||
try {
|
|
||||||
const response = await this.platformAPI.proxy(
|
|
||||||
'PATCH',
|
|
||||||
`/pipeline/${pipelineId}`,
|
|
||||||
user,
|
|
||||||
{
|
|
||||||
cron
|
|
||||||
}
|
|
||||||
);
|
|
||||||
|
|
||||||
return response
|
|
||||||
} catch (error) {
|
|
||||||
return {
|
|
||||||
error: error.message
|
|
||||||
}
|
|
||||||
}
|
|
||||||
}
|
|
||||||
}
|
}
|
||||||
|
|||||||
@@ -25,7 +25,6 @@ import { ElasticsearchService } from '../../services/elasticsearch';
|
|||||||
import { DynamoDBService, ReferenceColumn } from '../../services/dynamodb';
|
import { DynamoDBService, ReferenceColumn } from '../../services/dynamodb';
|
||||||
import { CustomersService } from '../customers/customers.service';
|
import { CustomersService } from '../customers/customers.service';
|
||||||
import { validateCronAgainstScheduleLimit } from '../../utils/cron-validation';
|
import { validateCronAgainstScheduleLimit } from '../../utils/cron-validation';
|
||||||
import { ValidationTableDTO } from './platform-api.dto';
|
|
||||||
|
|
||||||
|
|
||||||
type ValidateTablesDTO = {
|
type ValidateTablesDTO = {
|
||||||
@@ -729,10 +728,26 @@ export class PlatformApiController {
|
|||||||
);
|
);
|
||||||
}
|
}
|
||||||
|
|
||||||
// ==================== PIPELINE VALIDATION ====================
|
// ==================== Catalog ROUTES ====================
|
||||||
|
|
||||||
|
@Get('pipelines/catalog/tables')
|
||||||
|
@ApiOperation({ summary: 'Get all tables available' })
|
||||||
|
@RequireAllPermissions(PERMISSIONS_GROUPS.PIPELINE.permissions.GET)
|
||||||
|
async getAvailableTables(
|
||||||
|
@User() user: RequestUser,
|
||||||
|
@Query() query: Record<string, string>,
|
||||||
|
) {
|
||||||
|
return this.platformApiService.proxy(
|
||||||
|
'GET',
|
||||||
|
'/catalog/tables',
|
||||||
|
user,
|
||||||
|
undefined,
|
||||||
|
query,
|
||||||
|
);
|
||||||
|
}
|
||||||
|
|
||||||
@Get('pipelines/catalog/schemas')
|
@Get('pipelines/catalog/schemas')
|
||||||
@ApiOperation({ summary: 'Get available schemas' })
|
@ApiOperation({ summary: 'Get all schemas available' })
|
||||||
@RequireAllPermissions(PERMISSIONS_GROUPS.PIPELINE.permissions.GET)
|
@RequireAllPermissions(PERMISSIONS_GROUPS.PIPELINE.permissions.GET)
|
||||||
async getAvailableSchemas(
|
async getAvailableSchemas(
|
||||||
@User() user: RequestUser,
|
@User() user: RequestUser,
|
||||||
@@ -740,7 +755,7 @@ export class PlatformApiController {
|
|||||||
) {
|
) {
|
||||||
return this.platformApiService.proxy(
|
return this.platformApiService.proxy(
|
||||||
'GET',
|
'GET',
|
||||||
`/catalog/schemas`,
|
'/catalog/schemas',
|
||||||
user,
|
user,
|
||||||
undefined,
|
undefined,
|
||||||
query,
|
query,
|
||||||
@@ -748,18 +763,18 @@ export class PlatformApiController {
|
|||||||
}
|
}
|
||||||
|
|
||||||
@Post('pipelines/catalog/tables/validate')
|
@Post('pipelines/catalog/tables/validate')
|
||||||
@ApiOperation({ summary: 'Validate Table and Schema' })
|
@ApiOperation({ summary: 'Validate tables and schemas' })
|
||||||
@RequireAllPermissions(PERMISSIONS_GROUPS.PIPELINE.permissions.GET)
|
@RequireAllPermissions(PERMISSIONS_GROUPS.PIPELINE.permissions.UPDATE)
|
||||||
async validateTableAndSchema(
|
async validateTableAndSchema(
|
||||||
@Body() payload: ValidationTableDTO,
|
|
||||||
@User() user: RequestUser,
|
@User() user: RequestUser,
|
||||||
@Query() query: Record<string, string>,
|
@Query() query: Record<string, string>,
|
||||||
|
@Body() validateTablesDto: ValidateTablesDTO[]
|
||||||
) {
|
) {
|
||||||
return this.platformApiService.proxy(
|
return this.platformApiService.proxy(
|
||||||
'POST',
|
'POST',
|
||||||
`/catalog/tables/validate`,
|
'/catalog/tables/validate',
|
||||||
user,
|
user,
|
||||||
payload,
|
validateTablesDto,
|
||||||
query,
|
query,
|
||||||
);
|
);
|
||||||
}
|
}
|
||||||
|
|||||||
@@ -1,9 +0,0 @@
|
|||||||
import { ApiProperty } from "@nestjs/swagger";
|
|
||||||
|
|
||||||
export class ValidationTableDTO {
|
|
||||||
@ApiProperty()
|
|
||||||
tables: Array<{
|
|
||||||
table_name: string;
|
|
||||||
table_schema: string;
|
|
||||||
}>
|
|
||||||
}
|
|
||||||
Reference in New Issue
Block a user