Puoi usare un web crawler per importare contenuti nell’agente agenti AI. Ciò offre al tuo agenti AI la possibilità di creare risposte generate AI alle domande dei clienti in base alle informazioni in siti web esterni.
Questo articolo aiuta a risolvere i problemi che si verificano quando si usa un web crawler per importare contenuti per un agenti AI e tratta i seguenti argomenti:
Scansione non riuscita perché scaduta
Se una scansione web non riesce dopo diverse ore, in genere si verifica un timeout. Per impostazione predefinita, le scansioni sono limitate a cinque ore. Se l’errore si è verificato cinque ore dopo l’inizio dell’importazione, è probabile che si tratti di un timeout.
In tal caso, prova questi passaggi per la soluzione:
- Se il sito web non si basa su JavaScript, imposta Tipo di crawler su Client HTTP non elaborato (Cheerio), un crawler molto più veloce, e riprova
- Se sai che il sito include contenuti che non ti servono, consulta La scansione include pagine non necessarie
- Suddividi la scansione in due o più scansioni separate (usando le impostazioni Includi URL o Escludi URL ) ciascuna delle quali analizza solo parti del sito web
Nella scansione mancano pagine
Se nella scansione mancano interi URL o articoli, aumenta l’ambito della scansione usando URL di inizio e Includi URL . Se sei sicuro che le impostazioni siano corrette ma ti mancano ancora articoli, controlla il numero di pagine scansionate nel riepilogo dell’importazione . Se si tratta del numero massimo predefinito di pagine da scansionare (4.000), prova ad aumentare questa impostazione.
La scansione include pagine non necessarie
Se la scansione include più pagine o articoli del necessario (ad esempio, contenuti ripetitivi o non applicabili, come pagine in inglese quando è necessario solo lo spagnolo, o contenuti che l' agenti AI non ha bisogno di rispondere alle domande dei clienti), usa l'impostazione Escludi URL .
Una cosa da evitare è escludere accidentalmente alcune sottopagine. Gli URL di inizio definiscono dove inizia il crawler. Quindi segue tutti i link da quella pagina e dalle pagine successive, fino alla profondità massima di scansione specificata. Tuttavia, se escludi le pagine, le pagine collegate solo da pagine escluse non vengono mai sottoposte a scansione, a meno che non siano specificate separatamente come URL di inizio .
Vedi il diagramma seguente come esempio. Ogni cerchio rappresenta una pagina e ogni freccia rappresenta un link da quella pagina. Se la scansione inizia dalla pagina in alto (ad esempio, è l'unico URL di inizio ) e la pagina viola è esclusa, si verifica quanto segue:
- Impossibile eseguire la scansione della pagina rossa
- Tutte le pagine gialle vengono sottoposte a scansione
- Anche la pagina verde viene sottoposta a scansione, anche se è collegata alla pagina viola esclusa, perché è anche collegata a una delle pagine gialle incluse
La scansione include le pagine giuste ma il contenuto sbagliato
Se la scansione restituisce le pagine corrette, ma il contenuto errato all’interno di tali pagine, le impostazioni avanzate del crawler includono strumenti per trovare e includere o escludere tali contenuti. Devi trovare il selettore CSS corretto per l’elemento da includere o escludere e inserirlo nell’impostazione corretta. A tale scopo, è utile capire cos'è un selettore CSS e come trovarlo.
Questa sezione include i seguenti argomenti:
Informazioni e ricerca dei selettori CSS
Questa sezione presenta i selettori CSS e guida alla ricerca di quello corretto. Se hai già familiarità con queste informazioni, vai alle sezioni per la risoluzione dei problemi seguenti.
Questa sezione include i seguenti argomenti:
Informazioni sui selettori CSS
I selettori CSS sono modelli usati per selezionare e indirizzare elementi HTML specifici in una pagina web. Consentono di trovare ed estrarre esattamente i dati di cui hai bisogno da pagine web complesse.
Durante la scansione e lo scraping del web, i selettori CSS aiutano a estrarre i dati individuando le parti esatte della struttura di una pagina, come<div> ,<span> o elementi con determinate classi e ID. Ad esempio, il selettore.product-title indirizza tutti gli elementi con la classe"product-title" . Il simbolo cancelletto (#) viene usato per selezionare gli elementi in base al loro ID univoco. Ad esempio,#main-header seleziona l’elemento conid="main-header" .
Ricerca di un selettore CSS
Innanzitutto, devi trovare il selettore CSS che vuoi usare. Le istruzioni seguenti presuppongono che tu stia usando il browser web Chrome. Tuttavia, i passaggi sono probabilmente simili per altri browser.
Per trovare un selettore CSS:
- Individua il testo o l’elemento selezionabile nella pagina web a cui vuoi rivolgerti
-
Fai clic con il pulsante destro del mouse sull’elemento e seleziona Ispeziona
Si apre il pannello Chrome DevTools e la parte di codice corrispondente viene evidenziata.
-
Nel pannello DevTools, fai clic con il pulsante destro del mouse sul codice evidenziato e seleziona Copia> Copia selettore
Ora il selettore CSS è stato copiato negli appunti.
Verifica di un selettore CSS
Dopo aver trovato il selettore CSS, è consigliabile verificarlo.
Per verificare il selettore CSS:
-
Con DevTools ancora aperto, premi Ctrl+F (su Windows o Linux) o Cmd+F (su Mac)
Questa operazione attiva una barra di ricerca all’interno della scheda Elementi del pannello DevTools.
- Incolla il selettore CSS appena copiato in questa casella di ricerca
- Verifica che gli elementi evidenziati nel codice HTML e nella pagina stessa (spesso con un contorno colorato) corrispondano a quanto previsto
Se è evidenziato solo l’elemento desiderato, il selettore è accurato. Se sono evidenziati troppi elementi o sono sbagliati, prova con un elemento principale o modifica la selezione.
Facoltativamente, puoi testare diversi selettori. A volte, selettori più brevi o più specifici funzionano meglio. Puoi fare clic sugli elementi principali o secondari nel codice HTML per visualizzarne le classi o gli ID CSS e provare a copiare anche quei selettori.
Le due sezioni successive illustrano come usare questi selettori per scegliere come target i contenuti di cui vuoi o non vuoi eseguire la scansione.
La scansione sta saltando il contenuto della pagina
Se la tua scansione contiene le pagine giuste, ma non contengono contenuti in tali pagine, le seguenti impostazioni avanzate del crawler possono aiutarti:
- Trasformatore HTML Il crawler inizialmente estrae tutto il codice HTML da una pagina, quindi applica un trasformatore HTML per rimuovere i contenuti estranei. A volte il trasformatore può spingersi troppo oltre e rimuovere i contenuti che vuoi effettivamente conservare. Pertanto, la prima cosa da provare quando mancano dei contenuti è impostare questa impostazione su Nessuno in modo che nessun contenuto venga rimosso, quindi controllare il riepilogo dell’importazione
- Mantieni elementi HTML Mantieni solo elementi HTML specifici fornendo uno o più selettori CSS. Tutti gli altri contenuti vengono ignorati, consentendoti di concentrarti sulle informazioni pertinenti
-
Espandi elementi selezionabili Usa questa opzione per acquisire il contenuto di fisarmoniche e menu a discesa. L’impostazione predefinita copre le pagine web che seguono le prassi di sviluppo web standard e definiscono i menu a discesa come
aria=false. Ciò significa che, se il crawler rileva un elemento di questo tipo, fa clic per aprirlo. Inserisci un selettore CSS per qualsiasi elemento su cui fare clic, come pulsanti o link che espandono il contenuto nascosto. Questo aiuta il crawler ad acquisire tutto il testo. Assicurati che il selettore sia valido - Rendi permanenti i contenitori Se il contenuto espandibile si chiude quando si fa clic su un altro elemento, puoi usare questa impostazione per garantire che tali elementi rimangano aperti dopo aver fatto clic su di essi. Quindi, di nuovo, inserisci un selettore CSS per qualsiasi elemento su cui fare clic e rimani aperto anche dopo aver fatto clic su altri elementi, come pulsanti o link che espandono il contenuto nascosto
-
Attendi selettore e Attesa graduale per selettore : Se la pagina ha contenuto dinamico che viene visualizzato solo dopo un certo periodo di tempo, il crawler potrebbe non vederlo, a meno che non gli venga chiesto di attendere. Esistono due modi per indicare al crawler di attendere con un selettore CSS.
- L’impostazione Attendi contenuto dinamico determina la quantità di tempo di attesa del crawler. Se il selettore non viene trovato prima del limite di tempo, viene considerata una richiesta non riuscita e riprova un paio di volte
- Il selettore Attesa temporanea per determina il tempo di attesa del crawler, ma garantisce anche che il crawler continui a eseguire la scansione della pagina se il selettore non viene trovato, impedendo errori
- Queste impostazioni non funzionano con il tipo di crawler client HTTP non elaborato (Cheerio) perché non ottiene alcun contenuto JavaScript
- Altezza massima di scorrimento : Alcune pagine sono così lunghe che il crawler si arrende prima della fine. Se i contenuti mancano al di sotto di un certo punto, puoi usare questa impostazione per forzare lo scorrimento del crawler di un numero specifico di pixel
La scansione restituisce troppi contenuti della pagina o disordinati
Se la tua scansione contiene le pagine giuste, ma in quelle pagine sono presenti contenuti extra o non necessari (ad esempio, testo di marketing, navigazione, intestazioni o piè di pagina o persino cookie) che sospetti interferiscano con le risposte dell’agente AI , usa il seguente crawler avanzato impostazioni per escludere quel contenuto:
- Mantieni elementi HTML Mantieni solo elementi HTML specifici fornendo uno o più selettori CSS. Tutti gli altri contenuti vengono ignorati, consentendoti di concentrarti sulle informazioni pertinenti. Per molti centri assistenza, questo è l’approccio più semplice per garantire che il contenuto degli articoli principali sia mirato, evitando la navigazione, articoli correlati e banner e intestazioni non necessari
- Rimuovi elementi HTML Usa i selettori CSS per specificare quali elementi HTML rimuovere dalla scansione. Questo è il modo più preciso ed efficace per escludere contenuti noti specifici
Articoli correlati:
- Prassi ottimali per l’uso di un web crawler per importare contenuti per gli agenti AI
- Gestione delle origini knowledge importate per gli agenti AI
Avvertenza sulla traduzione: questo articolo è stato tradotto usando un software di traduzione automatizzata per fornire una comprensione di base del contenuto. È stato fatto tutto il possibile per fornire una traduzione accurata, tuttavia Zendesk non garantisce l'accuratezza della traduzione.
Per qualsiasi dubbio sull'accuratezza delle informazioni contenute nell'articolo tradotto, fai riferimento alla versione inglese dell'articolo come versione ufficiale.