stt přepis hovoru na text

[kurandin]

Dobrý den,
dokáže Odorik přepdsat hovor nebo nahrávku hovoru do textu?
Hodilo by se pro analýzu prace zákaznické podory

[xsouku04]

Zatím nic takového nemáme, ale v plánu to je. Hlavně pro přepis hlasových vzkazů od zákazníků do textové podoby. V tomto odvětví se tak nevyznám, tedy nevím, co doporučit, aby to bylo levné/zdarma a kvalitní.

[kurandin]

Řeším hlavně zákaznickou podporu pro mezinárodní e-shopy.

Bylo by super přepsat nahrávku a zároveň přeložit a následně nabídnout odpověď a pak ji zátky zákazníkovi zavolat.

Např máme letité zákazníky z Polska co si objednávají věci na šití a pletení. Oni netuší jak se používá email ani SMS. Volají nám často a vypráví nám o všem možném. Voice bot jsem nenasel.
Představa je taková, český administrátor by dokázal vytvořit z nahrávky objednávku a pak zavolat, že se mají těšit na kurýra na další den a připravit přesnou částku...

Napadá mě strašně moc scénářů:
Připomínat neuhrazené platby a nevyzvednuté zásilky.
Postavit automat na sběr recenzí a zpětně vazby.

Jaké nástroje byste doporučili?

[xsouku04]

Já jsem dost skeptickej k tomu, jestli by tohle mohlo fungovat úplně automatizovaně.

Hlasové roboty dělá například https://www.vocalls.ai/, který používá i nějaká čísla od nás, ale je to drahá záležitost, takže si to mohou dovolit jen velké firmy a navíc podle mého názoru to nefunguje úplně dobře, pokud člověk chce něco méně obvyklého.

Přepis mluveného slova do textu může být dobrý třeba kvůli vyhledávání, nebo abych měl představu, o čem ta nahrávka zhruba je, bez toho, abych ji musel celou poslouchat. Takže to může usnadnit orientaci a práci. Ale abych se na to mohl úplně spolehnout, to bych si netroufl.

[kurandin]

Mozna to bude umět https://elevenlabs.io/

[xsouku04]

Mozna to bude umět https://elevenlabs.io/

Nevíte, jestli to umí obstojně češtinu? Orientujete se v tom, jaká služba je nejlepší?

[kurandin]

Nejlépe český umí pravděpodobně https://vojs.ai/

[xsouku04]

Nejlépe český umí pravděpodobně https://vojs.ai/

Pěkné hlasy, ale já hledám nyní opak. Tedy aby se z nahrávky vytvořil text.

[kurandin]

Tak na to je např
https://openai.com/index/whisper/
Nebo
Cesky.ai

Ps. Zobrazuje se mi a nevím jak to odstranit
Vaše IP 185.156.120.210 byla blokována, protože je obsažena v blacklistu. Pro podrobnosti se podívejte na http://www.spamhaus.org/query/bl?ip=185.156.120.210.

[kortas]

něco takového mě taky napadlo. Ideálně mít vlastního "ai operátora", který má naučený konkrétní kontext. Respektive znát konkrétní produtky nebo problémy které obvykle řeší zákazníci, když volají...

Custom Chatgpt, whisper, openAI API - když se toto dobře skloubí, tak to musí fungovat skvěle už dnes. Když vidím, jak reaguje aplikace ChatGPT a její hlasové ovládání...

Tj. mohl by zavolat zákazník, pokecá minutu dvě s automatem a když není spokojen, nahraje vzkaz, který v podobě textu uloží do nějakého "incident management" systému, kde ho pak už následně prověří člověk a rozhodne jestli předat technikovi, obchodníkovi nebo je schopný to sám vyřídit třeba zavoláním zpět.

princip:
1)
audio stream --> OpenAI Whisper

2)
API požadavek:

Kód: Vybrat vše

POST https://api.openai.com/v1/chat/completions
{
  "model": "gpt-4",
  "messages": [
    {"role": "system", "content": "Jsi asistent zákaznické podpory Odorik..."},
    {"role": "user", "content": "Nemohu se přihlásit na účet..."}
  ]
}

3)
odpověď: Zkuste si prosím obnovit heslo na stránce…

4)
Google TTS, ElevenLabs, Amazon Polly.
→ Dostaneš .mp3 nebo .wav → přehraješ volajícímu zpět přes SIP
(chatgpt používá vlastní TTS od OpenAI – představený koncem 2023 jako "Voice Engine")

Praxe:
Zákazník: Dobrý den, nejde mi se přihlásit do účtu.
AI operátor (GPT): Dobrý den, to mě mrzí. Používáte přihlašování přes číslo nebo e-mail? Zkusíme to spolu vyřešit.
Zákazník: Přes číslo.
AI operátor: Dobře, zkuste prosím kliknout na „Zapomněl jsem heslo“ a zadat svoje telefonní číslo. Přišel vám SMS kód?
Zákazník: Nepřišel.
AI operátor: Chápu. V tom případě vám doporučuji zadat požadavek naší podpoře. Chcete zanechat vzkaz a my se vám ozveme?


Pak se vytvoří incident ticket, např.:
typ: technická podpora
shrnutí: Problém s přihlášením
vzkaz: "Nepřišel mi SMS kód při obnově hesla"
případně přiložený hlasový záznam

Proč je to výhodné:
Odfiltruješ běžné dotazy (heslo, faktura, nastavení)
Zákazník nemusí čekat na operátora
Incidenty jsou předzpracované – operátor má přepis a kontext
Možnost 24/7 podpory (AI nikdy nespí )

EDIT: s OpenAI API jsem si trochu hrál, tady by šlo asi hlavně o to vyřešit výměnu těch zvukových souborů (nevím jestli odorik API něco takového už umí..). Tj. zákazník udělá pauzu - v tu chvíli se odesílá zvuk, vrácí zpět odpověď a přehrává zákazníkovi. Nevím, jak přesně to řeší ChatGPT aplikace - dost pravděpodobně to musí nějak streamovat už během povídání, protože ta odezva je tam fakt skvělá. Ale i za cenu odezvy pár sekund by to možná bylo použitelné...