‫Chirp 3: קולות באיכות HD

‫Cloud TTS Chirp 3: קולות באיכות HD מייצגים את הדור האחרון של טכנולוגיית המרת טקסט לדיבור. הקולות האלה מבוססים על הדור האחרון של מודלים גנרטיביים, והם נשמעים מציאותיים ומעוררים רגשות.

אפשרויות קול

יש מגוון אפשרויות קוליות, שלכל אחת מהן מאפיינים ייחודיים:

זמינות השפות

‫Chirp 3: קולות באיכות HD נתמכים בשפות הבאות, ופנג'אבי (הודו) וסינית (הונג קונג) זמינות בתצוגה מקדימה.

זמינות אזורית

‫Chirp 3: קולות באיכות HD זמינים באזורים הבאים: Google Cloud

פורמטים נתמכים של פלט

פורמט ברירת המחדל של התגובה הוא LINEAR16, אבל יש פורמטים נתמכים אחרים, כולל:

שימוש ב-Chirp 3: קולות באיכות HD

איך משתמשים ב-Chirp 3: HD voices כדי לבצע סינתזה של דיבור

ביצוע בקשה לסינתזת דיבור בסטרימינג

"""Synthesizes speech from a stream of input text."""
from google.cloud import texttospeech

client = texttospeech.TextToSpeechClient()

# See https://cloud.google.com/text-to-speech/docs/voices for all voices.
streaming_config = texttospeech.StreamingSynthesizeConfig(
    voice=texttospeech.VoiceSelectionParams(
        name="en-US-Chirp3-HD-Charon",
        language_code="en-US",
    )
)

# Set the config for your stream. The first request must contain your config, and then each subsequent request must contain text.
config_request = texttospeech.StreamingSynthesizeRequest(
    streaming_config=streaming_config
)

text_iterator = [
    "Hello there. ",
    "How are you ",
    "today? It's ",
    "such nice weather outside.",
]

# Request generator. Consider using Gemini or another LLM with output streaming as a generator.
def request_generator():
    yield config_request
    for text in text_iterator:
        yield texttospeech.StreamingSynthesizeRequest(
            input=texttospeech.StreamingSynthesisInput(text=text)
        )

streaming_responses = client.streaming_synthesize(request_generator())

for response in streaming_responses:
    print(f"Audio content size in bytes is: {len(response.audio_content)}")

ביצוע בקשה לסינתזת דיבור באינטרנט

def synthesize_text():
    """Synthesizes speech from the input string of text."""
    from google.cloud import texttospeech

    text = "Hello there."
    client = texttospeech.TextToSpeechClient()

    input_text = texttospeech.SynthesisInput(text=text)

    # Note: the voice can also be specified by name.
    # Names of voices can be retrieved with client.list_voices().
    voice = texttospeech.VoiceSelectionParams(
        language_code="en-US",
        name="en-US-Chirp3-HD-Charon",
    )

    audio_config = texttospeech.AudioConfig(
        audio_encoding=texttospeech.AudioEncoding.MP3
    )

    response = client.synthesize_speech(
        input=input_text,
        voice=voice,
        audio_config=audio_config,
    )

    # The response's audio_content is binary.
    with open("output.mp3", "wb") as out:
        out.write(response.audio_content)
        print('Audio content written to file "output.mp3"')

טיפים לכתיבת סקריפטים והנחיות

כדי ליצור אודיו מעניין שנשמע טבעי מתוך טקסט, צריך להבין את הניואנסים של השפה המדוברת ולתרגם אותם לפורמט של תסריט. הטיפים הבאים יעזרו לכם ליצור תסריטים שנשמעים אותנטיים ומשקפים את הטון שבחרתם.

הבנת המטרה: דיבור טבעי

המטרה העיקרית היא לגרום לקול המסונתז להישמע כמה שיותר קרוב לקול טבעי של בן אדם. הפעולות האלה כוללות:

• חיקוי של קצב דיבור טבעי: מהירות הדיבור של מישהו.
• יצירת רצף חלק: הקפדה על מעברים חלקים בין משפטים וביטויים.
• הוספת השהיות מציאותיות: הוספת השהיות להדגשה ולבהירות.
• הקלטת טון שיחה: יצירת אודיו שנשמע כמו שיחה אמיתית.

טכניקות מרכזיות לדיבור טבעי

• פיסוק לקצב ולזרימה

  • נקודות (.): מציינות עצירה מלאה והשהיה ארוכה יותר. כדאי להשתמש בהם כדי להפריד בין מחשבות שלמות וליצור גבולות ברורים בין משפטים.
  • פסיקים (,): מציינים הפסקות קצרות יותר בתוך משפטים. משתמשים בהן כדי להפריד בין פסוקיות, פריטים ברשימה או כדי ליצור הפסקות קצרות לנשימה.
  • סימני השמטה (…): מייצגים הפסקה ארוכה יותר ומכוונת יותר. הן יכולות לציין מחשבות מתמשכות, היסוס או הפסקה דרמטית.
    • דוגמה: "ואז... זה קרה".
  • מקפים (-): אפשר להשתמש בהם כדי לציין הפסקה קצרה או שינוי פתאומי בנושא.
    • דוגמה: "רציתי לומר – אבל לא הצלחתי".

• שילוב של הפסקות ושיבושי דיבור

  • השהיות אסטרטגיות: השתמשו בסימני פיסוק כמו פסיקים, מקפים או שלוש נקודות כדי ליצור השהיות במקומות שבהם דובר אנושי היה עוצר באופן טבעי כדי לקחת אוויר או להדגיש מילה.
  • שיבושי דיבור (ממממ, אההה): חלק מהמודלים של Cloud Text-to-Speech מטפלים בשיבושי דיבור באופן אוטומטי, אבל חשוב להבין את התפקיד שלהם. הם מוסיפים אותנטיות וגורמים לדיבור להישמע פחות רובוטי. גם אם המודל מוסיף אותן, מודעות למקומות שבהם הן מופיעות באופן טבעי בדיבור אנושי עוזרת להבין את הרצף הכולל של התסריט.

• ניסויים ואיטרציות

  • סינתוז מחדש: אל תהססו לבצע סינתוז מחדש של אותה הודעה עם אותו קול כמה פעמים. שינויים קלים בפיסוק, ברווחים או בבחירת המילים יכולים להשפיע באופן משמעותי על האודיו הסופי.
  • האזנה ביקורתית: חשוב לשים לב לקצב, לזרימה ולטון הכללי של האודיו המסונתז. כדאי לזהות אזורים שנשמעים לא טבעיים ולשנות את התסריט בהתאם.
  • וריאציות של קול: אם המערכת מאפשרת, כדאי לנסות להשתמש בקולות שונים כדי לראות איזה קול מתאים הכי טוב לתסריט ולטון שבחרתם.

• טיפים מעשיים לכתיבת סקריפטים

  • הקראה: לפני הסינתזה, קוראים את התסריט בקול רם. כך תוכלו לזהות ניסוחים מסורבלים, הפסקות לא טבעיות וקטעים שצריך לשנות.
  • כתיבה בסגנון שיחה: כדי שהתסריט יישמע טבעי יותר, כדאי להשתמש בקיצורים (למשל, "it's",‏ "we're") ובשפה לא רשמית.
  • התחשבות בהקשר: הטון והקצב של התסריט צריכים להתאים להקשר של האודיו. מצגת רשמית תדרוש גישה שונה משיחה לא רשמית.
  • פיצול משפטים מורכבים: מנועי TTS מתקשים להתמודד עם משפטים ארוכים ומסובכים. כדאי לפצל אותם למשפטים קצרים יותר וקלים יותר לניהול.

• שיפורים לדוגמה בסקריפט

  • התסריט המקורי (רובוטי): "המוצר זמין עכשיו. יש לנו תכונות חדשות. זה מאוד מרגש".

  • תסריט משופר (טבעי): "המוצר זמין עכשיו... והוספנו כמה תכונות חדשות ומלהיבות. זה, טוב, זה מאוד מרגש".

  • תסריט מקורי (רובוטי): "זוהי הודעת אישור אוטומטית. ההזמנה שלך עברה עיבוד. הפרטים הבאים מתייחסים לשהייה הקרובה שלך. מספר ההזמנה הוא 12345. השם של האורח שרשום הוא Anthony Vasquez. תאריך ההגעה הוא 14 במרץ. תאריך היציאה הוא 16 במרץ. סוג החדר הוא סוויטת דלוקס. מספר האורחים הוא אורח אחד. שעת הצ'ק-אין היא 15:00. שעת הצ'ק-אאוט היא 11:00. שימו לב: בהתאם למדיניות הביטולים, חובה להודיע על ביטול 48 שעות לפני ההגעה. אם לא תודיעו לנו על כך בפרק הזמן הזה, נחייב אתכם על שהייה של לילה אחד. השירותים הנוספים שכלולים בהזמנה הם: Wi-Fi בחינם, גישה למכון הכושר וארוחת בוקר בחינם. אם יש לך שאלות, אפשר לפנות ישירות למלון במספר 855-555-6689. תודה שבחרת לשהות במלון שלנו".

  • סקריפט משופר (טבעי): "שלום אנתוני וסקז! אנחנו שמחים לאשר את ההזמנה שלך אצלנו. הזמנת האירוח שלך מאושרת. תאריכי האירוח הם 14 במרץ עד 16 במרץ בסוויטה דלוקס היפה שלנו. המחיר הוא לאורח אחד. למקרה שתצטרך אותו, מספר האישור שלך הוא 12345.

    רק רצינו להזכיר ששעת הצ'ק אין היא 15:00 ושעת הצ'ק אאוט היא 11:00.

    עכשיו, חשוב לי להזכיר לך את מדיניות הביטולים שלנו… אם תצטרך לבטל, פשוט תודיע לנו על כך לפחות 48 שעות לפני ההגעה, בסדר? אחרת, נחייב אותך על שהייה של לילה אחד.

    כדי להפוך את השהייה שלכם לטובה עוד יותר, תקבלו Wi-Fi בחינם, גישה למרכז הכושר שלנו וארוחת בוקר טעימה בחינם בכל בוקר!

    אם יש לך שאלות, אפשר להתקשר אלינו למספר 855-555-6689. נשמח לראות אותך במלון!"

  • הסבר על השינויים:

    • הנקודות (…‎) יוצרות השהיה להדגשה.
    • השימוש במילה 'we've' במקום 'we have' יוצר טון יותר קליל ושיחתי.
    • "It's, well, it's very exciting" adds a small amount of disfluency, and emphasis.
    • הוספת תזכורת ידידותית כמו "בסדר?" מרככת את הטון.

  אם תפעלו לפי ההנחיות האלה, תוכלו ליצור תסריטים להמרת טקסט לאודיו שישמעו טבעיים, מעניינים ודומים לקול אנושי. חשוב לזכור שתרגול וניסויים הם המפתח לשליטה במיומנות הזו.

‫Chirp 3: תמיכה ב-HD SSML

תגי Speech Synthesis Markup Language (SSML) מאפשרים לכם לקבוע בצורה מדויקת יותר איך טקסט מומר לדיבור. באמצעות SSML, אתם יכולים לציין הגייה, פסקאות, לשלוט במבנה הכללי של טקסט הקלט ולהשפיע עליו כדי ליצור אודיו שנשמע טבעי יותר.

רכיבי SSML נתמכים

התגים הבאים של SSML נתמכים בבקשות סינכרוניות עם קולות באיכות HD ב-Chirp 3: המערכת תתעלם מתגים שלא מופיעים ברשימה הזו במהלך תהליך הסינתזה. שימו לב: בשלב הזה אין תמיכה בתגי SSML בבקשות לסטרימינג.

• ‫<speak>: רכיב הבסיס של טקסט ה-SSML.
• ‫<say-as>: מאפשר להוסיף רמזים לגבי אופן ההגייה של הטקסט שמופיע בתוכו. שימו לב: אין תמיכה ב-interpret-as="expletive" או ב-interpret-as="bleep".
• ‫<p>: מייצג פסקה.
• ‫<s>: מייצג משפט.
• ‫<phoneme>: מספק הגייה פונטית של הטקסט שמופיע בתוך התג.
• ‫<sub>: הקראה של ערך הכינוי במקום הטקסט שכלול ברכיב.
• ‫<break>: קובע את ההשהיה בין המילים.
• ‫<audio>: הוספה של קובץ אודיו מוקלט מכתובת URL.
• ‫<prosody>: משנה את גובה הצליל, קצב הדיבור ועוצמת הקול של הטקסט שמופיע בתוך התג.
• ‫<voice>: בקשה להשתמש בקול אחר לטקסט שמופיע בתוך התג.

דוגמה ל-SynthesizeSpeechRequest באמצעות SSML:

{
  "audio_config": {
    "audio_encoding": "LINEAR16",
  },
  "input": {
    "ssml": "<speak>Here are <say-as interpret-as=\"characters\">SSML</say-as> samples. I can also substitute phrases, like the <sub alias=\"World Wide Web Consortium\">W3C</sub>. Hi,<phoneme alphabet=\"ipa\" ph=\"ˌmænɪˈtoʊbə\">manitoba<phoneme>! Finally, I can speak a paragraph with two sentences. <p><s>This is sentence one.</s><s>This is sentence two.</s></p></speak>",
  },
  "voice": {
    "language_code": "en-US",
    "name": "en-us-Chirp3-HD-Leda",
  }
}

‫Chirp 3: שליטה באמצעות הקול באיכות HD

תכונות השליטה הקולית מיועדות במיוחד לסינתזת קול באיכות HD. אתם יכולים לנהל את השליטה בקצב, את השליטה בהשהיה ואת ההגייה המותאמת אישית דרך Chirp 3: HD voice control options.

בקרת קצב

אפשר לשנות את המהירות של האודיו שנוצר באמצעות הפרמטר pace. הפרמטר pace מאפשר להאט או להאיץ את הדיבור, עם ערכים שנעים בין 0.25x (איטי מאוד) ל-2x (מהיר מאוד). כדי להגדיר את הקצב, משתמשים בפרמטר speaking_rate בבקשה. צריך לבחור ערך בין 0.25 ל-2.0. ערכים מתחת ל-1.0 מאטים את הדיבור, וערכים מעל 1.0 מאיצים אותו. ערך של 1.0 מציין קצב לא מותאם.

דוגמה ל-SynthesizeSpeechRequest עם שליטה בקצב:

{
  "audio_config": {
    "audio_encoding": "LINEAR16",
    "speaking_rate": 2.0,
  },
  "input": {
    "text": "Once upon a time, there was a cute cat. He was so cute that he got lots of treats.",
  },
  "voice": {
    "language_code": "en-US",
    "name": "en-us-Chirp3-HD-Leda",
  }
}

דוגמה ל-StreamingSynthesizeConfig עם שליטה בקצב:

{
  "streaming_audio_config": {
    "audio_encoding": "LINEAR16",
    "speaking_rate": 2.0,
  },
  "voice": {
    "language_code": "en-US",
    "name": "en-us-Chirp3-HD-Leda",
  }
}

דוגמאות אודיו של בקרת קצב:

השהיית השליטה

אתם יכולים להוסיף הפסקות לדיבור שנוצר על ידי AI על ידי הטמעת תגים מיוחדים ישירות בטקסט באמצעות שדה להזנת קלט markup. חשוב לדעת: תגי השהיה יפעלו רק בשדה markup ולא בשדה text.

התגים האלה מסמנים ל-AI ליצור הפסקות, אבל האורך המדויק של ההפסקות האלה לא קבוע. ה-AI מתאים את משך הזמן בהתאם להקשר, בדומה לדיבור טבעי של בני אדם שמשתנה בהתאם לדובר, למיקום ולמבנה המשפט. תגי ההשהיה הזמינים הם [pause short],‏ [pause long] ו-[pause]. שיטות חלופיות ליצירת הפסקות בלי להשתמש בתגי עיצוב מפורטות בהנחיות שלנו לכתיבת הנחיות.

יכול להיות שמודל ה-AI יתעלם מדי פעם מתגי ההשהיה, במיוחד אם הם מוצבים במיקומים לא טבעיים בטקסט. אפשר לשלב כמה תגי השהיה כדי ליצור הפסקות ארוכות יותר, אבל שימוש מוגזם עלול לגרום לבעיות.

דוגמה ל-SynthesizeSpeechRequest עם בקרת השהיה:

{
  "audio_config": {
    "audio_encoding": "LINEAR16",
  },
  "input": {
    "markup": "Let me take a look, [pause long] yes, I see it.",
  },
  "voice": {
    "language_code": "en-US",
    "name": "en-us-Chirp3-HD-Leda",
  }
}

דוגמה ל-StreamingSynthesisInput עם בקרת השהיה:

{
  "markup": "Let me take a look, [pause long] yes, I see it.",
}

דוגמאות של אודיו להשהיית השליטה:

הגייה מותאמת אישית

אתם יכולים לציין הגייה מותאמת אישית באמצעות ייצוגים פונטיים של מילים בטקסט הקלט ב-IPA או ב-X-SAMPA. חשוב להשתמש בפונמות שמתאימות לשפה כדי שההצגה תהיה מדויקת. מידע נוסף על החלפת פונמה זמין במסמכי התיעוד בנושא פונמות.

דוגמה ל-SynthesizeSpeechRequest באמצעות הגדרות הגייה מותאמות אישית:

{
  "audio_config": {
    "audio_encoding": "LINEAR16",
  },
  "input": {
    "text": "There is a dog in the boat",
    "custom_pronunciations": {
      "phrase": "dog",
      "phonetic_encoding": "PHONETIC_ENCODING_X_SAMPA",
      "pronunciation": "\"k{t",
    }
  },
  "voice": {
    "language_code": "en-US",
    "name": "en-us-Chirp3-HD-Leda",
  }
}

דוגמה ל-StreamingSynthesizeConfig עם הגדרות הגייה מותאמות אישית:

{
  "streaming_audio_config": {
    "audio_encoding": "LINEAR16",
  },
  "voice": {
    "language_code": "en-US",
    "name": "en-us-Chirp3-HD-Leda",
  }
  "custom_pronunciations": {
    "phrase": "dog",
    "phonetic_encoding": "PHONETIC_ENCODING_X_SAMPA",
    "pronunciation": "\"k{t",
  }
}

דוגמאות אודיו של הגייה בהתאמה אישית:

אפשר לעצב את הביטויים שהוחלפו בכל דרך, כולל שימוש בסמלים. לדוגמה, במקרה של דו-משמעות פוטנציאלית בהתאמת ביטויים על סמך הקשר (שכיח בשפות כמו סינית ויפנית) או במשפטים שבהם מילה אחת עשויה להיות מבוטאת בדרכים שונות, אפשר לעצב את הביטוי כדי להסיר את הדו-משמעות. לדוגמה, כדי למנוע החלפה לא מכוונת של מקרים אחרים של המילה read בקלט, אפשר לעצב את הביטוי "read" כ-"read1", כ-"[read]" או כ-"(read)" גם בטקסט הקלט וגם בביטוי שהוחלף.

בדוגמה הזו מוחלות הגיות מותאמות אישית על משפט שבו המילה read מבוטאת בשתי דרכים שונות:

{
  "audio_config": {
    "audio_encoding": "LINEAR16",
  },
  "input": {
    "text": "I read1 a book, and I will now read2 it to you.",
    "custom_pronunciations": {
      "phrase": "read1",
      "phonetic_encoding": "PHONETIC_ENCODING_IPA",
      "pronunciation": "rɛd",
    }
    "custom_pronunciations": {
      "phrase": "read2",
      "phonetic_encoding": "PHONETIC_ENCODING_IPA",
      "pronunciation": "riːd",
    }
  },
  "voice": {
    "language_code": "en-US",
    "name": "en-us-Chirp3-HD-Leda",
  }
}

בנוסף, אפשר להשתמש בהגייה מותאמת אישית עם קלט של תגי עיצוב, וכך להשתמש גם בתגי השהיה:

{
  "audio_config": {
    "audio_encoding": "LINEAR16",
  },
  "input": {
    "markup": "Did you [pause long] read this book?",
    "custom_pronunciations": {
      "phrase": "read",
      "phonetic_encoding": "PHONETIC_ENCODING_IPA",
      "pronunciation": "riːd",
    }
  },
  "voice": {
    "language_code": "en-US",
    "name": "en-us-Chirp3-HD-Leda",
  }
}

השפות שבהן אפשר להשתמש בפקודות קוליות

• התכונה 'שליטה בקצב' זמינה בכל האזורים.

• האפשרות להשהיה זמינה בכל האזורים, חוץ מהאזורים הבאים: bg-bg, ‏ cs-cz, ‏ el-gr, ‏ et-ee, ‏ he-il, ‏ hr-hr, ‏ hu-hu, ‏ lt-lt, ‏ lv-lv, ‏ pa-in, ‏ ro-ro, ‏ sk-sk, ‏ sl-si, ‏ sr-rs ו-yue-hk.

• התכונה 'הגייה בהתאמה אישית' זמינה בכל הלוקאלים, למעט: bg-bg, ‏ bn-in, ‏ cs-cz, ‏ da-dk, ‏ el-gr, ‏ et-ee, ‏ fi-fi, ‏ gu-in, ‏ he-il, ‏ hr-hr, ‏ hu-hu, ‏ lt-lt, ‏ lv-lv, ‏ nb-no, ‏ nl-be, ‏ pa-in, ‏ ro-ro, ‏ sk-sk, ‏ sl-si, ‏ sr-rs, ‏ sv-se, ‏ sw-ke, ‏ th-th, ‏ uk-ua, ‏ ur-in, ‏ vi-vn ו-yue-hk.

שאלות נפוצות

שאלות נפוצות ותשובות:

איך שולטים בקצב ובזרימה כדי לשפר את פלט הדיבור?

כדי לשפר את פלט הדיבור, אתם יכולים להיעזר בהנחיות שלנו ליצירת הנחיות ולשפר את הנחיית הטקסט.

איך ניגשים לקולות בשפות נתמכות?

לשמות של קולות יש פורמט ספציפי, שמאפשר להשתמש בהם בשפות נתמכות על ידי ציון הקול באופן ייחודי. הפורמט הוא \<locale\>-\<model\>-\<voice\>. לדוגמה, כדי להשתמש בקול של קורה לאנגלית (ארה"ב) באמצעות מודל הקולות באיכות HD של Chirp 3, צריך לציין אותו כ-en-US-Chirp3-HD-Kore.