Cada modelo tem sua peculiaridade. Mas o formato é um pouco parecido entre eles (json)... Olha a doc do Gemini (Google) https://cloud.google.com/vertex-ai/generative-ai/docs/models/gemini-supervised-tuning-prepare?hl=pt-br

{
  "systemInstruction": {
    "role": string,
    "parts": [
      {
        "text": string
      }
    ]
  },
  "contents": [
    {
      "role": string,
      "parts": [
        {
          // Union field data can be only one of the following:
          "text": string,
          "fileData": {
            "mimeType": string,
            "fileUri": string
          }
        }
      ]
    }
  ]
}