{"id":22139,"date":"2026-11-13T08:00:00","date_gmt":"2026-11-13T07:00:00","guid":{"rendered":"https:\/\/webhosting.de\/?p=22139"},"modified":"2026-11-05T08:25:52","modified_gmt":"2026-11-05T07:25:52","slug":"comparacao-de-servidores-de-inferencia-de-codigo-aberto","status":"publish","type":"post","link":"https:\/\/webhosting.de\/pt\/inference-server-open-source-vergleich\/","title":{"rendered":"Compara\u00e7\u00e3o de servidores de infer\u00eancia: solu\u00e7\u00f5es de c\u00f3digo aberto para modelos de IA"},"content":{"rendered":"<div class=\"wh-article\" data-wh-layout=\"2.1.2\" style=\"width:100%;max-width:820px;margin:0 auto;color:#263b4b;font-family:inherit;font-size:18px;line-height:1.8;text-align:start;overflow-wrap:break-word;box-sizing:border-box\"><p class=\"wh-lead\" style=\"font-size:20px;line-height:1.7;color:#233746;margin:0 0 1.1em\">Um servidor de infer\u00eancia disponibiliza um modelo de IA atrav\u00e9s de uma API. A escolha da solu\u00e7\u00e3o de c\u00f3digo aberto mais adequada depende do formato do modelo, do hardware, do volume de pedidos e do objetivo operacional. <strong style=\"font-weight:700;color:inherit\">llama.cpp<\/strong> \u00e9 um ponto de refer\u00eancia para modelos GGUF locais; o vLLM e o SGLang s\u00e3o candidatos para a compara\u00e7\u00e3o de servi\u00e7os generativos. O Triton centra-se em plataformas com v\u00e1rios tipos de modelos e back-ends. As instala\u00e7\u00f5es TGI existentes continuam a ser relevantes, mesmo que o projeto se encontre em modo de manuten\u00e7\u00e3o. Uma decis\u00e3o fundamentada requer a verifica\u00e7\u00e3o da vers\u00e3o do modelo e do servidor em quest\u00e3o.   <\/p>\n<nav class=\"wh-toc\" aria-label=\"Conte\u00fado deste artigo\" style=\"display:block;margin:28px 0 38px;padding:22px;border:1px solid #d9e4e8;border-radius:14px;background:#f4f8f8\"><p class=\"wh-toc-title\" style=\"font-size:13px;font-weight:700;letter-spacing:.08em;color:#49656b;margin:0 0 14px\">Ir diretamente para a sec\u00e7\u00e3o<\/p><div class=\"wh-toc-grid\" style=\"display:grid;grid-template-columns:repeat(auto-fit,minmax(min(100%,280px),1fr));gap:10px\"><div class=\"wh-toc-item\" style=\"display:block;min-width:0;margin:0;padding:0\"><a class=\"wh-toc-link\" href=\"#inference-grundlagen\" style=\"display:block;height:100%;padding:12px 15px;border:1px solid #dce6e8;border-radius:9px;background:#fff;color:#18575b;font-size:14px;line-height:1.5;font-weight:600;text-decoration:none;box-sizing:border-box\">O que um servidor de infer\u00eancia faz<\/a><\/div>\n<div class=\"wh-toc-item\" style=\"display:block;min-width:0;margin:0;padding:0\"><a class=\"wh-toc-link\" href=\"#anforderungen\" style=\"display:block;height:100%;padding:12px 15px;border:1px solid #dce6e8;border-radius:9px;background:#fff;color:#18575b;font-size:14px;line-height:1.5;font-weight:600;text-decoration:none;box-sizing:border-box\">Verificar o modelo, o hardware e os direitos<\/a><\/div>\n<div class=\"wh-toc-item\" style=\"display:block;min-width:0;margin:0;padding:0\"><a class=\"wh-toc-link\" href=\"#llm-arbeitslast\" style=\"display:block;height:100%;padding:12px 15px;border:1px solid #dce6e8;border-radius:9px;background:#fff;color:#18575b;font-size:14px;line-height:1.5;font-weight:600;text-decoration:none;box-sizing:border-box\">Como as consultas a modelos LLM consomem recursos<\/a><\/div>\n<div class=\"wh-toc-item\" style=\"display:block;min-width:0;margin:0;padding:0\"><a class=\"wh-toc-link\" href=\"#loesungsvergleich\" style=\"display:block;height:100%;padding:12px 15px;border:1px solid #dce6e8;border-radius:9px;background:#fff;color:#18575b;font-size:14px;line-height:1.5;font-weight:600;text-decoration:none;box-sizing:border-box\">Classificar quatro solu\u00e7\u00f5es, considerar o SGLang como alternativa<\/a><\/div>\n<div class=\"wh-toc-item\" style=\"display:block;min-width:0;margin:0;padding:0\"><a class=\"wh-toc-link\" href=\"#lokaler-prototyp\" style=\"display:block;height:100%;padding:12px 15px;border:1px solid #dce6e8;border-radius:9px;background:#fff;color:#18575b;font-size:14px;line-height:1.5;font-weight:600;text-decoration:none;box-sizing:border-box\">Preparar o prot\u00f3tipo local<\/a><\/div>\n<div class=\"wh-toc-item\" style=\"display:block;min-width:0;margin:0;padding:0\"><a class=\"wh-toc-link\" href=\"#last-und-kapazitaet\" style=\"display:block;height:100%;padding:12px 15px;border:1px solid #dce6e8;border-radius:9px;background:#fff;color:#18575b;font-size:14px;line-height:1.5;font-weight:600;text-decoration:none;box-sizing:border-box\">Planear a carga e as necessidades de armazenamento<\/a><\/div>\n<div class=\"wh-toc-item\" style=\"display:block;min-width:0;margin:0;padding:0\"><a class=\"wh-toc-link\" href=\"#betrieb-sicherheit\" style=\"display:block;height:100%;padding:12px 15px;border:1px solid #dce6e8;border-radius:9px;background:#fff;color:#18575b;font-size:14px;line-height:1.5;font-weight:600;text-decoration:none;box-sizing:border-box\">Operar a API de forma segura e monitoriz\u00e1vel<\/a><\/div>\n<div class=\"wh-toc-item\" style=\"display:block;min-width:0;margin:0;padding:0\"><a class=\"wh-toc-link\" href=\"#fehlersuche-migration\" style=\"display:block;height:100%;padding:12px 15px;border:1px solid #dce6e8;border-radius:9px;background:#fff;color:#18575b;font-size:14px;line-height:1.5;font-weight:600;text-decoration:none;box-sizing:border-box\">Identificar a origem do erro e migrar o TGI<\/a><\/div>\n<div class=\"wh-toc-item\" style=\"display:block;min-width:0;margin:0;padding:0\"><a class=\"wh-toc-link\" href=\"#entscheidung\" style=\"display:block;height:100%;padding:12px 15px;border:1px solid #dce6e8;border-radius:9px;background:#fff;color:#18575b;font-size:14px;line-height:1.5;font-weight:600;text-decoration:none;box-sizing:border-box\">Escolher a arquitetura adequada<\/a><\/div>\n<\/div><\/nav><section class=\"wh-section\" aria-labelledby=\"inference-grundlagen\" style=\"display:block;margin:0 0 36px;min-width:0\"><h2 id=\"inference-grundlagen\" style=\"margin:38px 0 18px;color:#172f41;font-size:clamp(24px,1.25rem + 1vw,30px);font-weight:700;line-height:1.3;scroll-margin-top:115px\">O que um servidor de infer\u00eancia faz<\/h2><p style=\"margin:0 0 1.1em;font-size:inherit;line-height:inherit\">Um servidor de infer\u00eancia disponibiliza um modelo de IA j\u00e1 treinado para responder a consultas. Uma aplica\u00e7\u00e3o envia dados de entrada para um <strong style=\"font-weight:700;color:inherit\">API<\/strong>, o servidor transmite-os para uma execu\u00e7\u00e3o do modelo, que os processa utilizando os pesos do modelo carregados. O resultado \u00e9 devolvido ao aplicativo atrav\u00e9s do servidor. No caso de um modelo de linguagem, pode tratar-se de uma resposta textual; dependendo da interface, tamb\u00e9m pode ser apresentada gradualmente como um fluxo de tokens. <\/p>\n<p style=\"margin:0 0 1.1em;font-size:inherit;line-height:inherit\">O servidor, o ambiente de execu\u00e7\u00e3o e o modelo s\u00e3o componentes distintos. Os pesos cont\u00eam os par\u00e2metros aprendidos; o ambiente de execu\u00e7\u00e3o realiza os c\u00e1lculos no hardware dispon\u00edvel. O servidor, por sua vez, organiza o acesso e o encaminhamento das solicita\u00e7\u00f5es. Uma mudan\u00e7a de servidor n\u00e3o substitui, portanto, automaticamente o modelo, mas pode exigir um formato diferente ou um ambiente de execu\u00e7\u00e3o diferente.<\/p>\n<p style=\"margin:0 0 1.1em;font-size:inherit;line-height:inherit\">Para a gest\u00e3o de utilizadores e a l\u00f3gica de neg\u00f3cio, \u00e9 normalmente necess\u00e1ria uma camada de aplica\u00e7\u00e3o adicional. Esta camada determina, por exemplo, quais os utilizadores que podem efetuar um pedido, quais os dados que chegam ao modelo e como a resposta deste \u00e9 integrada num fluxo de trabalho. Uma API do modelo acess\u00edvel, por si s\u00f3, n\u00e3o reflete estas regras; a prote\u00e7\u00e3o de acesso e o registo de atividades tamb\u00e9m t\u00eam de ser planeados como parte do sistema global.<\/p>\n<p style=\"margin:0 0 1.1em;font-size:inherit;line-height:inherit\">Al\u00e9m disso, um servidor LLM concebido para a gera\u00e7\u00e3o de texto n\u00e3o \u00e9, automaticamente, uma plataforma para a classifica\u00e7\u00e3o de imagens ou outros tipos de modelos. Para tal, \u00e9 necess\u00e1rio que a respetiva arquitetura do modelo e um ambiente de execu\u00e7\u00e3o adequado sejam suportados. O Triton adota uma abordagem mais abrangente: encaminha as solicita\u00e7\u00f5es para os back-ends atrav\u00e9s de agendadores espec\u00edficos para cada modelo. No entanto, a possibilidade de um modelo espec\u00edfico ser executado depende do backend adequado. <\/p>\n<\/section><section class=\"wh-section\" aria-labelledby=\"anforderungen\" style=\"display:block;margin:0 0 36px;min-width:0\"><h2 id=\"anforderungen\" style=\"margin:38px 0 18px;color:#172f41;font-size:clamp(24px,1.25rem + 1vw,30px);font-weight:700;line-height:1.3;scroll-margin-top:115px\">Verificar o modelo, o hardware e os direitos<\/h2><p style=\"margin:0 0 1.1em;font-size:inherit;line-height:inherit\">Come\u00e7a a sele\u00e7\u00e3o pela tarefa e por um exemplo concreto <strong style=\"font-weight:700;color:inherit\">Revis\u00e3o do modelo<\/strong>: Um modelo de chat, um modelo de embedding e um classificador de imagens apresentam requisitos diferentes. Anote tamb\u00e9m o formato dos pesos em quest\u00e3o e verifique se o tempo de execu\u00e7\u00e3o pretendido suporta exatamente essa arquitetura e revis\u00e3o. Um nome de modelo conhecido, por si s\u00f3, n\u00e3o \u00e9 suficiente para presumir compatibilidade ou resultados consistentes.<\/p>\n<ul class=\"wh-list\" role=\"list\" style=\"list-style:none;margin:24px 0;padding:0\"><li style=\"margin:8px 0;padding:12px 17px;background:#f5f8fa;border:1px solid #e0e8ec;border-radius:9px\">Registar a tarefa, a revis\u00e3o do modelo e o formato de peso dispon\u00edvel.<\/li><li style=\"margin:8px 0;padding:12px 17px;background:#f5f8fa;border:1px solid #e0e8ec;border-radius:9px\">Verificar a CPU ou a GPU, a mem\u00f3ria dispon\u00edvel, os controladores e o backend necess\u00e1rio.<\/li><li style=\"margin:8px 0;padding:12px 17px;background:#f5f8fa;border:1px solid #e0e8ec;border-radius:9px\">Esclarecer separadamente os direitos de utiliza\u00e7\u00e3o relativos aos servidores, aos pesos dos modelos e aos componentes adicionais.<\/li><li style=\"margin:8px 0;padding:12px 17px;background:#f5f8fa;border:1px solid #e0e8ec;border-radius:9px\">Documentar os comprimentos previstos das consultas, o paralelismo e os requisitos de prote\u00e7\u00e3o de acesso.<\/li><\/ul><p style=\"margin:0 0 1.1em;font-size:inherit;line-height:inherit\">A escolha do hardware vai al\u00e9m da simples quest\u00e3o de saber se existe uma GPU. Os pesos t\u00eam de caber na mem\u00f3ria dispon\u00edvel, juntamente com o tempo de execu\u00e7\u00e3o e os dados adicionais; al\u00e9m disso, os controladores e o backend t\u00eam de ser compat\u00edveis com a plataforma. A documenta\u00e7\u00e3o do backend do Triton indica que nem todos os backends s\u00e3o suportados em todas as plataformas. Por isso, verifica a combina\u00e7\u00e3o de vers\u00e3o do servidor, modelo, backend e hardware, em vez de deduzir a compatibilidade a partir do nome do produto. <\/p>\n<p style=\"margin:0 0 1.1em;font-size:inherit;line-height:inherit\">O formato tamb\u00e9m pode limitar a escolha: de acordo com a documenta\u00e7\u00e3o do projeto, o llama.cpp requer modelos no <strong style=\"font-weight:700;color:inherit\">Formato GGUF<\/strong>. Para outros formatos, o projeto descreve um processo de convers\u00e3o; no entanto, isso n\u00e3o significa que todas as arquiteturas ou variantes do modelo funcionem sem altera\u00e7\u00f5es. O c\u00f3digo-fonte encontra-se no ramo de desenvolvimento. Por isso, antes de uma implementa\u00e7\u00e3o, deves verificar se as informa\u00e7\u00f5es correspondem \u00e0 vers\u00e3o selecionada. <\/p>\n<p style=\"margin:0 0 1.1em;font-size:inherit;line-height:inherit\">Um servidor de c\u00f3digo aberto n\u00e3o transfere a sua licen\u00e7a para os pesos dos modelos. Verifica, separadamente para cada um deles, se a utiliza\u00e7\u00e3o interna ou comercial prevista \u00e9 permitida e quais as condi\u00e7\u00f5es aplic\u00e1veis. O facto de os pesos poderem ser descarregados n\u00e3o significa, por si s\u00f3, que estejam autorizados para qualquer tipo de utiliza\u00e7\u00e3o ou partilha.<\/p>\n<\/section><section class=\"wh-section\" aria-labelledby=\"llm-arbeitslast\" style=\"display:block;margin:0 0 36px;min-width:0\"><h2 id=\"llm-arbeitslast\" style=\"margin:38px 0 18px;color:#172f41;font-size:clamp(24px,1.25rem + 1vw,30px);font-weight:700;line-height:1.3;scroll-margin-top:115px\">Como as consultas a modelos LLM consomem recursos<\/h2><p style=\"margin:0 0 1.1em;font-size:inherit;line-height:inherit\">Quando recebe um pedido de texto, o modelo processa primeiro a entrada. Esta fase denomina-se <strong style=\"font-weight:700;color:inherit\">Preenchimento pr\u00e9vio<\/strong>. Em seguida, na etapa de descodifica\u00e7\u00e3o, gera a resposta token a token. Um prompt curto e uma resposta longa transferem uma parte diferente do trabalho para a fase de gera\u00e7\u00e3o, em compara\u00e7\u00e3o com um excerto longo de um documento acompanhado de uma resposta sucinta. Ambos os casos devem, portanto, ser tidos em conta no planeamento da capacidade.<\/p>\n<p style=\"margin:0 0 1.1em;font-size:inherit;line-height:inherit\">Durante a gera\u00e7\u00e3o, o tempo de execu\u00e7\u00e3o armazena dados interm\u00e9dios no <strong style=\"font-weight:700;color:inherit\">Cache KV<\/strong> para que o contexto j\u00e1 processado possa ser utilizado nas etapas seguintes. Esta necessidade de mem\u00f3ria soma-se aos pesos do modelo e varia consoante o comprimento das sequ\u00eancias e o n\u00famero de pedidos processados simultaneamente. O facto de o modelo caber sozinho na mem\u00f3ria n\u00e3o significa, por si s\u00f3, que a carga prevista tamb\u00e9m nela caiba.<\/p>\n<p style=\"margin:0 0 1.1em;font-size:inherit;line-height:inherit\">O \u00abContinuous Batching\u00bb agrupa de forma flex\u00edvel as solicita\u00e7\u00f5es de gera\u00e7\u00e3o em curso, em vez de esperar apenas por uma pilha comum fixa. O \u00abPagedAttention\u00bb organiza a mem\u00f3ria da cache KV em blocos. Ambos os m\u00e9todos s\u00e3o descritos para vLLM e podem melhorar a utiliza\u00e7\u00e3o dos recursos. No entanto, a efic\u00e1cia destas t\u00e9cnicas depende, entre outros fatores, do tamanho das solicita\u00e7\u00f5es, do paralelismo e do hardware; n\u00e3o \u00e9 poss\u00edvel concluir que representem uma vantagem para qualquer carga de trabalho. <\/p>\n<p style=\"margin:0 0 1.1em;font-size:inherit;line-height:inherit\">O Triton, por outro lado, descreve uma arquitetura de servidor geral: um agendador baseado em modelos recebe as solicita\u00e7\u00f5es e encaminha-as para o backend respons\u00e1vel. \u00c9 poss\u00edvel configurar o agrupamento din\u00e2mico para um modelo. Isso n\u00e3o significa que todos os backends tratem internamente as solicita\u00e7\u00f5es LLM da mesma forma ou utilizem os mesmos m\u00e9todos de armazenamento que o vLLM. Por isso, para efeitos de compara\u00e7\u00e3o, o que importa \u00e9 a combina\u00e7\u00e3o concreta de backend e modelo. <\/p>\n<p style=\"margin:0 0 1.1em;font-size:inherit;line-height:inherit\">Por isso, para um servi\u00e7o de chat interno, n\u00e3o basta um \u00fanico valor de tokens por segundo. Para al\u00e9m da velocidade de sa\u00edda, o tempo at\u00e9 ao primeiro token e os tempos de espera em caso de pedidos simult\u00e2neos influenciam a experi\u00eancia do utilizador. Compara as op\u00e7\u00f5es com comprimentos de entrada e sa\u00edda representativos, bem como com o mesmo n\u00edvel de paralelismo, antes de tomares uma decis\u00e3o relativa ao hardware.<\/p>\n<\/section><section class=\"wh-section\" aria-labelledby=\"loesungsvergleich\" style=\"display:block;margin:0 0 36px;min-width:0\"><h2 id=\"loesungsvergleich\" style=\"margin:38px 0 18px;color:#172f41;font-size:clamp(24px,1.25rem + 1vw,30px);font-weight:700;line-height:1.3;scroll-margin-top:115px\">Classificar quatro solu\u00e7\u00f5es, considerar o SGLang como alternativa<\/h2><p style=\"margin:0 0 1.1em;font-size:inherit;line-height:inherit\">A tabela seguinte classifica o vLLM, o llama.cpp, o Triton e o TGI com base nas suas abordagens documentadas. N\u00e3o se trata de uma compara\u00e7\u00e3o de funcionalidades ou desempenho relacionada com vers\u00f5es espec\u00edficas. O SGLang continua a ser uma sugest\u00e3o alternativa n\u00e3o avaliada: a Hugging Face recomenda-o, a par do vLLM, como sucessor do TGI; no entanto, n\u00e3o \u00e9 poss\u00edvel deduzir, a partir disso, nem os formatos de modelo, nem as interfaces, nem o suporte de hardware de uma vers\u00e3o espec\u00edfica do SGLang. <\/p>\n<p style=\"margin:0 0 1.1em;font-size:inherit;line-height:inherit\">A base de c\u00f3digo-fonte cont\u00e9m p\u00e1ginas de documenta\u00e7\u00e3o sujeitas a altera\u00e7\u00f5es e, no caso do llama.cpp, um ramo de desenvolvimento. Assim, n\u00e3o h\u00e1 registo de qualquer teste conclu\u00eddo para o vLLM 0.10.2, o llama.cpp b6000, o Triton 25.10 ou o TGI 3.3.7. Por conseguinte, estas correspond\u00eancias de vers\u00f5es n\u00e3o s\u00e3o utilizadas como base de compara\u00e7\u00e3o. Antes de uma implementa\u00e7\u00e3o, deves verificar as caracter\u00edsticas necess\u00e1rias para a vers\u00e3o do servidor e a revis\u00e3o do modelo efetivamente selecionadas.<\/p>\n<div class=\"wh-table-scroll\" tabindex=\"0\" role=\"region\" aria-label=\"Classifica\u00e7\u00e3o geral de quatro solu\u00e7\u00f5es sem comprova\u00e7\u00e3o de compatibilidade relacionada com a vers\u00e3o\" style=\"width:100%;max-width:100%;overflow-x:auto;margin:28px 0;border:1px solid #dce5e9;border-radius:14px;background:#fff;box-shadow:0 10px 28px -16px rgba(24,47,60,.32);box-sizing:border-box\"><table style=\"width:100%;min-width:580px;border-collapse:separate;border-spacing:0;border:0;margin:0;font-size:15px;line-height:1.6;background:#fff\"><caption style=\"padding:20px;text-align:start;font-size:17px;line-height:1.5;font-weight:700;color:#173246;background:#fff\">Classifica\u00e7\u00e3o geral de quatro solu\u00e7\u00f5es sem comprova\u00e7\u00e3o de compatibilidade relacionada com a vers\u00e3o<\/caption><thead><tr><th scope=\"col\" style=\"padding:15px 18px;border:0;border-bottom:1px solid #e2e9ed;text-align:start;vertical-align:top;white-space:normal;font-size:15px;line-height:1.6;background:#19394d;color:#fff\">Solu\u00e7\u00e3o<\/th><th scope=\"col\" style=\"padding:15px 18px;border:0;border-bottom:1px solid #e2e9ed;text-align:start;vertical-align:top;white-space:normal;font-size:15px;line-height:1.6;background:#19394d;color:#fff\">Ponto de partida documentado<\/th><th scope=\"col\" style=\"padding:15px 18px;border:0;border-bottom:1px solid #e2e9ed;text-align:start;vertical-align:top;white-space:normal;font-size:15px;line-height:1.6;background:#19394d;color:#fff\">Limites da classifica\u00e7\u00e3o<\/th><th scope=\"col\" style=\"padding:15px 18px;border:0;border-bottom:1px solid #e2e9ed;text-align:start;vertical-align:top;white-space:normal;font-size:15px;line-height:1.6;background:#19394d;color:#fff\">Exame aberto<\/th><\/tr><\/thead><tbody><tr><td style=\"padding:15px 18px;border:0;border-bottom:1px solid #e2e9ed;text-align:start;vertical-align:top;white-space:normal;font-size:15px;line-height:1.6;background:#fff;color:#294252\">vLLM<\/td><td style=\"padding:15px 18px;border:0;border-bottom:1px solid #e2e9ed;text-align:start;vertical-align:top;white-space:normal;font-size:15px;line-height:1.6;background:#fff;color:#294252\">Servidor HTTP compat\u00edvel com a OpenAI; as solicita\u00e7\u00f5es de chat requerem um modelo de chat adequado<\/td><td style=\"padding:15px 18px;border:0;border-bottom:1px solid #e2e9ed;text-align:start;vertical-align:top;white-space:normal;font-size:15px;line-height:1.6;background:#fff;color:#294252\">Documenta\u00e7\u00e3o vari\u00e1vel, sem comprovativo para 0.10.2<\/td><td style=\"padding:15px 18px;border:0;border-bottom:1px solid #e2e9ed;text-align:start;vertical-align:top;white-space:normal;font-size:15px;line-height:1.6;background:#fff;color:#294252\">Verificar o modelo, o hardware e os par\u00e2metros da API necess\u00e1rios para a vers\u00e3o selecionada<\/td><\/tr><tr><td style=\"padding:15px 18px;border:0;border-bottom:1px solid #e2e9ed;text-align:start;vertical-align:top;white-space:normal;font-size:15px;line-height:1.6;background:#f4f7f9;color:#294252\">llama.cpp<\/td><td style=\"padding:15px 18px;border:0;border-bottom:1px solid #e2e9ed;text-align:start;vertical-align:top;white-space:normal;font-size:15px;line-height:1.6;background:#f4f7f9;color:#294252\">GGUF como formato de modelo necess\u00e1rio; as convers\u00f5es s\u00e3o descritas<\/td><td style=\"padding:15px 18px;border:0;border-bottom:1px solid #e2e9ed;text-align:start;vertical-align:top;white-space:normal;font-size:15px;line-height:1.6;background:#f4f7f9;color:#294252\">Documenta\u00e7\u00e3o do modelo no \u00abmaster\u00bb, sem comprovativo para o b6000<\/td><td style=\"padding:15px 18px;border:0;border-bottom:1px solid #e2e9ed;text-align:start;vertical-align:top;white-space:normal;font-size:15px;line-height:1.6;background:#f4f7f9;color:#294252\">Verificar a arquitetura, a convers\u00e3o e as op\u00e7\u00f5es do servidor para a compila\u00e7\u00e3o selecionada<\/td><\/tr><tr><td style=\"padding:15px 18px;border:0;border-bottom:1px solid #e2e9ed;text-align:start;vertical-align:top;white-space:normal;font-size:15px;line-height:1.6;background:#fff;color:#294252\">NVIDIA Triton<\/td><td style=\"padding:15px 18px;border:0;border-bottom:1px solid #e2e9ed;text-align:start;vertical-align:top;white-space:normal;font-size:15px;line-height:1.6;background:#fff;color:#294252\">Agendadores e back-ends espec\u00edficos de modelo; HTTP e gRPC<\/td><td style=\"padding:15px 18px;border:0;border-bottom:1px solid #e2e9ed;text-align:start;vertical-align:top;white-space:normal;font-size:15px;line-height:1.6;background:#fff;color:#294252\">Arquitetura geral, sem comprovativo para 25.10<\/td><td style=\"padding:15px 18px;border:0;border-bottom:1px solid #e2e9ed;text-align:start;vertical-align:top;white-space:normal;font-size:15px;line-height:1.6;background:#fff;color:#294252\">Verificar a combina\u00e7\u00e3o de backend e plataforma por modelo e vers\u00e3o<\/td><\/tr><tr><td style=\"padding:15px 18px;border:0;border-bottom:1px solid #e2e9ed;text-align:start;vertical-align:top;white-space:normal;font-size:15px;line-height:1.6;background:#f4f7f9;color:#294252\">TGI<\/td><td style=\"padding:15px 18px;border:0;border-bottom:1px solid #e2e9ed;text-align:start;vertical-align:top;white-space:normal;font-size:15px;line-height:1.6;background:#f4f7f9;color:#294252\">Gera\u00e7\u00e3o de texto; projeto em modo de manuten\u00e7\u00e3o<\/td><td style=\"padding:15px 18px;border:0;border-bottom:1px solid #e2e9ed;text-align:start;vertical-align:top;white-space:normal;font-size:15px;line-height:1.6;background:#f4f7f9;color:#294252\">O estado do projeto n\u00e3o constitui uma avalia\u00e7\u00e3o t\u00e9cnica do ponto 3.3.7<\/td><td style=\"padding:15px 18px;border:0;border-bottom:1px solid #e2e9ed;text-align:start;vertical-align:top;white-space:normal;font-size:15px;line-height:1.6;background:#f4f7f9;color:#294252\">Verificar a compatibilidade dos modelos e da API instalados, bem como a necessidade de migra\u00e7\u00e3o<\/td><\/tr><\/tbody><\/table><\/div><p style=\"margin:0 0 1.1em;font-size:inherit;line-height:inherit\">O efetivo <strong style=\"font-weight:700;color:inherit\">Despesas de funcionamento<\/strong> depende, entre outros fatores, da disponibiliza\u00e7\u00e3o de modelos, da prote\u00e7\u00e3o de acesso e da monitoriza\u00e7\u00e3o. N\u00e3o \u00e9 poss\u00edvel fazer uma compara\u00e7\u00e3o direta dos custos a partir da tabela: uma instala\u00e7\u00e3o local individual e uma plataforma com v\u00e1rios back-ends t\u00eam requisitos diferentes. Por isso, verifica primeiro quais s\u00e3o as tarefas que a instala\u00e7\u00e3o tem efetivamente de cumprir.<\/p>\n<p style=\"margin:0 0 1.1em;font-size:inherit;line-height:inherit\">A Hugging Face lidera o TGI no <strong style=\"font-weight:700;color:inherit\">Modo de manuten\u00e7\u00e3o<\/strong> e aponta o vLLM e o SGLang como alternativas. Por isso, n\u00e3o \u00e9 necess\u00e1rio substituir imediatamente uma instala\u00e7\u00e3o j\u00e1 existente. No entanto, no caso de novos projetos, o desenvolvimento limitado deve ser tido em conta no planeamento; antes de uma migra\u00e7\u00e3o, \u00e9 necess\u00e1rio comparar separadamente o comportamento da API e a qualidade do modelo. <\/p>\n<p style=\"margin:0 0 1.1em;font-size:inherit;line-height:inherit\">O Triton e o vLLM n\u00e3o s\u00e3o, por princ\u00edpio, incompat\u00edveis: o Triton pode utilizar um backend vLLM. No entanto, \u00e9 necess\u00e1rio verificar se um determinado modelo funciona com as vers\u00f5es selecionadas e a plataforma dispon\u00edvel para essa combina\u00e7\u00e3o. A arquitetura geral do Triton, por si s\u00f3, n\u00e3o garante o suporte a todos os backends em todas as plataformas.  <\/p>\n<\/section><section class=\"wh-section\" aria-labelledby=\"lokaler-prototyp\" style=\"display:block;margin:0 0 36px;min-width:0\"><h2 id=\"lokaler-prototyp\" style=\"margin:38px 0 18px;color:#172f41;font-size:clamp(24px,1.25rem + 1vw,30px);font-weight:700;line-height:1.3;scroll-margin-top:115px\">Preparar o prot\u00f3tipo local<\/h2><p style=\"margin:0 0 1.1em;font-size:inherit;line-height:inherit\">Para criar um prot\u00f3tipo local, define primeiro a tarefa e algumas entradas t\u00edpicas. Em seguida, escolhe uma revis\u00e3o espec\u00edfica do modelo que pare\u00e7a adequada para o efeito e verifica as respetivas condi\u00e7\u00f5es de utiliza\u00e7\u00e3o. A licen\u00e7a do servidor, por si s\u00f3, n\u00e3o indica se podes descarregar, alterar ou utilizar os pesos do modelo para o fim a que se destinam.<\/p>\n<p style=\"margin:0 0 1.1em;font-size:inherit;line-height:inherit\">O ficheiro llama.cpp utiliza o formato <strong style=\"font-weight:700;color:inherit\">GGUF<\/strong>. Procure uma variante adequada do GGUF ou verifique se o modelo inicial pode ser convertido com as ferramentas documentadas. A documenta\u00e7\u00e3o do projeto descreve essas convers\u00f5es no ramo de desenvolvimento; n\u00e3o constitui prova de que todas as vers\u00f5es anteriores suportem todas as arquiteturas ou op\u00e7\u00f5es de convers\u00e3o. <\/p>\n<p style=\"margin:0 0 1.1em;font-size:inherit;line-height:inherit\">Antes de fazer o download, verifica se a variante escolhida \u00e9 suportada na tua CPU ou GPU com o backend previsto e se existe mem\u00f3ria suficiente dispon\u00edvel para os pesos e o tempo de execu\u00e7\u00e3o. Uma variante quantizada pode reduzir as necessidades de mem\u00f3ria dos pesos. No entanto, compara as respostas com os teus requisitos de qualidade, em vez de deduzir que os resultados permanecem inalterados apenas pelo facto de o ficheiro ser mais pequeno.<\/p>\n<figure class=\"wp-block-image size-large wh-figure\" aria-describedby=\"wh-caption-detail1\" style=\"display:block;float:none;clear:both;width:100%;max-width:760px;margin:34px auto 40px;border:1px solid #dae5e9;border-radius:14px;overflow:hidden;background:#f5f8fa;box-shadow:0 10px 28px -17px rgba(24,47,60,.28);box-sizing:border-box\"><div class=\"wh-figure-media\" style=\"display:block;background:#eef3f5;line-height:0\"><img loading=\"lazy\" width=\"800\" height=\"534\" src=\"https:\/\/webhosting.de\/wp-content\/uploads\/2026\/11\/lokaler-prototyp-mini-pc-ssd-48a388a2-detail1-066e960395-1024x683.webp\" class=\"wp-image-22148\" alt=\"Imagem ilustrativa gerada por IA de um mini-PC e de uma unidade SSD externa sobre uma mesa de madeira.\" decoding=\"async\" srcset=\"https:\/\/webhosting.de\/wp-content\/uploads\/2026\/11\/lokaler-prototyp-mini-pc-ssd-48a388a2-detail1-066e960395-1024x683.webp 1024w, https:\/\/webhosting.de\/wp-content\/uploads\/2026\/11\/lokaler-prototyp-mini-pc-ssd-48a388a2-detail1-066e960395-300x200.webp 300w, https:\/\/webhosting.de\/wp-content\/uploads\/2026\/11\/lokaler-prototyp-mini-pc-ssd-48a388a2-detail1-066e960395-768x512.webp 768w, https:\/\/webhosting.de\/wp-content\/uploads\/2026\/11\/lokaler-prototyp-mini-pc-ssd-48a388a2-detail1-066e960395-18x12.webp 18w, https:\/\/webhosting.de\/wp-content\/uploads\/2026\/11\/lokaler-prototyp-mini-pc-ssd-48a388a2-detail1-066e960395.webp 1536w\" sizes=\"auto, (max-width: 800px) 100vw, 800px\" ><\/div><figcaption class=\"wh-caption\" id=\"wh-caption-detail1\" style=\"display:block;margin:0;padding:12px 18px 15px;border-top:1px solid #dce5e9;color:#506575;background:#f5f8fa;font-size:14px;line-height:1.55;text-align:start\">Imagem ilustrativa gerada por IA: Para um prot\u00f3tipo local, o hardware e a mem\u00f3ria dispon\u00edveis s\u00e3o t\u00e3o importantes quanto o formato do modelo.<\/figcaption><\/figure><p style=\"margin:0 0 1.1em;font-size:inherit;line-height:inherit\">Escolha uma compila\u00e7\u00e3o espec\u00edfica para o prot\u00f3tipo e verifique se a instala\u00e7\u00e3o e as op\u00e7\u00f5es do servidor correspondem \u00e0 documenta\u00e7\u00e3o da mesma. Para a compila\u00e7\u00e3o b6000 acima referida, n\u00e3o est\u00e1 registada aqui qualquer verifica\u00e7\u00e3o espec\u00edfica da vers\u00e3o; por isso, n\u00e3o \u00e9 recomendada como ponto de partida verificado. A documenta\u00e7\u00e3o do modelo existente no ramo de desenvolvimento n\u00e3o substitui nem a documenta\u00e7\u00e3o do servidor da compila\u00e7\u00e3o selecionada nem a respetiva verifica\u00e7\u00e3o de compatibilidade. <\/p>\n<p style=\"margin:0 0 1.1em;font-size:inherit;line-height:inherit\">Come\u00e7a por disponibilizar o servi\u00e7o apenas localmente e envia v\u00e1rias solicita\u00e7\u00f5es representativas. Ao faz\u00ea-lo, verifica n\u00e3o s\u00f3 se \u00e9 apresentada uma resposta, mas tamb\u00e9m se o formato de entrada, o modelo e as defini\u00e7\u00f5es de gera\u00e7\u00e3o se adequam \u00e0 aplica\u00e7\u00e3o que pretendes implementar. Uma chamada isolada bem-sucedida n\u00e3o comprova nem a adequa\u00e7\u00e3o a cargas mais elevadas nem a qualidade de todas as respostas.<\/p>\n<p style=\"margin:0 0 1.1em;font-size:inherit;line-height:inherit\">Regista tr\u00eas resultados separadamente: a qualidade do conte\u00fado com base nos teus casos de teste, o tempo de resposta percebido e o esfor\u00e7o necess\u00e1rio para o download, a convers\u00e3o e a disponibiliza\u00e7\u00e3o. Desta forma, poder\u00e1s perceber, por exemplo, se um modelo configurado rapidamente \u00e9 inadequado do ponto de vista t\u00e9cnico. Para a gest\u00e3o separada do host Linux, o <a href=\"https:\/\/webhosting.de\/pt\/1painel-servidor-de-codigo-aberto-painel-de-servidor-linux-pro-melhor-sistema\/\">Vis\u00e3o geral do 1Panel como ferramenta de gest\u00e3o de servidores<\/a> contexto complementar; um painel de servidor n\u00e3o substitui a verifica\u00e7\u00e3o do tempo de execu\u00e7\u00e3o do modelo.<\/p>\n<\/section><section class=\"wh-section\" aria-labelledby=\"last-und-kapazitaet\" style=\"display:block;margin:0 0 36px;min-width:0\"><h2 id=\"last-und-kapazitaet\" style=\"margin:38px 0 18px;color:#172f41;font-size:clamp(24px,1.25rem + 1vw,30px);font-weight:700;line-height:1.3;scroll-margin-top:115px\">Planear a carga e as necessidades de armazenamento<\/h2><p style=\"margin:0 0 1.1em;font-size:inherit;line-height:inherit\">Num servi\u00e7o de chat interno, os pedidos diferem frequentemente de forma significativa: uma pergunta curta com uma resposta sucinta consome recursos diferentes dos necess\u00e1rios para um longo excerto de documento com uma resposta detalhada. Por isso, registe os comprimentos t\u00edpicos e m\u00e1ximos das entradas e sa\u00eddas, bem como o n\u00famero esperado de utilizadores simult\u00e2neos. Uma \u00fanica chamada bem-sucedida n\u00e3o descreve de forma suficiente a situa\u00e7\u00e3o sob carga.<\/p>\n<p style=\"margin:0 0 1.1em;font-size:inherit;line-height:inherit\">A necessidade de mem\u00f3ria n\u00e3o se resume apenas aos pesos dos modelos. O tempo de execu\u00e7\u00e3o e os valores interm\u00e9dios tamb\u00e9m ocupam espa\u00e7o; al\u00e9m disso, no caso de consultas paralelas a LLM, aumenta a necessidade de <strong style=\"font-weight:700;color:inherit\">Cache KV<\/strong>. Contextos mais longos e um maior n\u00famero de consultas processadas em simult\u00e2neo podem, por isso, levar uma configura\u00e7\u00e3o ao seu limite, apesar de os pesos caberem, por si s\u00f3, na mem\u00f3ria dispon\u00edvel. <\/p>\n<figure class=\"wp-block-image size-large wh-figure\" aria-describedby=\"wh-caption-detail2\" style=\"display:block;float:none;clear:both;width:100%;max-width:760px;margin:34px auto 40px;border:1px solid #dae5e9;border-radius:14px;overflow:hidden;background:#f5f8fa;box-shadow:0 10px 28px -17px rgba(24,47,60,.28);box-sizing:border-box\"><div class=\"wh-figure-media\" style=\"display:block;background:#eef3f5;line-height:0\"><img loading=\"lazy\" width=\"800\" height=\"534\" src=\"https:\/\/webhosting.de\/wp-content\/uploads\/2026\/11\/llm-anfragen-speicherplanung-illustration-48a388a2-detail2-9941c1ca7d-1024x683.webp\" class=\"wp-image-22149\" alt=\"Ilustra\u00e7\u00e3o gerada por IA que mostra tiras de papel de comprimentos diferentes num suporte delimitado, como s\u00edmbolo de pedidos paralelos.\" decoding=\"async\" srcset=\"https:\/\/webhosting.de\/wp-content\/uploads\/2026\/11\/llm-anfragen-speicherplanung-illustration-48a388a2-detail2-9941c1ca7d-1024x683.webp 1024w, https:\/\/webhosting.de\/wp-content\/uploads\/2026\/11\/llm-anfragen-speicherplanung-illustration-48a388a2-detail2-9941c1ca7d-300x200.webp 300w, https:\/\/webhosting.de\/wp-content\/uploads\/2026\/11\/llm-anfragen-speicherplanung-illustration-48a388a2-detail2-9941c1ca7d-768x512.webp 768w, https:\/\/webhosting.de\/wp-content\/uploads\/2026\/11\/llm-anfragen-speicherplanung-illustration-48a388a2-detail2-9941c1ca7d-18x12.webp 18w, https:\/\/webhosting.de\/wp-content\/uploads\/2026\/11\/llm-anfragen-speicherplanung-illustration-48a388a2-detail2-9941c1ca7d.webp 1536w\" sizes=\"auto, (max-width: 800px) 100vw, 800px\" ><\/div><figcaption class=\"wh-caption\" id=\"wh-caption-detail2\" style=\"display:block;margin:0;padding:12px 18px 15px;border-top:1px solid #dce5e9;color:#506575;background:#f5f8fa;font-size:14px;line-height:1.55;text-align:start\">Ilustra\u00e7\u00e3o gerada por IA: Pedidos paralelos de dura\u00e7\u00e3o vari\u00e1vel ocupam, em conjunto, a mem\u00f3ria dispon\u00edvel.<\/figcaption><\/figure><p style=\"margin:0 0 1.1em;font-size:inherit;line-height:inherit\">O \u00abContinuous Batching\u00bb e o \u00abPagedAttention\u00bb s\u00e3o abordagens documentadas no \u00e2mbito do vLLM para a gest\u00e3o de pedidos em curso e da mem\u00f3ria cache, respetivamente. No entanto, n\u00e3o te dispensam do planeamento da capacidade: a combina\u00e7\u00e3o vi\u00e1vel de paralelismo e comprimento do contexto depende do modelo, do hardware e da configura\u00e7\u00e3o escolhida. N\u00e3o \u00e9 poss\u00edvel deduzir da\u00ed um ganho de desempenho generalizado para qualquer carga de trabalho. <\/p>\n<p style=\"margin:0 0 1.1em;font-size:inherit;line-height:inherit\">Um simples c\u00e1lculo de quantidades ajuda na prepara\u00e7\u00e3o: 100 pedidos hipot\u00e9ticos, cada um com 200 tokens de distribui\u00e7\u00e3o, totalizam 20 000 tokens de distribui\u00e7\u00e3o. Isso equivale a <strong style=\"font-weight:700;color:inherit\">sem medi\u00e7\u00e3o do d\u00e9bito<\/strong>. Sem um per\u00edodo de tempo, comprimentos de entrada, paralelismo e outros dados operacionais, n\u00e3o \u00e9 poss\u00edvel deduzir nada sobre o n\u00famero de tokens por segundo nem sobre os custos.<\/p>\n<p style=\"margin:0 0 1.1em;font-size:inherit;line-height:inherit\">Para uma compara\u00e7\u00e3o posterior, cria uma matriz de teste com o modelo e a revis\u00e3o, a quantiza\u00e7\u00e3o, a vers\u00e3o do servidor, o hardware e a mem\u00f3ria dispon\u00edvel. Varia de forma controlada o comprimento das entradas e das sa\u00eddas, bem como o paralelismo. Regista o tempo at\u00e9 ao primeiro token, a velocidade de sa\u00edda e a taxa de erros; avalia separadamente a qualidade da resposta com base nos mesmos casos de teste. Os par\u00e2metros de gera\u00e7\u00e3o e o modelo de chat tamb\u00e9m devem constar do registo, para que as diferen\u00e7as permane\u00e7am compreens\u00edveis. <\/p>\n<\/section><section class=\"wh-section\" aria-labelledby=\"betrieb-sicherheit\" style=\"display:block;margin:0 0 36px;min-width:0\"><h2 id=\"betrieb-sicherheit\" style=\"margin:38px 0 18px;color:#172f41;font-size:clamp(24px,1.25rem + 1vw,30px);font-weight:700;line-height:1.3;scroll-margin-top:115px\">Operar a API de forma segura e monitoriz\u00e1vel<\/h2><p style=\"margin:0 0 1.1em;font-size:inherit;line-height:inherit\">Um acess\u00edvel <strong style=\"font-weight:700;color:inherit\">Servidor de Infer\u00eancia<\/strong> Ainda n\u00e3o \u00e9 um servi\u00e7o seguro. Limita, por enquanto, o acesso \u00e0 rede aos sistemas que precisam de enviar pedidos ou de administrar o servidor. No caso do acesso externo, deve ser implementada uma prote\u00e7\u00e3o de acesso a montante da API; verifica todos os pontos finais acess\u00edveis e n\u00e3o apenas a rota para a gera\u00e7\u00e3o de texto.<\/p>\n<p style=\"margin:0 0 1.1em;font-size:inherit;line-height:inherit\"><strong style=\"font-weight:700;color:inherit\">Aviso:<\/strong> De acordo com a documenta\u00e7\u00e3o, a op\u00e7\u00e3o de chave API do vLLM n\u00e3o protege todos os pontos de extremidade. Por isso, uma chave definida n\u00e3o substitui nem o isolamento de rede nem um controlo de acesso a montante, que tenha tamb\u00e9m em conta as interfaces administrativas e outras interfaces acess\u00edveis. Testa as regras a partir das respetivas redes antes de ativares o servi\u00e7o. <\/p>\n<p style=\"margin:0 0 1.1em;font-size:inherit;line-height:inherit\">As solicita\u00e7\u00f5es e respostas podem conter informa\u00e7\u00f5es confidenciais. Por isso, define antecipadamente quais os dados que ser\u00e3o registados, quem tem acesso aos mesmos e quando ser\u00e3o eliminados. Para a resolu\u00e7\u00e3o de problemas, bastam frequentemente dados t\u00e9cnicos como a hora, a vers\u00e3o do modelo, o tipo de erro e a dura\u00e7\u00e3o da solicita\u00e7\u00e3o; s\u00f3 deve registar o conte\u00fado completo se houver uma necessidade justificada.<\/p>\n<p style=\"margin:0 0 1.1em;font-size:inherit;line-height:inherit\">O <strong style=\"font-weight:700;color:inherit\">Observabilidade<\/strong> deve registar separadamente o tempo de espera, o tempo at\u00e9 ao primeiro token, a velocidade de emiss\u00e3o e os erros. Se, por exemplo, o tempo de espera aumentar em caso de pedidos simult\u00e2neos, enquanto as respostas individuais s\u00e3o processadas rapidamente ap\u00f3s o in\u00edcio, isso indica um gargalo diferente de uma emiss\u00e3o lenta de tokens. Avalie estes indicadores juntamente com o volume dos pedidos e o paralelismo.<\/p>\n<p style=\"margin:0 0 1.1em;font-size:inherit;line-height:inherit\">Para a gest\u00e3o dos hosts subjacentes, as ferramentas de gest\u00e3o podem agrupar tarefas e responsabilidades. Para a sele\u00e7\u00e3o separada deste n\u00edvel de gest\u00e3o, o <a href=\"https:\/\/webhosting.de\/pt\/ispconfig-vs-froxlor-comparacao-de-alojamento-open-source-dicas-de-alojamento-web\/\">Compara\u00e7\u00e3o entre o ISPConfig e o Froxlor<\/a> contexto complementar. A escolha de um painel de servidor \u00e9 uma decis\u00e3o de infraestrutura independente; esse painel n\u00e3o substitui nem a prote\u00e7\u00e3o da API do modelo nem a monitoriza\u00e7\u00e3o do servi\u00e7o de infer\u00eancia.<\/p>\n<\/section><section class=\"wh-section\" aria-labelledby=\"fehlersuche-migration\" style=\"display:block;margin:0 0 36px;min-width:0\"><h2 id=\"fehlersuche-migration\" style=\"margin:38px 0 18px;color:#172f41;font-size:clamp(24px,1.25rem + 1vw,30px);font-weight:700;line-height:1.3;scroll-margin-top:115px\">Identificar a origem do erro e migrar o TGI<\/h2><p style=\"margin:0 0 1.1em;font-size:inherit;line-height:inherit\">Se um modelo n\u00e3o iniciar, verifica primeiro se a revis\u00e3o do modelo e o formato correspondem ao ambiente de execu\u00e7\u00e3o selecionado. No caso do llama.cpp, o formato necess\u00e1rio \u00e9 o GGUF; no entanto, a simples convers\u00e3o n\u00e3o garante, por si s\u00f3, que a arquitetura e a tarefa espec\u00edficas funcionem. Em seguida, verifica se o backend selecionado e a combina\u00e7\u00e3o de hardware s\u00e3o suportados e se existe mem\u00f3ria suficiente dispon\u00edvel. <\/p>\n<p style=\"margin:0 0 1.1em;font-size:inherit;line-height:inherit\">Se o servidor arrancar, mas apresentar respostas inesperadas no chat, verifica isso <strong style=\"font-weight:700;color:inherit\">Modelo de chat<\/strong> e os par\u00e2metros de gera\u00e7\u00e3o fornecidos. Uma interface compat\u00edvel com a OpenAI n\u00e3o significa que todos os par\u00e2metros sejam implementados de forma id\u00eantica: a documenta\u00e7\u00e3o do vLLM tamb\u00e9m indica os par\u00e2metros n\u00e3o suportados ou ignorados. Por isso, compara as defini\u00e7\u00f5es efetivamente utilizadas e n\u00e3o apenas o formato da chamada \u00e0 API. <\/p>\n<p style=\"margin:0 0 1.1em;font-size:inherit;line-height:inherit\">No caso de um servi\u00e7o TGI j\u00e1 existente, a migra\u00e7\u00e3o come\u00e7a com um levantamento da situa\u00e7\u00e3o atual: isto inclui a revis\u00e3o do modelo, as chamadas \u00e0 API utilizadas, as defini\u00e7\u00f5es de amostragem e os requisitos relativos \u00e0 qualidade da resposta. A Hugging Face mant\u00e9m o TGI em modo de manuten\u00e7\u00e3o e aponta, entre outras, o vLLM e o SGLang como alternativas. Isto torna a mudan\u00e7a digna de considera\u00e7\u00e3o, mas n\u00e3o implica uma falha imediata das instala\u00e7\u00f5es existentes. <\/p>\n<p style=\"margin:0 0 1.1em;font-size:inherit;line-height:inherit\">Construa o <strong style=\"font-weight:700;color:inherit\">Instala\u00e7\u00e3o de destino<\/strong> Analisa-os separadamente e compara ambos os servi\u00e7os utilizando os mesmos dados de entrada representativos, comprimentos de sa\u00edda e condi\u00e7\u00f5es de carga. Al\u00e9m da qualidade da resposta e dos erros, verifique tamb\u00e9m se os clientes se adaptam \u00e0 nova interface e aos seus par\u00e2metros. S\u00f3 mude o tr\u00e1fego quando os resultados forem aceit\u00e1veis para a utiliza\u00e7\u00e3o prevista e estiver preparado um plano de retorno.<\/p>\n<p style=\"margin:0 0 1.1em;font-size:inherit;line-height:inherit\">O guia do Hugging Faces para pontos finais de infer\u00eancia tamb\u00e9m recomenda criar um novo ponto final e realizar chamadas de teste antes da transi\u00e7\u00e3o. Trata-se de um modelo de procedimento \u00fatil para o planeamento, mas n\u00e3o de um guia passo a passo universal para instala\u00e7\u00f5es geridas pelo pr\u00f3prio utilizador: a rede, a implementa\u00e7\u00e3o e o controlo de tr\u00e1fego podem estar organizados de forma diferente nessas instala\u00e7\u00f5es. <\/p>\n<\/section><section class=\"wh-section\" aria-labelledby=\"entscheidung\" style=\"display:block;margin:0 0 36px;min-width:0\"><h2 id=\"entscheidung\" style=\"margin:38px 0 18px;color:#172f41;font-size:clamp(24px,1.25rem + 1vw,30px);font-weight:700;line-height:1.3;scroll-margin-top:115px\">Escolher a arquitetura adequada<\/h2><p style=\"margin:0 0 1.1em;font-size:inherit;line-height:inherit\">Para um <strong style=\"font-weight:700;color:inherit\">prot\u00f3tipo local<\/strong> O ficheiro llama.cpp constitui um ponto de verifica\u00e7\u00e3o \u00f3bvio, desde que se disponha de um modelo GGUF adequado e do suporte de hardware adequado. Da\u00ed n\u00e3o decorre qualquer recomenda\u00e7\u00e3o para uma compila\u00e7\u00e3o espec\u00edfica. O que \u00e9 decisivo n\u00e3o \u00e9 apenas se o servidor arranca: compare tamb\u00e9m a qualidade da tarefa pretendida, o tempo de resposta e o esfor\u00e7o necess\u00e1rio para os pesos do modelo. O suporte ao modelo e ao backend deve continuar a ser verificado para a combina\u00e7\u00e3o espec\u00edfica. <\/p>\n<p style=\"margin:0 0 1.1em;font-size:inherit;line-height:inherit\">Para um servi\u00e7o de chat interno, o vLLM pode ser considerado um candidato a teste: a documenta\u00e7\u00e3o dispon\u00edvel descreve uma interface de chat compat\u00edvel com a OpenAI, incluindo o modelo de chat necess\u00e1rio. N\u00e3o h\u00e1, portanto, qualquer registo de um teste para a vers\u00e3o 0.10.2. O SGLang continua a ser aqui uma sugest\u00e3o alternativa n\u00e3o avaliada proveniente da documenta\u00e7\u00e3o da TGI; sem um teste t\u00e9cnico da vers\u00e3o, n\u00e3o \u00e9 poss\u00edvel compar\u00e1-lo de forma equivalente.  <\/p>\n<p style=\"margin:0 0 1.1em;font-size:inherit;line-height:inherit\">Uma plataforma para modelos de imagem e modelos de linguagem apresenta requisitos diferentes dos de um \u00fanico ponto de acesso de chat. O Triton constitui um ponto de refer\u00eancia devido aos seus agendadores e back-ends espec\u00edficos para cada modelo, embora a vers\u00e3o 25.10 n\u00e3o tenha sido verificada neste contexto. Esta arquitetura torna a <strong style=\"font-weight:700;color:inherit\">Suporte de backend<\/strong> Quanto \u00e0 quest\u00e3o crucial dos detalhes: nem todos os backends s\u00e3o suportados em todas as plataformas, e cada modelo necess\u00e1rio tem de ser verificado na combina\u00e7\u00e3o espec\u00edfica.  <\/p>\n<p style=\"margin:0 0 1.1em;font-size:inherit;line-height:inherit\">Ao tomar a decis\u00e3o, tenha em conta a revis\u00e3o do modelo, a vers\u00e3o do servidor, o hardware, o backend e os direitos de utiliza\u00e7\u00e3o. Em seguida, compare a qualidade, os tempos de resposta sob a carga prevista e o esfor\u00e7o necess\u00e1rio para a seguran\u00e7a, as atualiza\u00e7\u00f5es e a dete\u00e7\u00e3o de erros. Uma solu\u00e7\u00e3o que seja suficiente para um teste local pode exigir infraestrutura adicional no caso de v\u00e1rios utilizadores ou tipos de modelos; uma lista de melhores resultados gen\u00e9rica ocultaria essas diferen\u00e7as.<\/p>\n<\/section><section class=\"wh-sources\" style=\"margin:40px 0 0;padding:24px 0 0;border-top:1px solid #dce5e9;color:#596b7b;font-size:14px;line-height:1.65\"><h2 style=\"margin:38px 0 18px;color:#172f41;font-size:clamp(24px,1.25rem + 1vw,30px);font-weight:700;line-height:1.3;scroll-margin-top:115px\">Fontes e estado atual dos conhecimentos<\/h2><p style=\"margin:0 0 1.1em;font-size:inherit;line-height:inherit\">Estado da pesquisa: <time datetime=\"2026-11-04\">2026-11-04<\/time><\/p><p style=\"margin:0 0 1.1em;font-size:inherit;line-height:inherit\">Estado da pesquisa e documenta\u00e7\u00e3o: 4 de novembro de 2026. O artigo classifica o vLLM, o llama.cpp, o Triton e o TGI com base na documenta\u00e7\u00e3o geral dos projetos; o SGLang continua a ser uma refer\u00eancia alternativa n\u00e3o avaliada. Algumas das fontes remetem para estados de documenta\u00e7\u00e3o vari\u00e1veis ou para o ramo de desenvolvimento. N\u00e3o h\u00e1 comprova\u00e7\u00e3o de uma an\u00e1lise completa relacionada com a vers\u00e3o para o vLLM 0.10.2, o llama.cpp b6000, o Triton 25.10 e o TGI 3.3.7. Estas vers\u00f5es n\u00e3o constituem vers\u00f5es de refer\u00eancia verificadas nem recomenda\u00e7\u00f5es de implementa\u00e7\u00e3o. As combina\u00e7\u00f5es espec\u00edficas de modelos, back-end e hardware devem ser verificadas para a vers\u00e3o selecionada.<\/p><div class=\"wh-source-urls\"><p style=\"margin:0 0 1.1em;font-size:inherit;line-height:inherit\"><span class=\"wh-source-url\" data-no-translation dir=\"ltr\" style=\"overflow-wrap:anywhere;font:12px\/1.6 ui-monospace,monospace;direction:ltr\">https:\/\/github.com\/ggml-org\/llama.cpp\/blob\/master\/docs\/models.md<\/span><\/p><p style=\"margin:0 0 1.1em;font-size:inherit;line-height:inherit\"><span class=\"wh-source-url\" data-no-translation dir=\"ltr\" style=\"overflow-wrap:anywhere;font:12px\/1.6 ui-monospace,monospace;direction:ltr\">https:\/\/docs.nvidia.com\/deeplearning\/triton-inference-server\/user-guide\/docs\/user_guide\/architecture.html<\/span><\/p><p style=\"margin:0 0 1.1em;font-size:inherit;line-height:inherit\"><span class=\"wh-source-url\" data-no-translation dir=\"ltr\" style=\"overflow-wrap:anywhere;font:12px\/1.6 ui-monospace,monospace;direction:ltr\">https:\/\/huggingface.co\/docs\/text-generation-inference\/main\/en\/index<\/span><\/p><p style=\"margin:0 0 1.1em;font-size:inherit;line-height:inherit\"><span class=\"wh-source-url\" data-no-translation dir=\"ltr\" style=\"overflow-wrap:anywhere;font:12px\/1.6 ui-monospace,monospace;direction:ltr\">https:\/\/docs.vllm.ai\/en\/stable\/serving\/online_serving\/openai_compatible_server\/<\/span><\/p><p style=\"margin:0 0 1.1em;font-size:inherit;line-height:inherit\"><span class=\"wh-source-url\" data-no-translation dir=\"ltr\" style=\"overflow-wrap:anywhere;font:12px\/1.6 ui-monospace,monospace;direction:ltr\">https:\/\/github.com\/triton-inference-server\/backend<\/span><\/p><p style=\"margin:0 0 1.1em;font-size:inherit;line-height:inherit\"><span class=\"wh-source-url\" data-no-translation dir=\"ltr\" style=\"overflow-wrap:anywhere;font:12px\/1.6 ui-monospace,monospace;direction:ltr\">https:\/\/huggingface.co\/docs\/inference-endpoints\/engines\/vllm<\/span><\/p><p style=\"margin:0 0 1.1em;font-size:inherit;line-height:inherit\"><span class=\"wh-source-url\" data-no-translation dir=\"ltr\" style=\"overflow-wrap:anywhere;font:12px\/1.6 ui-monospace,monospace;direction:ltr\">https:\/\/huggingface.co\/docs\/inference-endpoints\/engines\/tgi<\/span><\/p><\/div><\/section><\/div>","protected":false},"excerpt":{"rendered":"<p>O artigo classifica o vLLM, o llama.cpp, o Triton e o TGI de acordo com os dom\u00ednios de aplica\u00e7\u00e3o e os limites operacionais. O SGLang continua a ser uma sugest\u00e3o alternativa n\u00e3o avaliada; n\u00e3o existe uma compara\u00e7\u00e3o de funcionalidades relacionada com as vers\u00f5es.<\/p>","protected":false},"author":1,"featured_media":22147,"comment_status":"closed","ping_status":"","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"inline_featured_image":false,"footnotes":""},"categories":[922],"tags":[],"class_list":["post-22139","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-technologie"],"acf":[],"_links":{"self":[{"href":"https:\/\/webhosting.de\/pt\/wp-json\/wp\/v2\/posts\/22139","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/webhosting.de\/pt\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/webhosting.de\/pt\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/webhosting.de\/pt\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/webhosting.de\/pt\/wp-json\/wp\/v2\/comments?post=22139"}],"version-history":[{"count":6,"href":"https:\/\/webhosting.de\/pt\/wp-json\/wp\/v2\/posts\/22139\/revisions"}],"predecessor-version":[{"id":22150,"href":"https:\/\/webhosting.de\/pt\/wp-json\/wp\/v2\/posts\/22139\/revisions\/22150"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/webhosting.de\/pt\/wp-json\/wp\/v2\/media\/22147"}],"wp:attachment":[{"href":"https:\/\/webhosting.de\/pt\/wp-json\/wp\/v2\/media?parent=22139"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/webhosting.de\/pt\/wp-json\/wp\/v2\/categories?post=22139"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/webhosting.de\/pt\/wp-json\/wp\/v2\/tags?post=22139"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}