AI 人工智慧準備統治全世界智慧新世代 2024 年 02 月 16 日

NVIDIA 推出「Chat With RTX」可在 RTX 30、RTX 40 GPU 電腦本機運行大型語言模型

想要在自己的電腦上佈建類似 ChatGPT 的聊天機器人服務嗎？若你使用的是 NVIDIA 的高階 GPU，不妨可以關注一下 NVIDIA 日前發佈了適用於 Windows 作業系統的「Chat With RTX」，只要使用的是 GeForce RTX 30 或 RTX 40 系列顯示卡，即可在本機運行 Llama 2 和 Mistral 兩種大型語言模型（LLM），並能回答關聯至應用程式內容的查詢，包括文件、照片和影片…等，也能載入 YouTube 影片的轉錄，並使用它來回答與影片相關的內容。

你可能會有興趣

文章目錄

本地端佈署大型語言模型的聊天機器人將更為容易

「Chat With RTX」可讓我們在本地端的電腦運行 LLM，不需要連結網路，NVIDIA 也標榜這個應用提供快速且安全的回答。不過 NVIDIA 也提到，Chat With RTX 目前只是一個「演示」版本的應用程式，且為免費提供給使用者，而檔案大小高達 35GB，可直接從 NVIDIA 的官方網站下載使用。

Chat With RTX 是同類型語言模型用應用中的首個開放程式，讓一般人也能輕易取得 LLM，並藉此開發更多元的應用，而未來 NVIDIA 也能基於這個程式推出許多其他功能，發展潛力不小。自從 OpenAI 推出 ChatGPT 以來僅一年半的時間，我們已經在「生成式 AI」的世界中看到更多創新，毫無疑問，這也將會是未來科技領域發展的重要方向。

什麼是 Chat With RTX？

Chat With RTX 是一款演示應用程式，可以透過個人化方式連結到自己的內容，包括文檔、筆記、影片或其他數據的 GPT 大語言模式（LLM），並能透過檢索增強生成（RAG）、TensorRT-LLM 和 RTX 加速，並能查詢自訂聊天機器人，以快速獲得上下文的相關答案。由於它全部在你的 Windows 電腦或工作站本地運行，因此更能獲得快速、安全的結果。

Chat With RTX 系統需求

平台：Windows 11
圖形處理器：NVIDIA GeForce RTX 30 或 40 系列 GPU 或 NVIDIA RTX Ampere 或 Ada Generation GPU，具有至少 8GB VRAM
記憶體：16GB 以上
驅動程式：535.11 以上

你可能會有興趣

歷史上的這一天，我還寫了…

阿祥

阿祥，本名秦庭祥（Axiang Chin），是一個專注於3C領域、尤其是行動通訊領域的部落客，自2004年10月開始經營部落格超過20年之久，長期關注3C產品資訊與應用－尤其聚焦於智慧型行動裝置、雲端服務應用、App評析與行銷、以及遊戲評測與產業趨勢…等議題。阿祥同時也是3C布政司共同創辦人，提供社群行銷、教學與體驗活動規劃…等服務，並曾擔任元智大學資訊傳播學系兼任講師、國立空中大學管理與資訊學系學科委員，並於三星學園長期擔任手機課程講師，也受邀前往多間大學、政府機關擔任講師，分享雲端與行動工具應用心得。 Google

NVIDIA 推出「Chat With RTX」可在 RTX 30、RTX 40 GPU 電腦本機運行大型語言模型

你可能會有興趣

本地端佈署大型語言模型的聊天機器人將更為容易

什麼是 Chat With RTX？

Chat With RTX 系統需求

你可能會有興趣

歷史上的這一天，我還寫了…

相關

阿祥

無留言

發表留言取消回應

axiang

NVIDIA 推出「Chat With RTX」可在 RTX 30、RTX 40 GPU 電腦本機運行大型語言模型

你可能會有興趣

本地端佈署大型語言模型的聊天機器人將更為容易

什麼是 Chat With RTX？

Chat With RTX 系統需求

你可能會有興趣

歷史上的這一天，我還寫了…

相關

你也許會喜歡

無留言

發表留言 取消回應

axiang

發表留言取消回應