有效利用 ChatGPT 多模态技术的十种最佳方法

欢迎来到未来，ChatGPT 不仅可以说话，还可以识别图片！我们一直在等待这一天，现在它终于来了！这里有 10 种超级有用的方法，您可以在 ChatGPT 聊天窗口中使用多模态图像识别功能。

1. 语言翻译

想象一下，您正在旅行，遇到一个看起来很重要的招牌，但可惜！它使用的语言对您来说就像恩尼格码一样易于理解。我们都去过那里，不是吗？

漫步在欧洲古老城镇的鹅卵石街道上，您偶然发现了一块看起来古老的招牌。它很有趣，很神秘，但是它是……意大利语。面对现实吧，你看意大利语就像看天书一样。你这个时候需要做的是什么？只需要拍一张照片并将其扔到 ChatGPT 即可！

我这里有一个招牌，我就像狗展上的猫一样迷路了。你能帮我翻译一下并给我一些背景信息吗？

这不仅仅是破译外国菜单，这是关于打破障碍、建立联系并确保语言不再是障碍。另外，想象一下，如果您是学生或研究人员，老板给您布置了一项任务，您需要翻译整页文本。

2. 医疗保健指南

当新的斑点、肿块或皮疹决定在我们的身体上安营扎寨时，我们都会有这样的"哦豁"时刻。与其去问百度——你知道，它上面的医疗广告会让你感觉得了绝症一样 —— 让我们访问 ChatGPT。

醒来时感觉自己就像一个全身长满痘痘的人。你能看一下我的皮肤图片并给我一些初步的议吗？

ChatGPT 会像往常一样告诉你，它不是医生等等，但它肯定可以为你指明正确的方向，在你咨询真正的医生之前给你一个提示。你一定要热爱未来！

这一切都与第一步有关，"我应该担心这个吗？"片刻。因为谁愿意在候诊室待上几个小时却被告知只是被虫子咬了呢？

重要提示：请确保图像中不包含任何人脸，因为 ChatGPT 已被限制分析包含人脸的图像。

3. 教育辅导

我们都曾经历过这样的情况，盯着一道看似用象形文字写成的数学题，或者一张可能是藏宝图的历史地图。拍一张照片，将其发送到 ChatGPT，然后观看奇迹发生！

注意：如果您使用 Wolfram 插件进行数学计算，请确保已启用它。

这个方程的字母和符号比我奶奶的填字游戏还多！你能帮我解决吗？还有这张地图是怎么回事？ X 正在标记位置吗？

学习不应该是有趣的吗？

对于交易图表分析也很有用：

4. 时尚推荐

我们都面临过衣柜难题。一堆衣服却没有穿的。这就像饿了，冰箱里装满了食物，却还要叫外卖。

"即将进城，我的服装给人一种平淡的感觉。能帮忙看一下我的风格吗？"

谁知道你祖母的胸针和那双被遗忘的靴子搭配在一起会显得如此别致？

5. 辅助健身

在镜子前弯曲但就是感觉有些不对劲？您可以拍下自己的照片 – 没有面孔，我们将保持匿名！ ChatGPT 不需要看到您的面孔。

看看我的战士姿势。我需要进行哪些调整？

ChatGPT 很快就会分析您的 Prompt，我们明白，每个人的健身之旅都是独一无二的。无论您是举重、跑步还是深蹲，正确的姿势都是关键！

6. 烹饪指导

ChatGPT 在食谱和烹饪指导方面已经令人难以置信，尤其是当你给它一份配料清单时。现在，您不必站在冰箱前，眼睛在一根孤独的胡萝卜和一块吃了一半的奶酪之间来回移动，想知道里面是否潜藏着烹饪杰作？

拍一张照片，ChatGPT 就可以开始工作了。

这是我冰箱里的东西。我的膳食选择是什么？

ChatGPT 会将这些成分转化为风味交响曲。

7. 装修建议

盯着你的客厅，感觉更像是"嗯"而不是"是的"？梦想着一个充满"你"的空间却陷入了装饰困境？

拍一张您的空间照片，让 ChatGPT 成为您的室内设计大师！无论您是住在舒适的角落公寓还是宽敞的郊区住宅，那里都会变得更加温馨！

这是我的客厅。感觉有点沉闷。可以帮我调整一下吗？我想也许是波西米亚风格，但我对想法持开放态度。另外能为我的老式灯找一个合适的地方吗？

在你不知不觉中，ChatGPT 已经像设计师一样给出建议。调色板？流动的家具布置？再检查一遍！让一切都发光的照明？三重检查！这就像在你的客厅里举办一场家居改造秀。。

8. 了解野生动物和宠物行为

你是否曾在凌晨 3 点看着你的猫表演太阳马戏团的特技，然后想知道："怎么了，胡须？"或者在徒步旅行时偶然发现一个生物，然后想："这个小家伙是谁？"拍张照片并提问，因为 ChatGPT 即将成为您的野生动物耳语者和宠物心理学家！

在我的后院发现了这只鸟 —— 以前从未见过这样的鸟。你能告诉我它是什么品种以及它喜欢吃什么吗？另外这是我家狗的照片。他最近一直在花园周围挖着什么——知道为什么吗？

ChatGPT 正在投放有关物种特征的知识炸弹，提供有趣的事实，并提供量身定制的技巧来了解和照顾您的毛茸茸、羽毛或有鳞的朋友！

9. 识别植物种类

在你的花园里偶然发现一个神秘的绿叶家伙，眯着眼睛，挠着你的头？或者，也许你家里的这个盆栽伙伴看起来有点不舒服？

拍张照片然后……

刚刚在我的后院发现了这种植物，知道它是什么吗？

在你说出"叶绿素"之前，ChatGPT 会潜入它的植物大脑，像园艺嘻哈艺术家一样吐出物种名称和护理说明。无论是向日葵还是喷嚏草，您都会在其中找到合适的环境、浇水节奏。

10. OCR 功能

想象一下——你有一堆旧收据、文件，哦，也许还有一两张神秘的便条。与其潜入破译混乱的丛林，不如拍张照片，上传，然后让 ChatGPT 来完成繁重的工作！

"你能为我读一下这张收据并将其输入到表格中吗？我将发送更多收据。将它们添加到表中"

这是最关键的 - 有一个测试问题看起来像是用古代符文写的？拍下它，发送它，然后 ChatGPT 会变成您的私人导师，分解问题，提供答案，同时让您感觉自己像个天才！此时可以心疼你的老师一秒。

关于 ChatGPT 的多模态功能的常见问题解答

ChatGPT 推出了哪些新功能？

语音和图像功能。现在，您可以进行语音对话或显示 ChatGPT 图像，使交互更加直观和有趣。

这些功能在我的日常生活中有何用处？

您正在旅行并拍摄了一个地标的照片。现在，您可以与 ChatGPT 进行实时对话！或者，你正在家里考虑晚餐；一张冰箱和食品储藏室的快速照片，这样晚餐建议即将到来！

谁可以在哪些平台上使用这些新功能？

Plus 和 Enterprise 用户。语音功能将在 iOS 和 Android 上提供（只需在您的设置中选择加入），图像功能将在所有平台上提供。

如何开始使用图像功能？

十分简单！点击照片按钮来拍摄或选择图像。如果您使用的是 iOS 或 Android，请先点击加号按钮。您可以讨论多个图像或使用我们的绘图工具来引导对话。

ChatGPT 图像理解的动力是什么？

多模态 GPT-3.5 和 GPT-4 推动了图像理解。这些模型将其语言推理技能应用于广泛的图像，包括照片、屏幕截图以及包含文本和图像的文档。

基于视觉的模型有什么挑战吗？

基于视觉的模型有时会误解图像，尤其是在高风险领域。

这个功能的开发是如何获知的？

ChatGPT 一直与 Be My Eyes（一款针对盲人和弱视人士的应用程序）密切合作，以了解新功能的用途和限制。这种合作帮助它使该功能既"有用又安全"。

ChatGPT 可以对图像中的人物进行分析和陈述吗？

OpenAI 限制了 ChatGPT 分析图像中的人物并对其做出直接描述的能力，以尊重个人隐私。

我可以使用该功能进行有关包含人物的图像的一般对话吗？

是的。用户发现就图像进行一般性对话很有价值，即使背景中包含人物。但请记住，对个人进行详细分析是不行的！