用AI做圖、修圖時(shí)，大眾經(jīng)常會(huì)遇到一些難題：想把圖中的杯子挪個(gè)位置，結(jié)果杯子變形了；想換個(gè)視角看看畫面，透視卻完全不對；想調(diào)整兩個(gè)物體的前后位置，也會(huì)出現(xiàn)遮擋混亂、比例失衡……
4月8日，新京報(bào)貝殼（BEKE）財(cái)經(jīng)記者從京東（JD）獲悉，京東（JD）探索研究院近日正式開源了自研的JoyAI-Image-Edit圖像模型，以解決上述難題。京東（JD）探索研究院稱該模型是業(yè)內(nèi)首個(gè)把“空間智能”刻進(jìn)骨子里的開源模型，讓AI終于能真正“看懂”空間、“編輯”空間，從原來的平面修圖，升級成了三維空間重塑，而且模型的推理代碼全部開放，開發(fā)者能直接拿來做應(yīng)用。
官方資料顯示，JoyAI-Image-Edit貼合真實(shí)世界空間規(guī)律，從空間位置關(guān)系、多視角一致性、相機(jī)感知到場景推理等維度全面建模，實(shí)現(xiàn)了相機(jī)坐標(biāo)視角變換、物體空間位移旋轉(zhuǎn)、幾何結(jié)構(gòu)精準(zhǔn)控制等多項(xiàng)空間編輯技術(shù)突破，將空間認(rèn)知能力深度融入文本與圖像生成流程，搭建了完整的空間理解數(shù)據(jù)與任務(wù)體系。
全面兼容15類通用編輯能力，擅長長文本精準(zhǔn)渲染
具體而言，該模型打破了AI“理解圖像”和“生成圖像”的壁壘，讓AI不僅能生成逼真的圖像外觀，更能精準(zhǔn)理解圖像背后的空間結(jié)構(gòu)，在編輯過程中穩(wěn)定保持主體形象與場景結(jié)構(gòu)完整，多視角空間布局高度一致。不管是移動(dòng)物體、換視角，還是調(diào)整物體間的關(guān)系，都能保持場景的幾何規(guī)律，遮擋、光影也都自然合理，不會(huì)再出現(xiàn)變形、錯(cuò)亂的情況。
京東（JD）探索研究院相關(guān)負(fù)責(zé)人對新京報(bào)貝殼（BEKE）財(cái)經(jīng)記者表示，JoyAI-Image-Edit的核心躍升，在于其攻克了此前開源模型難以逾越的空間理解難題，具備三大辨識度高的空間編輯能力：視角變換——用戶可通過自然語言指定相機(jī)的偏航角、俯仰角及縮放程度，模型在保持場景幾何一致性的前提下生成新視角圖像；空間漫游——支持連續(xù)的視角移動(dòng)，生成在空間中邏輯連貫的多視角圖像序列，類似于在三維場景中“走動(dòng)”；物體空間關(guān)系操控——在保持場景整體結(jié)構(gòu)穩(wěn)定的前提下，對特定物體進(jìn)行位移、縮放等空間變換，同時(shí)確保遮擋與光影關(guān)系自然合理。
在實(shí)現(xiàn)空間級突破的同時(shí)，JoyAI-Image-Edit全面兼容15類通用編輯能力，深度覆蓋內(nèi)容創(chuàng)作的高頻需求。無論是物體的替換、刪除、添加，還是整體風(fēng)格遷移、細(xì)節(jié)精修等操作，模型均實(shí)現(xiàn)了高性能覆蓋。結(jié)合頂尖的空間編輯技術(shù)，模型在長文本精準(zhǔn)渲染、多視角一致性生成等行業(yè)高難度任務(wù)中表現(xiàn)卓越，真正做到了全場景、無死角的高效創(chuàng)作。
京東（JD）高級副總裁何曉冬在接受新京報(bào)貝殼（BEKE）財(cái)經(jīng)記者采訪時(shí)表示，通用人工智能（885728）有兩個(gè)方向要走，一個(gè)方向是多模態(tài)，大模型必須具有視覺能力，未來甚至可以更進(jìn)一步延伸向嗅覺、觸覺；另外一個(gè)方向是走向具身智能，包括機(jī)器人、機(jī)械臂、無人車等，讓通用人工智能（885728）走向物理世界。
重點(diǎn)應(yīng)用于具身智能領(lǐng)域，模型還將探索多種場景
應(yīng)用層面，JoyAI-Image-Edit模型可廣泛應(yīng)用于電商內(nèi)容生產(chǎn)、創(chuàng)意設(shè)計(jì)制作、智能圖像處理、3D模型重建、具身智能視覺感知等多元領(lǐng)域，大幅提升AI圖像技術(shù)在復(fù)雜空間場景中的適配性與實(shí)用性。尤其是在具身智能領(lǐng)域，空間理解能力是機(jī)器人“理解世界”的核心基礎(chǔ)，而該模型的推出，也為相關(guān)技術(shù)研發(fā)提供了關(guān)鍵的底層能力。
具身智能相關(guān)測試圖。受訪者供圖
在具身智能實(shí)測領(lǐng)域，演示效果顯示：用戶僅需輸入自然語言提示詞（如“機(jī)器人左手舉起來”），并通過畫框框選目標(biāo)區(qū)域，即可對指定物體的動(dòng)作、姿態(tài)、旋轉(zhuǎn)角度進(jìn)行精細(xì)化操控。在機(jī)器人做家務(wù)的實(shí)拍場景中，模型在完整保留背景環(huán)境、物體空間關(guān)系與物理合理性的前提下，生成了機(jī)器人抬手的全新姿態(tài)。
2025年，京東（JD）在具身智能領(lǐng)域完成關(guān)鍵布局。其依托JoyAI大模型底層能力，正式推出JoyInside“附身智能”解決方案，面向智能家電、機(jī)器人等終端硬件植入高情商交互系統(tǒng)，將AI的認(rèn)知與情感能力深度嵌入硬件終端，實(shí)現(xiàn)更貼合人類習(xí)慣的自然交互。
此后，京東（JD）持續(xù)探索具身智能生態(tài)建設(shè)。一方面，圍繞JoyInside平臺(tái)迭代技術(shù)版本，升級語音、多模態(tài)感知等核心能力；另一方面，加快產(chǎn)業(yè)落地，通過開放接口、合作開發(fā)等模式，與多家家電及機(jī)器人企業(yè)達(dá)成合作，推動(dòng)具身智能技術(shù)在家庭陪伴、日常服務(wù)等場景的規(guī)?；瘧?yīng)用。
京東（JD）探索研究院相關(guān)負(fù)責(zé)人稱，此次JoyAI-Image-Edit的開源，是京東（JD）在AI多模態(tài)模型領(lǐng)域的重要布局，讓AI圖像編輯實(shí)現(xiàn)了從平面到空間的大跨越。未來該模型還將持續(xù)落地更多場景，不斷探索空間智能落地價(jià)值。
