我要发帖 回复

高级会员

526

主题

4267

积分

0

专家分

兴趣点(最多三项):

CryEngine引擎

私信
发表时间 : 2016-11-16 16:22:42 | 浏览 : 1565    评论 : 1
作者:胡痴儿2.0
链接:https://www.zhihu.com/question/41081637/answer/90386445
来源:知乎
著作权归作者所有,转载请联系作者获得授权。

(警告:因为cursor 过小,请在PC端将图片放大后观看)
—————————————————————————————————————
Gaze 是 Hololens 交互的第一步,它需要瞄准交互目标,而 cursor 则相当于鼠标的光标。一旦在gaze的基础上用语音或者手势触发了,下一步操作,那交互的权利就交给了语音和手势了。所以,cursor 承载了两个信息:
  • 你再看哪?
  • 你被看的东西能否交互?
现有的VRAR一般将cursor放在显示器几何中心的位置,而hololens的cursor放在两眼中间的位置,所以控制它的方法还是头部的六自由度旋转和位移。
1dcf92453b0624848138f7ebd5dbf737_b.jpg

微软设计gaze的目的就是让用户相信,『哦,这是我的视觉中心』,然后用头部调节。而『视觉中心』恰恰能够代表用户关注它的地方和他的目的。
而在用户有了第二步交互(语音和手势)之前,就得让用户知道,『哦,我的操作都被hololens理解了。』——这叫反馈。然后就产生了良性循环,用户知道怎么做系统会怎样理解。
正常情况下,cursor 是会一直显示的,如果用户找不到cursor,他则会迷失在界面中。所以,cursor 是三自由度的跟着你移动的,不会随着你的远去而变小,以免你看不到它。
cursor 的缺点也显现出来了,那就是可能会有些遮挡全息的映像或者内容。比如我用mac的时候,光标在屏幕上停了一会儿没动,它就消失了,然后你摸摸Trackpad,它又出来了,你实在找不到它的时候搓一搓Trackpad或者晃一晃鼠标,cursor 就变大,告诉你它在哪。
所以,一个是不能让用户找不到,一个是不能打扰用户,两者综合考虑后得出 cursor 的视觉层级(即透明度)。其实 cursor 的『显』和『隐』正涉及了页面层级的变化,我后面会讲到。
—————————————————————————————————————
1. Cursor 的形状
49f9610e2abca74f9268ac503668e2a2_b.jpg


一般 cursor 用 torus 这种形式。

因为这种形状不具备方向感。因为一个圆润的玉环能够最大限度降低 cursor 对用户的吸引,而如果放一个传统的『箭头』式的光标上去,很容易吸引用户,让用户迷惑:『系统是不是让我看这里呢?』
但是在 连续手势交互『Navigation』的情况下,cursor会发生变化,比如
b2d85139d24f26b2f041036ee572427b_b.png


或者donut
63ea1bb9c90907a5775edf8ab6c14a8c_b.jpg

—————————————————————————————————————
2. 基于三维的 cursor 经典案例——Project Origami
接下来我想说 surface-locking这个功能,意思是说cursor 可以贴在物体的表面(这里我找的案例是 Project Origami ),也是和普通VR眼镜上的cursor最大的不同之处。
Cursor浮于的表面有两种,第一种是虚拟物体,第二种是现实中的物体,而你看见cursor浮在现实的物体上,其实是浮在 spatial mapping mesh 上。(对于开发者而言,从用户在看的地方,也能推测他的意图)
注意下面几张图片,gaze在不同面的时候都贴着物体所在的表面。(另外我惊奇地发现 cursor在浅色物体上会变深,在深色物体上回变浅。)
cursor在纸面上
贴在右边的红色纸盒上
贴在黄色纸盒的后面
贴在右边的纸飞机上
贴在小球的表面
在你gaze贴在该物体的基础上,airtap一下则触发,你也可以对它说『drop sphere』(比如这里是触发小纸球掉下去。)

—————————————————————————————————————
3. 手势对 cursor 的影响
当手微微捏合的时候,圆圈变小一点
当完全捏住的时候,cursor变成一个小点
松手时,圈圈变大。(松手瞬间触发『选中』)

没有手的的视角再看一次
捏下去瞬间 cursor 变小
同时触发新页面打开
松手 cursor 变大

—————————————————————————————————————
3. 基于二维的 cursor 和 hold的组合
我们先说一个重点,就是让 hololens 区分你只有 gaze 移动伸出手指并手指移动,这两种状态。
伸出手指时,cursor 的图形为『☉』

把手放下,只有 gaze 的状态:
此时,cursor的形状为『·』
(注意当hover on在选项上时,现实选项相关信息)

—————————————————————————————————————
很多时候 cursor 并不是一个独立的动作,而是和其他动作一起组合。比如下面——
cursor、hold和air-tap的组合:
中间有个带径向渐变的亮点,正是你的cursor。
(注意那个小亮点)
你gaze在skype的图标上,这时伸出手指hold。画面中出现了透明的小方块,告诉你『你伸出的手指被系统识别了(相当于手的准备动作)』(同样的,cursor 也可以告诉你与该物体可以进行语音交互,或者告诉你『系统准备接受你的语音交互啦~』)
保持伸直的食指,gaze移到下面。
向下勾一下手指
当食指抬起来的时候,亮色小方块慢慢凹进去
打开应用
从窗口页面切换回多任务界面
当切回多窗口页面时,cursor变成一个圆环内一个圆锥的形式。
这时便可用它选择一个新页面。

—————————————————————————————————————
4. Skype 中的 cursor
注意图中的 cursor ,周围带着一圈光晕。

当 cursor 浮在可交互的控件上时,微微放大,同时缩略图也微微放大。
进入新的页面后,cursor 成了一个亮蓝色的小点(图中心偏右上的位置)

蓝色的cursor就是你的gaze,当你的 cursor 靠近可交互控件的时候,cursor 会被吸上去(系统告诉你:这个物体可以交互)。
当你捏住手指的瞬间,cursor变白(因为白色是hologram中最亮的颜色,此时在在它后面加上阴影,则cursor处于所有物体之上,或者最靠近你的眼睛,就是告诉你它被你激活了。反之,它阴影消失逐渐变暗则退居到全息内容之后。),而被选中的页面变蓝。
其他页面隐去。
当有视频的时候gaze一般会消失,以更大限度地呈现内容。但是这里又产生出一个问题,如果 gaze 消失了之后,用户又想操作界面怎么办呢?那就要另外设计一个方法来唤起 gaze 。
—————————————————————————————————————
5. 利用cursor 在 AR 游戏中设置机器人前进的点
在这里cursor贴在现实的地面上。
air-tap就建立一个新的点
机器人就会往这边过去。
用 cursor 控制游戏中人物的前进方向这种交互最早用在电脑游戏上,我小学二年级的时候去网吧,整个网吧的人都在玩《传奇》,就是用鼠标控制人物前进,整个网吧都是清脆的鼠标点击声。
(注意蓝色的巨大cursor,这个是选中的区域,它会一直朝着这个方向跳。)


箭头引导前进方向

蓝色的 cursor 落在哪,它就在哪落地。


—————————————————————————————————————
6. 第三人称视角的 gaze
如果另一个人也戴着,那么就可以看见你正在看的位置,并且像射线一样呈现出来,这样你可以把你正在看的地方分享给它(这个功能在教学和团队协作领域用到的比较多)
(在页面关系上,被gaze的控件向前并放大。)
gaze 看不同的位置,不同的位置微亮






—————————————————————————————————————
7. 隐藏成一个小亮点的 cursor
而如果当前没有操作,cursor 则会被暂时隐藏。
—————————————————————————————————————
8. 像光一样投影在地面上的 cursor
这个 APP 最神奇的地方在于它的 cursor 完全像光打在地面上一样,会有很强的和环境融为一体的感觉。
cursor 对准你想标记的地方。
此时 air-tap ,插上一面旗帜做标记~
—————————————————————————————————————
选定标记的种类:APXS、Chem Cam、Mast Cam
9. cursor 指示方向
当可交互区域不在当前视线范围之内时,给出箭头引导用户转头去看。

—————————————————————————————————————
10. Holostudio 里的 cursor
油漆瓶的前面的圆环告诉你它即将要喷洒的区域

当 cursor 放在可交互的物体上时,整个物体被蓝色的泡泡包住。
图中的玩具鸭被选中时的 cursor ——前面那个白色四棱锥和圆环的组合。
3D 打印页面
有较复杂的操作的holostudio中,air-tap一下以后物体会跟随你的手指移动。
cursor对准
air-tap
移动手腕以移动物体
用画笔在卡车的车门上滑动
用胶水把小鸭子黏在卡车的前引擎盖上

—————————————————————————————————————
11. 补充一个 fusion 360 中的 cursor

—————————————————————————————————————
12. 其它形态的 cursor
下面介绍另一种风格的 gaze ,在《fragment》这个游戏中有用到。就是四个角上都有一个以对角线方向朝着中心的圆锥体,当 hover on在不同大小的物体时,gaze 的大小也发生调整。





—————————————————————————————————————
Unity 中的 cursor
吸在已经渲染好的 mesh 上。
每一帧都要更新。
根据用户所在的方向和位置算出相应的 gaze。
如果用户看的地方是一个全息的影像,则渲染一个 cursor。
将 cursor 移动到正对的地方,并旋转 cursor 以贴在物体表面。
而如果用户的没有去看能够交互的物体,则 cursor 消失。



f89b28bf1267b16264f80172150bc1be_b.jpg
f2b46dc31f637904e26c05c642f2fa96_b.jpg
f0c7f47e0b72954c1255e18f82eebec9_b.jpg
ef2424382f499aa0b4cf1472da284e65_b.jpg
ef2257a552ddce087044df0f2ac58ade_b.jpg
ee9b29997852802bfedf0a53b4e1284d_b.jpg
ed90005b0aa68dbee37dba32589f7e5a_b.jpg
eb95870ade72968ce7c33f720ad2aa6d_b.jpg
ea03c3f649fedf6e91b3de743fe8fc32_b.jpg
e98542411e9a2f931cf3cc71335e8957_b.jpg
e221da457b235cc20d3ed51041b7eb3a_b.jpg
e146c6c6693234215e4a94e6cfab5c73_b.jpg
e42dc75abe28c283a6dd835e96f0921a_b.jpg
e4b63d3037b765677be047238c0cd29a_b.jpg
e4a5918f65edf15c3c56ce94e646daaf_b.jpg
decccd37719574e5b943bbd70fb07983_b.jpg
dcb32bcce5d2170937149135ba187fde_b.jpg
dc3c69722125e0b23d975cd9e5f7c68b_b.jpg
d2222de2182c09dba5fb76520eb2dd0e_b.jpg
d6a7fed2c708b3505bfac094660f539b_b.jpg
cf97dd7ac8f703e2c08bdee01f78e2a2_b.jpg
ce161710c480468a0156b85c5a8822b6_b.jpg
ce8f136b7ffdb0ba6aaccf6e2f48e5f6_b.jpg
ce0c01220afe286755f892399154b476_b.jpg
cc1333eb7fad8fb101c8a73a12f3b7ae_b.jpg
cc486c78e0f79243589804a3c3dd55a5_b.jpg
ca02d64658b6cbc40e2e49be071b683f_b.jpg
c735946cad906dd57241986a172c6e56_b.jpg
c445a095e7a0490f641cbe781b17ebad_b.jpg
c369f5cd0ea8029fb5bd253738207096_b.jpg
c44b7dba1d862804c2dbbd5d06059bf9_b.jpg
c044b3e5bb8238059979ff0519fdaa49_b.jpg
c8b06fb1594f11ff87113bddb831d321_b.jpg
c1f0690fa9328e0f28265772fa6edaa4_b.jpg
b2783f5724ee4da8f30fedd289d0b18d_b.jpg
b396c8d1fa4329e75e1fda6b5669594a_b.jpg
b65c16ab9f033f796a632575945e8eec_b.jpg
b9cac3c358e296d9677df2a910d17766_b.jpg
b8cd67ced22e04eedb4d1ed07e175fa7_b.jpg
b2d85139d24f26b2f041036ee572427b_b.png
b2a1f0ebdc24dbc8b98e1beb7c5e7b2c_b.jpg
b0b2f3e69da70c5e07f60cf7e4961c35_b.jpg
af634bf4400f4dbbf673d059f179b3ca_b.jpg
aec01f30c0d21df67f35432bc9bb5350_b.jpg
ae269a0e2b11cf4814e103bced0af023_b.jpg
ac8e32b7c55d9d2cc1fbc5ec0f3b9563_b.jpg
aae872ba5bf78e616543ef0b2cddbe11_b.jpg
a22067446028c62d9cfccbe41a0ce5fc_b.jpg
a2502c903ad54dedcfb54e6dd74080a6_b.jpg
a1611ca49b06e5ac36120a5d201f6c86_b.jpg
a620ac0a0b393c4cbad1ec3cfe50e24a_b.jpg
a25a5b3edf7aaf527a5d4bbab40ea899_b.jpg
a5b501f2a0ed2537c22a26a813ecba49_b.jpg
76356992c3a986b93d088dd6657cf417_b.jpg
18015306bdef73c523bb42a7b1e75863_b.jpg
960484b778c2037fd93b525525e4382c_b.jpg
599221c1f3321ed8318e98fbab7f58be_b.jpg
0183512f6b5e9d44442fdcdc26e3c2b9_b.jpg
141436b9ab78b99586538ef64eeb2280_b.jpg
98698c1260073fbf744eb1d7f87b1ea6_b.jpg
55402ad082272a09f19b560c6ec1ddfa_b.jpg
044264c454ab7cd6114fce8eeb9e29e1_b.jpg
36464fb926224812abaab1ef4b5e6ddf_b.jpg
8979ae0a2d1f885b287521a969b8afa2_b.jpg
8877ad08f3efc29aa044931726e0c245_b.jpg
7995d19f3a8fd26c98cc1caa77d5153e_b.jpg
3713a0846ec0bf90bec4573dd169efbc_b.jpg
2419b44f0fa0d85ecbebcd9e5eac2808_b.jpg
2092b86f0b33bbd1e6569efa728b57b8_b.jpg
955d679e52e462ba10c34faf502095ea_b.jpg
921a59fc8b5d2b1f2e6b80e12b7e9858_b.jpg
871edf2d1336ea341813d13c2b7d4c81_b.jpg
851e17290c59daed3ed98aba19bdc6f0_b.jpg
793c46624bdb539cbbf1135ab1a6a7e7_b.jpg
639bdb31dcb594b36387e1d32db64053_b.jpg
591f362c51b7bd5e8441e2354a12f0ab_b.jpg
538bd628980c401e8869c9f8dd95294a_b.jpg
464b10194407f7b2d21c401515a07842_b.jpg
275b12468079be0e5a67385866e1f5f5_b.jpg
234d595a1c315f8b5f40585a64d2e22c_b.jpg
099e7e862c3efddb55f099cb083b7b93_b.jpg
95a43270b7c14d3ee754a8f01b0995f8_b.jpg
93f355b57f41ea7362d30c4e3b6f026c_b.jpg
86edbf49e949b8339a3efd5f70c06064_b.jpg
86c5f909ab687b248729092ac12a9d08_b.jpg
82dd894147d4e52efe7b0441790fbf6d_b.jpg
76a04d341f80a2b21297d437bf03ffff_b.jpg
075c717f8555fdd629d4e59bd1bd18d1_b.jpg
65b3d631aadf329a5ec915f325b05292_b.jpg
64fec49f85fc6f099a4ac842b909d1a5_b.jpg
63ea1bb9c90907a5775edf8ab6c14a8c_b.jpg
54d73a34b369a17f01911f340c326459_b.jpg
54ae0bd8b22ca9225a8b87505af3594b_b.jpg
50e7d6f591712bd2d3f744c9a3eef09a_b.jpg
49f9610e2abca74f9268ac503668e2a2_b.jpg
49a84c5a62a74650b01872902a5a7246_b.jpg
48b7d8413d7f1e2dbbb02fb16bab61f3_b.jpg
44badc5622a9fe672f6a4f0fd2be57f1_b.jpg
38b91e04d58e7caee3fb676c087eba41_b.jpg
36b1d6c593e828916be2b9e237bde0f0_b.jpg
32da71e6973284c9269dc8c2b7808fa3_b.jpg
31a5699711012787116d9989aef5f687_b.png
031da043ea03dbe72d1de3b0326db3e4_b.jpg
30ef1120e7182ab37c1dc6613c1a4ad7_b.jpg
27bd8833e6c237eb04bcad3b393c16f5_b.jpg
21cd881c7669262c56d49e6befe4cb4d_b.jpg
21bf6cc2e3fdae022bcafd6fd22f8582_b.jpg
013aa458c13af9329a8863dda0f377b8_b.jpg
9ffa4c8bdcb28981c63d61aec3d1cbda_b.jpg
9f915d26d0e0421b0d34618e4fe73f54_b.jpg
9d8b4234c771753bc2471f4affd810c6_b.jpg
9ab86705f04e4abd1497b25835e273cc_b.jpg
9a26128a72c2dc35e6972517909d2352_b.jpg
9a34dc0e8bb6ccbf96d733c70b3dd33f_b.jpg
8f3a7b3b7868100cbff44e74093304df_b.jpg
8b86f8b4a623a550eeaa11297fad6d17_b.jpg
8b0fe8c14a4941061c4bee035f9c3ddc_b.jpg
7d79f9e448c03b763753908502890a71_b.jpg
6ee929c4d524d79d20efb27f7877c49d_b.jpg
06d443500051be9db80fbce0ac3edd6b_b.jpg
5f820f80c6580c27b9a5eebc42241c13_b.jpg
5e90d149f9e42c42158106e7f27c3b89_b.jpg
5cc425129145e92ab6f3014a69d6818f_b.jpg
5aa3da2e91427aa352e2c8f5b6108439_b.jpg
5a3815f03e506fa2a28dcd689d8a95f6_b.jpg
5a1a44e69b9ab82e1b7e3241dc111110_b.jpg
4f8759ab045201b887e56ede8764da62_b.jpg
4f4eb351bd31f8dec530834b04ac09df_b.jpg
4e77751186c9140697e000c2aa83ce00_b.jpg
04d67b93fa8a220535f628015fe14c1d_b.jpg
3fc3ed6f4d4afa0405881f41a375c8cc_b.jpg
3ca551dc9f8ebe3e96a78a75aba1bd6e_b.jpg
2ffb8ac058707dee23afa444733d89a4_b.jpg
2ee6052388b4f35465c516773c7dac16_b.jpg
2eb9aee93da4047f4a4bef03ad3d98b6_b.jpg
2e5965736399d8d5baacb3d7eed77942_b.jpg
2e340db2279088a11ba2f5738c20d523_b.jpg
2c53143d8cf60aa003126790f44ddc24_b.jpg
2bbae0f1a6dbe1b459fd286843b57229_b.jpg
02b0762a1b8a26da677d2cdb42efc420_b.jpg
1dcf92453b0624848138f7ebd5dbf737_b.jpg
1dcf92453b0624848138f7ebd5dbf737_200x112.jpg
1dbd2d1e3aa1c3591ec1c3fb4a2ab5af_b.jpg
1d2e9a7e2a4cc7a75ae93982eb34dae8_b.jpg
1c99fb8efb1cc03a835971ac24d8bfd2_b.jpg
01ef570f940c378ab4e41fe883f848ec_b.jpg
0ff68068ff5d499c5ca2e3bd412dbc07_b.jpg
0e04965cfcf10109d1c5519ea686fc05_b.jpg
0dcf389e09818ebf8e601df313d3c463_b.jpg
0dac9cbe156133591f2cf93ccb92a33b_b.jpg
0af2e43e69f47e5e70849846c48dc3e1_b.jpg
0a72f7c9adf03851010e278f11672e76_b.jpg
0a45fb700d1d451ccff6933c59c15eb9_b.jpg
0a17e6e2460ebcd74e8386943ba972a8_b.jpg
00bb3b910597aa862d6256afb573c2e3_b.jpg

最近VR访客

UE4   |   虚幻引擎   |   Unity VR    |    Hololens
QuakeDoom98 评论于2017-10-16 19:59:21
馒头噎饭 发表于 2016-11-16 04:22 PM
作者:胡痴儿2.0
链接:https://www.zhihu.com/question/41081637/answer/90386445
来源:知乎

aaaaaaaaaaaaaaa

手机版|VR开发网 |网站地图 统计  津ICP备16006248号

GMT+8, 2017-11-18 07:02 AM

返回顶部