روش های دسته بندی بافت

دو  مسئله  اساسی  مرتبط  با  تصاویر  بافتی  عبارت  اند  از:

الف  -  طبقه  بندی  بافت 

ب-  قطعه  بندی  بافت 

هرکدام  از  این  مسائل  کاربردهای  مهمی  در  پردازش  تصاویر  دارند  که  ازجمله  مهم  ترین  آن  ها  آشکارسازی  عیوب  بافتی  [1]  می  باشد

روش  های  مختلف  استخراج  ویژگی  از  بافت  به  پنج  دسته  اصلی  تقسیم  شده  است  که  عبارتند  از:

الف  -  روش  های  آماری

ب-  روش  های  هندسی

ج-  روش  های  مبتنی  بر  مدل

ه-  روش  های  مبتنی  بر  پردازش  فرکانس 

ح-  روش  های  ساختاری

 البته  در  برخی  موارد  روش  های  هندسی  را  زیرمجموعه  روش  های  ساختاری  معرفی  می  کنند  که  روش  های  آماری  بیشترین  کاربرد  را  دارند 

ازجمله  روش  های  مهم  و  قدیمی  آماری  برای  استخراج  ویژگی  روش  ماتریس  همرخدادی  و  الگوی  دودویی  محلی  است.  روشهای  خودهمبستگی  و  مبتنی  بر  مدل  مارکف  نیز  از  جمله  روش  های  مبتنی  بر  مدل  است.  ویژگیهای  حاصل  از  عملگرهای  ریخت  شناسی  و  تکستون  ازجمله  موارد  مبتنی  بر  ساختار  است.  تبدیل  فوریه،  فیلترهای  گابور،  تبدیل  موجک  نیز  روش  هایی  است  که  از  پردازش  فرکانسی  برای  استخراج  ویژگی  استفاده  می  کنند.  برخی  ویژگیهای  آماری  مرتبه  اول  و  دوم  از  اولین  ویژگی  هایی  هستند  که  برای  آنالیز  بافت  تصویر  استفاده  میشوند.

اریواژگان  و  همکاران  [2]،  از  اعمال  ماتریس  وقوع  همرخدادی  بر  زیر  باندهای  حاصل  از  تبدیل  موجک  به  منظور  استخراج  ویژگی  و  طبقه  بندی  بافت  استفاده  نموده  اند.  هیرمس  و  همکاران  [3]نیز  از  اعمال  ماتریس  وقوع  همرخدادی  بر  تبدیل  موجک  درختی  استفاده  نموده  اند.  رامانا  و  همکاران  [4]،  میدان  تصادفی  مارکوف  گاوسی  را  بر  خروجی  حاصل  از  تبدیل  موجک  اعمال  نموده  اند  و  از  ویژگیهای  حاصل  از  این  عملگر  استفاده  کردهاند.  کومار  و  همکاران  [5]،  از  ترکیب  عملگرهای  آماری  و  ریخت  شناسی  بر  روی  خروجی  تبدیل  فوریه  تصویر،  برای  استخراج  ویژگی  و  قطعه  بندی  بافت  تصویر  استفاده  نموده  اند

معیارهای  مختلفی  در  مقالات  مختلف  [6]بعنوان  معیار  ارزیابی  طبقه  بندی  و  معیار  فاصله  در  قطعه  بندی  بافت  استفاده  شده  است

که مشهورترین آنها ۳ معیار مقایسه هیستوگرام است که عبارتند از  :

•  معیار شباهت لگاریتمی

•  معیار شباهت اشتراک هیستوگرام

•  معیار فاصله مربع  کای

 

منابع

[1] F  Tajeripour,  E  Kabir,  A  Sheikhi,  Fabric  defect  detection  using  modified  local  binary  patterns,EURASIP  Journal  on  Advances  in  Signal  Processing  8,1-12(2008).

[2] S.  Arivazhagan،  L.  Ganesan،  “texture  classification  using  wavelet  transform،”  Pattern  Recognition  Letters،  vol.  24،pp.  1513-1521،  2003.

[3] P.S.  Hiremath،  S.  Shivashankar،  “Texture  classification  using  wavelet  packet  decomposition،”  GVIP  journal،vol.  6،Issue.  2

[4] B.V.  Ramana  Reddy،  M.  Radhika  Mani،  K.V.  Subbaivah،  “Texture  classification  method  using  wavelet  transform  based  on  Gaussian  Markov  random  field،”International  Journal  of  signal  and  Image  processing،  vol.1،  Issue.  1،  pp.  35-39،  2010.

[5] V.  Vijaya  Kumar،  U.S.N.  Raju،  M.  Radhika  Mani  and  A.L.  Narasimha  Rao،  “Wavelet  based  texture  segmentation  methods  based  on  combinatorial  of  morphological  and  statistical  operations،”  International  Journal  of  computer  science  and  network  security،  vol.  8،  no.  8،  pp.  176-181،  2008.

[6] T.  Ojala،  M.  Pietikäinen  and  T.  Mäenpää،“Multiresolution  gray-scale  and  rotation  invariant  texture  classification  with  local  binary  patterns،  ”  IEEE  Transactions  on  Pattern  Analysis  and  Machine  Intelligence،  vol.  24،  no.  7،  pp.  971–987،  2002.

Texture در بازیابی تصویر

بافت ها[1]، الگوهای بصری پیچیده ای هستند که با خصوصیات خاصی که دارند می توانند از بین تصاویر جدا سازی شوند. در اکثر کارهای انجام شده از ویژگی های مبتنی بر بافت در مواردی مانند بازاریابی تصویر مبتنی بر محتوا [1]، تقسیم بندی تصویر [2]، سنتز [3]، خوشه بندی و طبقه بندی [4-5] می توان استفاده نمود. برای این منظور لازم است که یک بافت تصویر با استفاده از یک مدل به طور مناسب نمایش داده شود تا بتوان از آن اطلاعات مرتبط و توصیفی را استخراج نمود. برای این منظور روش های مختلفی ارائه شده است که مهم ترین آنها روش های آماری مبتنی بر توزیع های آماری برای شناسایی وتحلیل عناصر یک بافت می باشد. به عنوان نمونه الگوریتم باینری LBP[2] یکی از الگوریتم های موفق در این زمینه است که برای کار بر روی بافت های خاکستری طراحی شده است و از جمله یکی از طرح های موفق در بینایی ماشین می باشد. طرح CLBP[3]  برای طبقه بندی بافت توسعه داده شده است.  در LDSMT[4] یک پیکسل مرکزی و یک سری علامت که بیانگر اختلاف پیکسل ها با پیکسل مرکزی است بیان شده است. در هر ناحیه پیکسل مرکزی سطح خاکستری تصویر را نشان می دهند و با استفاده از اختلاف آن با سایر نقاط CLBP_C[5]  بدست می آید. با استفاده از LDSMT  تصویر، اختلافات محلی به دو جزء اصلی تقسیم می شوند: یکی نشانه ها و دیگری مقادیرکه در نتیجه آن دو اپراتور،  CLBP_S[6]  و CLBP_M[7] به دست می آیند که به صورت شماتیک می توان آنها را در شکل زیر مشاهده نمود.

تصویر الف یک ناحیه فرضی از تصویر را نمایش می دهد در تصویر ب تفاضل مقادیر پیکسل ها با ناحیه مرکزی بدست آمده است. در تصویر ج علامت عناصر مربوط به ماتریس ب مشخص شده است و در نهایت در تصویر د مقدار واقعی اختلاف ها بر اساس ضرب نظیر به نظیر عناصر ماتریس های ب و ج به دست آمده است. به طور کلی فرآیند شناسایی بافت بر اساس چارت ذیل انجام می شود.

  در روش دیگر پس از تشکیل ماتریس مربوط به تصویر خاکستری نسبت به تهیه شبکه تصویر اقدام می شود برای این منظور از یک نقطه شروع و همسایگان آن مشخص و نقطه ای که دارای فاصله کمتری با این نقطه می باشد به عنوان گام بعدی انتخاب می شود و این روند ادامه می یابد در نهایت با استفاده از هر یک از این نقاط شبکه ای بوجود می آید سپس همه این شبکه ها که با انتخاب نقاط مختلف برای شروع به دست می آیند با هم تلفیق و نهایتا یک شبکه جدید بدست آمده و محاسبات بر اساس آن انجام و نهایتا از آن برای دسته بندی تصاویر استفاده می شود. به عنوان نمونه ماتریس زیر را در نظر بگیریم

85	82	84	121
105	68	86	113
69	41	75	79
77	75	73	82

با شروع از نقاط (اعداد 85 و 69) دو شبکه و دو مسیر حرکت مختلف به دست می آید که به صورت رنگی مشخص شده است.

حال این شبکه ها بر هم منطبق و یک شبکه ترکیبی به دست می آید و بر اساس پارامترهای مطرح در شبکه ها می توان به شباهت ها و دسته بندی تصاویر اقدام نمود.

منابع

[1] T. Randen and J. H. Husy, “Filtering for texture classification: A comparative study,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 21, no. 4,pp. 291–310, Apr. 1999.

[2] R. L. Kashyap and A. Khotanzed, “A model-based method for rotation invariant texture classification,” IEEE Trans. Pattern Anal. Mach. Intell.,vol. 8, .no. 4,pp. 472-481, Jul. 1986

[3] J.L. Chen and A. Kundu, “Rotation and gray scale transform invariant texture identification using wavelet decomposition and hidden Markov model,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 16, no. 2, pp. 208–214, Feb. 1994

[4] H. Deng and D. A. Clausi, “Gaussian VZ-MRF rotation-invariant features for image classification,” IEEE Trans. Pattern Anal. Mach. Intell.,vol. 26, no. 7, pp. 951–955, Jul. 2004

[5] M. Varma and A. Zisserman, “A statistical approach to texture classification from single images,” Int. J. Comput. Vision, vol. 62, no. 1–2,pp. 61–81, 2005

[1] Texture

[2] Local binary pattern

[3] Completed LBP

[4] local difference sign-magnitude transform

[5] CLBP-Center

[6] CLBP-Sign

[7] CLBP-Magnitude

نقش تشخیص لبه در CBIR

هدف از شناسایی لبه ها، نشان‌گذاری نقاطی از یک تصویر است که در آنها شدت روشنایی به تندی تغییر می‌کند. تغییرات تند در خصوصیات تصویر معمولاً نماینده رویدادهای مهم و تغییرات در خصوصیات محیط هستند. شناسایی لبه یک محدوده تحقیقاتی در پردازش تصویر و استخراج ویژگی است.

لبه‌ها ممکن است وابسته به دیدگاه باشند یعنی می‌توانند با تغییر نقطه دید (زاویه دید) تغییر کنند، ولی به طور کلی تصویر صحنه، اجسامی که جلوی همدیگر را گرفته‌اند و مانند آن را نشان می‌دهند و یا ممکن است به زاویه دید وابسته نباشند که در این صورت نمایانگر ویژگی‌های اجسام دیده ‌شده همچون علامت ها و شکل سطوح می باشند.

نظریه پایه در بیشتر روش‌های آشکارسازی لبه، محاسبه یک عملگر مشتق محلی است. اندازه مشتق اول تصویر در هر نقطه برابر بزرگی گرادیان است. مشتق دوم نیز با استفاده از تقریب لاپلاس به دست می‌آید. اگر یک لبه را به عنوان تغییر در شدت روشنایی که در طول چند پیکسل دیده می‌شود در نظر بگیریم، الگوریتم‌های آشکارسازی لبه به طور کلی مشتقی از این تغییر شدت روشنایی را محاسبه می‌کنند.

پس از محاسبه مشتق، گام بعدی اعمال‌کردن یک آستانه برای کشف نقاطی است که بخشی از یک لبه هستند. هر چه آستانه کمتر باشد، خط‌های بیشتری آشکارسازی می‌گردند و نتایج بیشتر نسبت به نویز و ویژگی‌های نامرتبط تصویر حساس می‌شوند. از سوی دیگر یک آستانه زیاد ممکن است خط‌های ضعیف یا بخش‌هایی از خط‌ها را از دست بدهد.

در اکثر کارهای انجام شده برای بازیابی تصاویر و یا تعیین شباهت بین دو تصویر، از شناسایی لبه ها به منظور شناسایی نقاط کلیدی استفاده شده است. برای این منظور از الگوریتم های لبه یابی همانند Harris[1] ، Shi[2] ، Sift[3] ، Surf[4]  و ... استفاده شده است. همانگونه که از اسم این الگوریتم ها مشخص است از آنها برای شناسایی لبه ها و یا گوشه های تصویر که دارای اهمیت بیشتری نسبت به سایر نقاط می باشند استفاده می شود. هر یک از این الگوریتم ها در موارد خاصی کاربرد داشته ولی به طور کلی هر کدام جهت تکمیل نواقص موجود در سایر الگوریتم های موجود و ایجاد الگوریتم دقیق تر جهت شناسایی لبه و نقاط کلیدی بوجود آمده اند هرچند تاکنون الگوریتم کامل و دقیقی برای شناسایی لبه برای تمامی تصاویر طراحی نشده است.

نمونه لبه های تصویر استخراج شده از الگوریتم ها

 

Harris

Shi

Surf

Sift

منابع

[1] Lindeberg (1998) "Edge detection and ridge detection with automatic scale selection", International Journal of Computer Vision, 30, 2, pages 117-154

[2] J.M. Park and Y. Lu (2008) "Edge detection in grayscale, color, and range images", in B. W. Wah (editor) Encyclopedia of Computer Science and  Engineering, doi 10.1002/9780470050118.ecse606

[3] J.Canny (1986) "A computational approach to edge detection", IEEE Trans. Pattern Analysis and Machine Intelligence, vol 8, pages 679–714

---

[1] Harris Corner Detector

[2] Shi-Tomasi Corner Detector

[3] Scale-invariant feature transform

[4] Speeded Up Robust Features

چالش های موجود در CBIR

عمدتا در تمامی تحقیقات دو چالش عمده برای بحث بازیابی تصویر بر اساس محتوا وجود دارد که تمامی روش ها برای پاسخ به آنها مطرح شده و مورد آزمایش قرار گرفته اند این مشکلات عبارتند از:
1-  مشکل اصلی وعمده شکاف و یا "گپ معنایی"[1] در بازیابی تصویر مبتنی بر محتوا می باشد

2- مشکل دوم ارزیابی تکنیک های بازیابی تصویر مبتنی بر محتوا است که با استفاده از آن
اثربخشی رویکردهای پیشنهادی در هنگام نمایه سازی و بازیابی تصویر مورد بررسی قرار می گیرد.

اکثر نویسندگان مقالات معتقد هستند که مشکل عمده در بازیابی تصاویر بر اساس محتوا گپ معنایی است. یک انسان دو تصویر را بر‌اساس معانی آن مقایسه می کند در حالی که یک سیستم بازیابی بر اساس مقایسه بردارهای ویژگی های مربوط به خصوصیات تصویر کار می کند. لذا انتخاب ویژگی، نقش حیاتی در سیستم CBIR بازی می کند. برای شناسایی بهترین ویژگی ها، نیاز به روشی برای بازیابی هوشمند تصویر است که  علاوه بر اینکه می بایست کارآمد باشد، محاسبات آن نیز می بایست به راحتی قابل انجام بوده و زمان زیادی برای پردازش آن مصرف نشود. این مهم را می توان با استفاده از یک سری طبقه بندی ها مانند منطقه بندی تصویر و یا استفاده از المان های آماری مانند (میانگین و انحراف معیار استاندارد) برای بازیابی تصویر مبتنی بر محتوا تا حدودی به دست آورد.

یکی از وظایف اصلی سیستم CBIR ، قابلیت استخراج هر تصویر براساس ارزش پیکسل آن و تعریف الگوریتمی برای مقایسه تصاویر است. از این ویژگی برای اندازه گیری شباهت تصویر با سایر تصاویر در پایگاه داده استفاده می شود و بر اساس ارزش شباهت، تصاویر برای بازیابی رتبه بندی می شوند.

برای بازیابی تصاویر مورد نظر از یک پایگاه داده تصویر بزرگ، الگوریتم های  موثر و کارآمدی برای نمایه سازی و بازیابی تصویر پیشنهاد شده است.  امروزه الگوریتم های تکاملی تقریبا در تمام زمینه ها مانند علم، مهندسی و تکنولوژی مورد استفاده قرار گرفته اند. که به عنوان نمونه استفاده از الگوریتمهای تکاملی مانند ژنتیک و الگوریتم بهینه سازی ذرات و ... برای مقایسه شباهت در سیستم CBIR  پیشنهاد شده است.

منابع

[1] Content based image retrieval techniques Issues, analysis and the state of the art

[2] Issues on Content-Based Image Retrieval June 2003

---

[1] Semantic Gap

CBIR چیست؟

بازیابی تصویر مبتنی بر محتوا CBIR[1] به عنوان پرس و جو با محتوای تصویر QBIC[2]  و بازیابی اطلاعات بصری مبتنی بر محتوا CBVIR[3] شناخته شده است. یکی از مشکلات استفاده از تکنیک های بینایی کامپیوتری مربوط به بازیابی تصویرمی باشد. بازیابی تصویر مبتنی بر محتوا با رویکردهای مبتنی بر مفهوم سنتی مخالف است. در روش صنعتی برای جستجوی تصاویر دیجیتال در پایگاه داده های بزرگ می بایست از فرا‌داده‌ها مانند کلمات کلیدی، برچسب ها یا توصیف های مربوط به تصویر استفاده نمود. "مبتنی برمحتوا" به این معنی است که جستجو را بر اساس محتوا به جای ابرداده هایی مانند کلمات کلیدی، برچسب‌ها یا توصیف های مربوط به تصویر تجزیه و تحلیل می کند. اصطلاح "محتوا" در این زمینه ممکن است به رنگ ها، شکل‌ها، بافت ها و یا هر گونه اطلاعات دیگر که می تواند از تصویر بدست آید اشاره می نماید. قطعا  CBIR مفید است زیرا جستجوهایی که صرفا بر روی فراداده تکیه می کنند وابسته به کیفیت و کامل بودن فراداده ها دارند از طرفی ثبت فراداده ها به صورت دستی برای تصاویر، با وارد کردن کلمات کلیدی برای آنها در پایگاه داده های بزرگ عملا امکان پذیر نبوده و یا سالیان متمادی به طول خواهد انجامید هرچند ممکن است کلمات کلیدی ثبت شده با روش مذکور نیز برای توصیف تصویر کفایت نکنند.

اصطلاح "بازیابی تصویر مبتنی بر محتوا" در سال 1992 مطرح شد، زمانی که T. Kato  برای بازیابی اتوماتیک تصاویر از یک پایگاه داده بر اساس رنگ ها و شکل های موجود استفاده نمود[1]. از آن به بعد، این اصطلاح برای توصیف روند بازیابی تصاویر مورد نظر از یک مجموعه بزرگ بر اساس ویژگی های تصویری هماهنگ استفاده شده است. تکنیک ها، ابزار ها و الگوریتم هایی که استفاده می شوند، از زمینه هایی مانند آمار، تشخیص الگو، پردازش سیگنال و بینایی کامپیوتر استفاده می نمایند[2]. اولین سیستم CBIR تجاری توسط شرکت آی بی ام توسعه یافته و QBIC[4]  نامیده شد[3].

منابع

[1] Eakins, John; Graham, Margaret. "Content-based Image Retrieval".. University of Northumbria at Newcastle. Archived from the original on 2012-02-05. Retrieved 2014-03-10.

[2] Content-based Multimedia Information Retrieval: State of the Art and Challenges

[3] Rui, Yong; Huang, Thomas S.; Chang, Shih-Fu (1999). "Image Retrieval: Current Techniques, Promising Directions, and Open Issues

---

[1] Content-based image retrieval

[2] query by image content

[3] content-based visual information retrieval

[4] query by Image Content