به جمع مشترکان مگیران بپیوندید!

تنها با پرداخت 70 هزارتومان حق اشتراک سالانه به متن مقالات دسترسی داشته باشید و 100 مقاله را بدون هزینه دیگری دریافت کنید.

برای پرداخت حق اشتراک اگر عضو هستید وارد شوید در غیر این صورت حساب کاربری جدید ایجاد کنید

عضویت
جستجوی مقالات مرتبط با کلیدواژه

preprocessing

در نشریات گروه برق
تکرار جستجوی کلیدواژه preprocessing در نشریات گروه فنی و مهندسی
  • Kazem Taghandiki, Morteza Dallakehnejad *, Hossein Rahimi Asiabaraki
    Air pressure systems play a fundamental role in Scania trucks because the proper functioning of the brake and gear shifting systems of these vehicles relies on the health of the air pressure system. The presence of sensors in the air pressure system gathers various information about its status, which can be stored and analyzed in the form of datasets. Using machine learning algorithms to detect faults in the air pressure system prevents manual inspection at different time intervals, thus preventing material and time costs. Many efforts have been made to detect faults in the air pressure system through the collected datasets from sensors of the various components of Scania trucks using traditional machine learning algorithms such as decision trees, KNN, Random Forest and SVM, but they still lack sufficient accuracy and speed in data processing. However, since the number of records collected at different intervals by the Electronic Control Unit (ECU) is very high, novel machine learning algorithms like deep learning can be used to increase accuracy and speed in detecting faults in Scania truck air pressure systems. In this article, feature selection and deep learning algorithms have been used to detect and predict faults in the air pressure system of heavy trucks. The results and observations showed that the output of the evaluation parameters of the deep learning algorithm has an accuracy rate of 98.66%, a recall rate of 63.47%, and a f-measure rate of 68.99%.
    Keywords: Deep Learning, Air Pressure System, Preprocessing, Feature Selection, Dataset
  • کوثر صالح نژاد، نگین دانشپور*

    با گسترش سریع تکنولوژی، حجم عظیمی از داده های بدون برچسب با ابعاد زیاد، نیاز به پردازش پیدا کردند. برای کاهش ابعاد، انتخاب ویژگی غیرنظارتی، به عنوان یک پیش مرحله مهم قبل از وظایف یادگیری ماشین، شناخته می شود. در این مقاله، یک روش انتخاب ویژگی غیرنظارتی پیشنهاد می شود. روش مذکور بر اساس گراف ماتریس و ماتریس وزنی، به صورت پویا و مقیاس پذیر عمل می کند. برای بهبود عمکرد این روش، به جای استفاده از تابع لاگرانژ در ساخت ماتریس وزنی، تیوری گراف دو قسمته اعمال می شود. انتخاب ویژگی روی گراف ماتریس انجام می شود. این گراف با به کارگیری k نزدیک ترین همسایه ساخته می شود، که روش را نسبت به نویز مقاوم تر می کند. همچنین ساختار سراسری داده ی اصلی، از طریق ساخت ماتریس وزن بازسازی شده با کمک محدودیت رتبه پایین، حفظ می شود. علاوه براین، نمره ی ویژگی، که به طور صریح قدرت مندی ویژگی ها را منعکس می کند، با کمک تابع Frobenius norm مدل می شود. روش پیشنهادی با روش های مشابه در سه معیار دقت کلاس بندی، حساسیت به پارامتر و پیچیدگی زمانی مقایسه شده است. آزمایش ها نشان می دهد که دقت کلاس بندی روش ارایه شده ی این مقاله، به طور متوسط 2.83% بهبود یافته است. همچنین پیچیدگی زمانی آن تا max{O(n2d),O(nm)} کاهش یافته است، که n تعداد نمونه ها، d تعداد ویژگی ها و m تعداد نقاط لنگر هستند.

    کلید واژگان: داده کاوی، پیش پردازش، انتخاب ویژگی، روش غیرنظارتی، گراف
    Kosar Salehnezhad, Negin Daneshpour*

    With the rapid spread of technology, large volumes of unlabeled data with large dimensions needed to be processed. To reduce the dimensions, unsupervised feature selection is known as an important pre-step before machine learning tasks. In this paper, an unsupervised feature selection method is proposed. The method works dynamically and is scalable based on matrix graphs and weighted matrices. To improve the performance of this method, instead of using the Lagrange function to construct a weight matrix, a bipartite graph theory is applied. Feature selection is done on the matrix graph. This graph is constructed using k nearest neighbors, which makes the method more robust to noise. The global structure of the original data is also preserved by constructing a Reconstruction Weight Matrix with low-rank constraint. In addition, the feature score, which explicitly reflects the strength of the features, is modeled using the Frobenius norm function. The proposed method is compared with similar methods in three criteria of classification accuracy, parameter sensitivity and complexity. Experiments show that the classification accuracy of the method presented in this paper has improved by an average of 2.83%. Its complexity has also been reduced to max{O(n2d),O(nm)}, where n is the number of samples, d is the number of features and m is the number of anchor points.

    Keywords: Data mining, Preprocessing, Feature selection, Unsupervised method, Graph
  • Seshu Bhavani Mallampati, Hari Seetha *

    In recent decades, network security has become increasingly crucial, and intrusion detection systems play a critical role in securing it. An intrusion Detection System (IDS) is a mechanism that protects the network from various possible intrusions by analyzing network traffic. It provides confidentiality and ensures the integrity and availability of data. Intrusion detection is a classification task that classifies network data into benign and attack by using various machine learning and deep learning models. It further develops a better potential solution for detecting intrusions across the network and mitigating the false alarm rate efficiently. This paper presents an overview of current machine learning (ML), deep learning (DL), and Explainable Artificial intelligence (XAI) techniques. Our findings provide helpful advice to researchers who are thinking about integrating ML and DL models into network intrusion detection. At the conclusion of this work, we outline various open challenges.

    Keywords: Network Security, Intrusion Detection, IPS, Preprocessing, SMOTE, Datasets, Attacks, Feature Selection, XAI
  • محمدداود سعیدی، مجید معظمی*

    پیش بینی میان- مدت بار الکتریکی اغلب برای برنامه ریزی عملیات نیروگاه های حرارتی و آبی، زمان بندی بهینه برای بازرسی و تعمیرات و نگهداری نیروگاه ها و شبکه برق استفاده می شود. در این مقاله یک روش ترکیبی با استفاده از تبدیل موجک و ماشین یادگیری شدید مقاوم به داده های خارج از محدوده، برای پیش بینی بلند مدت بار ارایه شده است. داده های بار و دمای ساعتی، از پایگاه داده GEFCOM 2014 استخراج شده و به دو دسته آموزش و آزمایش تقسیم شده است. از تبدیل موجک یک سطحی برای تجزیه داده ها به منظور استخراج ویژگی ها و کاهش ابعاد ماتریس داده ها استفاده می شود. دو دسته مقادیر مولفه های فرکانس پایین (تقریب) و مقادیر مولفه های فرکانس بالا (جزییات) حاصل از تجزیه جهت آموزش و پیش بینی به مدل وارد شده و خروجی مقادیر پایین با خروجی مقادیر بالای مدل جمع می شود تا پیش بینی نهایی را تشکیل دهد. جهت سنجش و مقایسه دقت و کارایی روش پیشنهادی، اعمال تبدیل موجک روی داده ها، برای سه مدل دیگر ماشین یادگیری شدید انجام گردیده است. همچنین داده ها بدون اعمال تبدیل موجک به چهار مدل پیش بینی دیگر نیز وارد شده و نتایج پیش بینی حاصل با روش پیشنهادی مورد مقایسه قرار گرفته است. نتایج ارزیابی فوق نشان می دهد که تبدیل موجک و ماشین یادگیری شدید مقاوم به داده های خارج محدوده باعث بهبود دقت پیش بینی می گردد و مقدار میانگین درصد خطای مطلق به عدد 0966/3 کاهش یافته است. مقدار خطای کلی محاسبه شده روش پیشنهادی بهترین نتیجه در بین سایر مدل های ماشین یادگیری شدید و روش های بدون پیش پردازش بوده است. خطای فوق بر مبنای مقدار میانگین درصد خطای مطلق به ترتیب 4208/0 نسبت به مدل ماشین یادگیری شدید اصلی، 1194/0 نسبت به مدل تنظیم شده و 1353/0 نسبت به مدل تنظیم شده و وزن دار، کاهش یافته است.

    کلید واژگان: بهبود دقت پیش بینی، پیش پردازش، پیش بینی بلند مدت بار، تبدیل موجک، ماشین یادگیری شدید، میانگین درصد خطای مطلق
    Mohammad Davoud Saeidi, Majid Moazzami *

    Electrical load forecasting is the prediction of future demands based on various data and factors containing different consumptions on weekdays, electricity prices and weather conditions that are different for societies and places. Generally, medium-term electrical load forecasting is often used for the operation of thermal and hydropower plants, optimal time planning for maintenance of power plants and the power grids. However, long-term electrical load forecasting is used to manage on-time future demands and generation, transmission and distribution expansion planning. In this paper, a hybrid long-term load forecasting approach using wavelet transform and an outlier robust extreme learning machine is proposed. Hourly load and temperature data were extracted from the GEFCOM 2014 database and divided into two classes of training and test. The one-level wavelet transform is used to decompose data to extract properties and reduce the dimensions of the data matrix. Decomposed low-frequency component (approximations) and high-frequency component values (details) from wavelet analysis are entered into the model for training and forecasting. For comparison accuracy of the proposed method, wavelet transform is applied to the data for the other three extreme learning machines. Also data without wavelet transform entered into four other forecasting models and the load forecasting results are compared with the proposed method. The results of the above mentioned evaluation show that electrical load forecasting by using wavelet transform and outlier robust extreme learning machine improves forecasting accuracy and the MAPE reduces to 3.0966. The overall calculated error by the proposed method was the best result obtained between the three several models of extreme learning machines and without preprocessing model. The MAPE is 0.4208 less than the ELM, 0.944 less than the RELM, and 0.1353 less than the WRELM model, respectively.

    Keywords: Extreme learning machine, Improve forecast accuracy, Preprocessing, Long-term load forecasting, mean absolute percentage error, Wavelet Transform
  • Hassan Majidi, Mahdi Emadaleslami, MahmoudReza Haghifam *

    In recent years, due to developments in the electricity industry, the use of smart meters has increased worldwide. Smart meters allow the collection of large amounts of microdata on power consumption. The data collected by smart meters can be used in various cases. Since the load duration curve is of great importance in the study of power systems in this paper, the purpose is to obtain the load duration curve of consumer groups using raw smart meter data. The data collected by smart meters reflects the behavior of subscribers, so by categorizing this data, the behavior of subscribers can be categorized, and thus the continuous load curve can be calculated. However, due to challenges such as being raw data collected from smart meters, the presence of anomalous data, and the presence of lost data, the data collected by smart meters need to be pre-processed and corrected. This paper presents an approach for pre-processing and modification of raw data received from smart meters and using them to calculate the load duration curve and other uses. First, the preprocessing and modification of smart meter data on two data sets collected from Alborz Power Distribution Company is done based on the presented method; Then these data are clustered based on the k-means clustering algorithm, and finally, load duration curve is obtained for each cluster.

    Keywords: Smart Meter, Load Duration Curve, k-means clustering algorithm, Preprocessing
  • مریم خسروی، حسین شیرازی*، کوروش داداش تبار، سید علیرضا هاشمی گلپایگانی

    با توجه به جایگاهی که امروزه شبکه های اجتماعی در جوامع پیدا کرده اند، افراد بسیاری از این شبکه ها به منظور منتشر کردن عقاید و اطلاعات خود استفاده می کنند. یکی از چالش های امنیتی موجود در این شبکه ها، جلوگیری از حملات معنایی است. در حملات معنایی فرد مخرب قصد دارد تا با انتشار اطلاعات و شایعات نادرست در شبکه های اجتماعی، بر روی کاربران دیگر تاثیر بگذارد. بنابراین ایمنی افراد در این گونه شبکه ها به خطر می افتد. انتشار اطلاعات نادرست در مواقع بحرانی مانند جنگ یا انتخابات ممکن است، عواقب جبران ناپذیری برای یک اجتماع داشته باشد. از این رو در این پژوهش هدف اینست که بتوان شایعات از جمله شایعات فارسی را در شبکه های اجتماعی تشخیص داد. بدین منظور از یک معماری ترکیبی LSTM-CNN استفاده و برخلاف پژوهش های پیشین از نرخ یادگیری چرخشی بهره گرفته و روش جدیدی به منظورپردازش کردن داده ها قبل از ورود به شبکه برای بهبود نتایج ارایه شده است. علاوه بر آن نیز برای رفع مشکلات مربوط به کمبود داده مدل BERT برای تشخیص شایعات فارسی هم مورد بررسی قرار گرفت. در نهایت با ارزیابی روش پیشنهادی مشخص شد که این روش به دقت مناسبی برای تشخیص شایعات و همین طور شایعات فارسی تنها با بررسی محتوا، دست یافته است.

    کلید واژگان: شبکه های اجتماعی، شایعه، یادگیری عمیق
    Maryam Khosravi, Hossein Shirazi*, Kourosh Dadahstabar, S.Alireza Hashemi Golpaygani

    Recently, using social networks increases and people propagate their information through this networks. One of the most important challenges in these networks is sentiment attack, in which the attacker spreads rumors to influence users. Therefor rumor detection become important and attracts expanding research attention. Most of the previous works using deep neural networks for rumor detection without special preprocessing but we propose a new method for preprocessing data before learning which improve results. we use LSTM-CNN architecture with cyclical learning rate to detect Persian rumors. Beside that we investigate BERT model for Persian tweets. Our results demonstrate the effectiveness of this approach for English and Persian rumor detection.

    Keywords: Deep learning, Preprocessing, Rumor detection, Social network
  • Ahmed Banimustafa *
    This paper presents a data mining application in metabolomics. It aims at building an enhanced machine learning classifier that can be used for diagnosing cachexia syndrome and identifying its involved biomarkers. To achieve this goal, a data-driven analysis is carried out using a public dataset consisting of 1H-NMR metabolite profile. This dataset suffers from the problem of imbalanced classes which is known to deteriorate the performance of classifiers. It also influences its validity and generalizablity. The classification models in this study were built using five machine learning algorithms known as PLS-DA, MLP, SVM, C4.5 and ID3. This model is built after carrying out a number of intensive data preprocessing procedures to tackle the problem of imbalanced classes and improve the performance of the constructed classifiers.These procedures involves applying data transformation, normalization, standardization, re-sampling and data reduction procedures using a number of variables importance scorers. The best performance was achieved by building an MLP model that was trained and tested using five-fold cross-validation using datasets that were re-sampled using SMOTE method and then reduced using SVM variable importance scorer. This model was successful in classifying samples with excellent accuracy and also in identifying the potential disease biomarkers. The results confirm the validity of metabolomics data mining for diagnosis of cachexia. It also emphasizes the importance of data preprocessing procedures such as sampling and data reduction for improving data mining results, particularly when data suffers from the problem of imbalanced classes.
    Keywords: Data mining, metabolomics, cachexia, preprocessing, Imbalanced Classes, Re-sampling, Data Reduction
  • محسن میوه چی*، هاجر کشاورز
    رادارهای اولیه جستجوگر ارتفاع پست از نوع موج پیوسته بوده و در ساده ترین حالت از مدولاسیون دندانه اره ای در یک اسکن و بدون مدولاسیون در اسکن بعدی استفاده می شده است. با تعیین فرکانس سیگنال بازگشتی در دو اسکن متوالی، برد و سرعت شعاعی هدف می تواند استخراج شود. لزوم دو اسکن متوالی برای تعیین برد از مشکلات اصلی این روش است. به منظور استخراج همزمان برد و سرعت شعاعی در طی یک بار رویت هدف، شکل موج مدوله کننده به مثلثی تغییریافته و همزمان به منظور جبران پخش شدگی طیف در اثر نمونه برداری و همچنین برای هموار نمودن طیف سیگنال بازگشتی، دو پیش پردازش ارائه شده است؛ که در تعیین دقیق تر مولفه های ناشی از هدف در شرایط سیگنال به نویز کوچک، تاثیر به سزایی دارد. هم چنین به منظور تعیین دقیق تر زوج مولفه های فرکانسی ناشی از هدف در طیف پیش پردازش شده، الگوریتمی ساده پیشنهادشده است. پردازش های موردنظر با استفاده از پردازنده DSP از نوع TMS320C6416 روی سیگنال واقعی رادار انجام گرفته است. نتایج تجربی حاصله نشان دهنده ثبات بیشتر و خطا کمتر در تعیین برد نسبت به روش های مورداستفاده پیشین، است
    کلید واژگان: مدولاسیون دندانه اره ای، مدولاسیون مثلثی، پخش شدگی طیف، پیش پردازش، هموار نمودن طیف، استخراج برد
    M. Mivehchy *, H. Keshavarz
    The low altitude primary search radar use a continuous wave, and in its simplest case, a sawtooth modulation is used in one scan and no modulation in the next one. By determining the frequency of the returning signal in two consecutive scans, the target range and radial velocity are extracted. In this method, the two successive scans are needed to determine the range and this is one of the main problems of this method. In order to simultaneously extract the radial velocity and the range, the modulating waveform is changed to a triangular wave form, and simultaneously two preprocesses are proposed to compensate for the spectral spreading by sampling and smoothing the returning signal. This has a significant effect in determining the exact components of the target in the low signal-to-noise conditions. Also, a simple algorithm is proposed to determine the coupled frequency components of the target in the pre-processed spectrum more accurately. The processing was done by using a TMS320C6416 DSP processor on an actual radar signal. The experimental results show a higher stability and less error in determining the range compared to other methods.
    Keywords: Sawtooth modulation, Triangular modulation, Spread distribution, Preprocessing, Smoothing spectrum, Range extraction
  • ارائه روشی برای پیش پردازش تصویر جهت بهبود عملکرد JPEG 2000 در فشرده سازی تصویر
    سکینه اسدی امیری*، حمید حسن پور
    دو گام اساسی در فشرده سازی تصویر به شیوه JPEG 2000 تبدیل موجک و کدگذار صفحات بیتی می باشند. در این روش ابتدا از تصویر تبدیل موجک گرفته می شود، سپس بسته به نرخ فشرده سازی مورد نظر، تعدادی از صفحات بیتی ضرایب تبدیل موجک از پرارزش ترین بیت تا بیت کم ارزش تر کد می گردند. پس از دستیابی به نرخ فشرده سازی مورد نظر، سایر صفحات کم ارزش تر ضرایب موجک حذف می گردند. در به کارگیری این روش، تصاویری که وضوح کمتری دارند، ضرایب تبدیل موجک مربوط به نواحی فرکانس بالای آنها مقدار کوچکی پیدا می کنند و در نتیجه در صفحات بیتی کم ارزش تر واقع می شوند. این صفحات بیتی کم ارزش تر هنگام فشرده سازی، در مرحله کدگذاری حذف می گردند. از اینرو JPEG 2000 عملکرد محدودی در فشرده سازی تصاویر با وضوح کم، را دارا می باشد. در این مقاله به منظور بهبود عملکرد JPEG 2000 پیش پردازشی بر روی تصویر انجام می شود تا وضوح تصویر افزایش یابد. با افزایش وضوح تصویر، نواحی فرکانس بالا مقادیر قابل توجهی در ضرایب تبدیل موجک پیدا می کنند. در نتیجه اطلاعات این ضرایب در مرحله کدگذار صفحات بیتی تا حدود زیادی حفظ می شوند. نتایج نشان می دهد که پیش پردازش ارائه شده عملکرد JPEG 2000 را از لحاظ نرخ فشرده سازی و کیفیت تصویر بازیابی شده بهبود می بخشد. به طور دقیق تر، به ازای یک کیفیت تصویر بازیابی شده برابر در روش پیشنهادی و JPEG 2000، روش پیشنهادی به طور متوسط حدود 5/3 درصد نرخ فشرده سازی JPEG 2000 را بهبود می دهد.
    کلید واژگان: پیش پردازش، فشرده سازی تصویر، وضوح تصویر، روش JPEG 2000
    Provide a method for image preprocessing to improve the performance of JPEG 2000 in image compression
    Sekine Asadi Amiri *
    In JPEG 2000, two fundamental steps in image compression are wavelet transform and bit-planes encoding. In this method, first the wavelet transform of the image is provided, then, depending on the desired compression rate, the number of bit-planes of the wavelet coefficients are coded from most significant bit to the least significant bit. After achieving the desired compression rate, the other less significant bit-planes of wavelet coefficients are disregarded. In applying this method for low contrast image, wavelet coefficients of high frequency regions have small amounts, so these values are reflected in low bit-planes. These low bit-planes are removed during compression in encoder. Hence, JPEG 2000 has limited performance especially in low contrast image compression. In this paper, to improve the performance of JPEG 2000 a preprocessing is performed on the image to increase its contrast. With increasing image contrast, high frequency regions would have higher values in wavelet coefficients. As a result, information of these coefficients is largely preserved at the bit-planes encoding stage. The results show that the proposed preprocessing method improves the performance of JPEG 2000 in terms of compression rate and retrieved image quality. In more detail, for an equal retrieved image quality in the proposed method and JPEG 2000, the proposed method improves the compression rate of JPEG 2000 with an average of about 3.5%.
    Keywords: Preprocessing, Image compression, Image contrast, JPEG 2000 method
  • حمید حسن پور، سکینه اسدی امیری
    تاکنون کارهای زیادی در مورد فشرده سازی تصویر انجام گرفته و روش های متفاوتی ارائه شده اند. هر یک از این روش ها بر روی تصاویر مختلف، میزان فشرده سازی متفاوتی را ارائه می دهند. با شناسایی پارامترهای تاثیرگذار در یک الگوریتم فشرده سازی و تقویت آنها در مرحله پیش پردازش، میزان فشرده سازی آن الگوریتم را می توان بهبود بخشید. JPEG یکی از روش های فشرده سازی موفق می باشد که کارهای زیادی نیز برای بهبود عملکرد آن انجام شده است. میزان وضوح تصویر، یکی از عوامل مهم در میزان فشرده سازی JPEG محسوب می شود. هر چه وضوح تصویر کمتر باشد، جزئیات کمتری در آن قابل نمایش است و JPEG قادر خواهد بود با میزان بیشتری این گونه تصاویر را فشرده نماید. در این مقاله پیش پردازش شبه بی اتلافی مبتنی بر عملگر توان ارائه شده است که با کم کردن دامنه تغییرات سطوح خاکستری تصویر، وضوح تصویر را کاهش می دهد. بر اساس نتایج این تحقیق، JPEG قادر خواهد بود با میزان فشرده سازی بیشتری تصاویر پیش پردازش شده حاصل را فشرده نماید. در مرحله بازیابی تصویر، با اعمال عملگر توان با معکوس مقدار نما، وضوح اولیه تصویر احصاء می شود. نتایج نشان می دهد که روش پیش پردازش ارائه شده میزان فشرده سازی JPEG را بر روی تصاویر طبیعی به میزان قابل ملاحظه ای افزایش می دهد.
    کلید واژگان: پیش پردازش، فشرده سازی تصویر، شبه بی اتلاف، روش JPEG
    Sekine Asadi
    A lot of researchs have been performed in image compression and different methods have been proposed. Each of the existing methods presents different compression rates on various images. By identifing the effective parameters in a compression algorithm and strengthen them in the preprocessing stage, the compression rate of the algorithm can be improved. JPEG is one of the successful compression algorithm that various works have been done to improve its performance. Image contrast is one important factor affecting on JPEG compression rate. The lower the image contrast, the less detail is visible and JPEG will be able to compress such images with a higher rate. In this paper, a semi-lossless preprocessing method based on power operator is proposed that decreases the image contrast by reducing the range of graylevels in the image. Therefore, JPEG can compress the preprocess images with a higher compression ratio. To restore the image, after decoding the compressed image, by applying the inverse exponent value to the power operator on this image, an image similar to the original image will be achieved. The results show that the proposed preprocessing method substantially increases the JPEG compression ratio on natural images.
    Keywords: Preprocessing, Image compression, Semi, lossless, JPEG method
نمایش نتایج بیشتر...
نکته
  • نتایج بر اساس تاریخ انتشار مرتب شده‌اند.
  • کلیدواژه مورد نظر شما تنها در فیلد کلیدواژگان مقالات جستجو شده‌است. به منظور حذف نتایج غیر مرتبط، جستجو تنها در مقالات مجلاتی انجام شده که با مجله ماخذ هم موضوع هستند.
  • در صورتی که می‌خواهید جستجو را در همه موضوعات و با شرایط دیگر تکرار کنید به صفحه جستجوی پیشرفته مجلات مراجعه کنید.
درخواست پشتیبانی - گزارش اشکال